T:
Paano masuri ng mga inhinyero ang mga set ng pagsasanay at mga set ng pagsubok upang makita ang posibleng pag-overfitting sa pag-aaral ng makina?
A:Upang maunawaan kung paano ito nagawa, kinakailangan na magkaroon ng isang pangunahing pagkakaintindi ng mga tungkulin ng iba't ibang mga set ng data sa isang tipikal na proyekto ng pagkatuto ng makina. Ang set ng pagsasanay ay naka-set up upang bigyan ang teknolohiya ng isang frame ng sanggunian - isang baseline ng data na ginagamit ng programa upang makagawa ng mga mahuhulaan at probabilistikong desisyon. Ang set ng pagsubok ay kung saan sinubukan mo ang makina sa data.
Ang overfitting ay isang sindrom sa pag-aaral ng makina kung saan ang modelo ay hindi ganap na umaangkop sa data o sa layunin.
| Libreng Pag-download: Pag- aaral ng Machine at Bakit Mahalaga ito |
Ang isa sa mga overarching utos ng pag-aaral ng makina ay ang data ng pagsasanay at data ng pagsubok ay dapat na hiwalay na mga set ng data. Mayroong isang medyo malawak na pinagkasunduan, hindi bababa sa maraming mga aplikasyon, dahil sa ilang mga tiyak na mga problema sa paggamit ng parehong hanay na ginamit mo para sa pagsasanay upang subukan ang isang programa sa pagkatuto ng makina.
Kapag ang isang programa sa pag-aaral ng machine ay gumagamit ng isang set ng pagsasanay, na maaaring tawaging mahalagang isang hanay ng mga input, gumagana ito sa set ng pagsasanay upang makagawa ng mga pagpapasya tungkol sa mga nahuhulaang resulta. Isang pangunahing batayang pag-iisip tungkol dito ay ang pagsasanay na itinakda ay ang "pagkain" para sa proseso ng intelektwal na computing.
Ngayon kung ang parehong hanay na ito ay ginagamit para sa pagsubok, ang makina ay maaaring madalas na bumalik ang mahusay na mga resulta. Iyon ay dahil nakita na nito ang data na iyon. Ngunit ang buong layunin ng pag-aaral ng makina sa maraming mga kaso ay upang gumawa ng mga resulta tungkol sa data na hindi pa nakita bago. Ang mga programang pagkatuto ng pangkalahatang layunin na machine ay ginawa upang gumana sa magkakaibang hanay ng data. Sa madaling salita, ang prinsipyo ng pag-aaral ng makina ay pagtuklas, at hindi ka karaniwang nakakakuha ng mas marami sa pamamagitan ng paggamit ng isang paunang set ng pagsasanay para sa mga layunin ng pagsubok.
Sa pagtatasa ng mga set ng pagsasanay at mga set ng pagsubok para sa posibleng pag-overfitting, maaaring masuri ng mga inhinyero ang mga resulta at malaman kung bakit maaaring gawin ito nang kakaiba sa isang programa sa paghahambing na mga resulta ng dalawang set na ito, o sa ilang mga kaso kung paano maaaring magaling ang makina sa data ng pagsasanay mismo .
Sa madaling paglarawan ng ilan sa mga problemang ito sa pag-aaral ng makina sa isang piraso ng 2014, inilarawan ni Jason Brownlee at Machine Learning Mastery ang overfitting sa ganitong paraan:
"Ang isang modelo na napili para sa katumpakan nito sa mga pagsasanay sa pagsasanay kaysa sa katumpakan nito sa isang hindi nakikitang mga pagsubok sa pagsubok ay malamang na may mas mababang katumpakan sa isang hindi nakikitang mga pagsubok sa pagsubok, " ang isinulat ni Brownlee. "Ang dahilan ay ang modelo ay hindi tulad ng pangkalahatan. Ito ay tinukoy sa istraktura sa mga pagsasanay sa pag-iskedyul (idinagdag ang mga italics). Ito ay tinatawag na overfitting, at mas insidious kaysa sa iniisip mo."
Sa mga tuntunin, maaari mong sabihin na sa dalubhasa mismo sa hanay ng data ng pagsasanay, ang programa ay nagiging masyadong matibay. Iyon ang isa pang metapisiko na paraan upang tingnan kung bakit ang isang programa sa pag-aaral ng makina ay hindi na-optimize sa pamamagitan ng paggamit ng set ng pagsasanay para sa set ng pagsubok. Ito rin ay isang mahusay na paraan upang lapitan ang pagsusuri sa dalawang magkakaibang hanay, dahil ang mga resulta ay magpapakita sa mga inhinyero ng maraming tungkol sa kung paano gumagana ang programa. Gusto mo ng isang mas maliit na agwat sa pagitan ng kawastuhan para sa parehong mga modelo. Nais mong tiyakin na ang system ay hindi overfed o "precision-fuse" sa isang partikular na set ng data, ngunit iyon ay mas pangkalahatan at maaaring lumaki at umunlad sa utos.
