Studija "Replicability and stability in learning" matematičara Zacharyja Chasea, Shayja Morana i Amira Yehudayoffa, objavljena na arXivu, donosi smjernice o tome kako bolje testirati algoritme i podsjeća nas da mašine ipak nemaju ljudsku inteligenciju.
Mašine interpretiraju medicinske skenirane slike točnije od doktora, prevode strane jezike i uskoro bi mogli voziti automobile sigurnije od ljudi. Međutim, čak i najbolji algoritmi imaju slabosti. Istraživači navode primjer automatiziranog vozila koje čita prometni znak. Ako je netko stavio naljepnicu na znak, to neće omesti ljudskog vozača. Ali stroj se lako može zbuniti jer je znak sada drugačiji od onih na kojima je treniran.
- Željeli bismo da algoritmi budu stabilni tako da izlaz ostane gotovo isti i ako se ulaz malo promijeni. Stvarni život uključuje sve vrste šumova koje su ljudi navikli ignorirati, dok se strojevi mogu zbuniti, kaže Yehudayoff, prenosi Bug.hr.
- Ako algoritam griješi samo u nekoliko vrlo rijetkih okolnosti, to bi moglo biti prihvatljivo. Ali ako to čini pod velikim nizom okolnosti, to je loša vijest, pojašnjavaju oni.
Yehudayoff upozorava kako se njihov rad nema praktičnu primjenu u industriji i nije namijenjen za otkrivanje pogrešaka u konkretnim algoritmima nego potiče raspravu o slabostima u algoritmima mehaničkog učenja kako bi se potaknuo razvoj boljih i stabilnijih algoritama. Metodologija danskih istraživača mogla bi se iskoristiti za testiranje algoritama za zaštitu digitalne privatnosti i odrediti njihove slabosti. No, ono što ovaj rad čini značajnim, njegov je matematički sadržaj za koji njegovi autori kažu da je "revolucionaran".
- Intuitivno razumijemo da bi stabilni algoritam trebao raditi gotovo jednako dobro kao prije kad se izloži maloj količini ulaznog šuma. Baš kao i prometni znak s naljepnicom. Ali kao teoretski informatičari trebamo čvrstu definiciju. Moramo moći opisati problem jezikom matematike: koliko šuma algoritam mora moći izdržati i koliko bi blizu izvornog izlaza trebao biti izlaz ako želimo prihvatiti da je algoritam stabilan, objašnjava Yehudayoff.
Članak danskih istraživača izazvao je veliko zanimanje kolega iz svijeta teorijske kompjuterskih nauka, ali ne i iz tehnološke industrije.
- Mašinsko učenje brzo napreduje i važno je upamtiti da čak i rješenja koja su vrlo uspješna u stvarnom svijetu imaju svoj ograničenja. Ponekad se može činiti da mašine mogu razmišljati, ali naposljetku ne posjeduju ljudsku inteligenciju. I to uvijek treba imati na umu, kaže Yehudayoff.
