Ljudi povezani sa Moonshotom virili „ispod haube" naših modela, tvrdi OpenAI
OpenAI kaže da su ljudi povezani sa kineskom firmom Moonshot, koja pravi AI modele Kimi, u julu pokušavali da zabeleže kako njihovi modeli rezonuju „ispod haube". Pre nego što odgovori, model zapisuje korake kroz koje dolazi do odgovora. OpenAI te korake korisnicima ne prikazuje, a za konkurenciju su vredni, jer se na njima može učiti sopstveni model. Korisnik ih vidi šifrovane, da bi model kasnije mogao da nastavi gde je stao, i tu šifru niko do sada nije probio. Ono čega su se optuženi akteri setili je da šifrovane korake prebace iz jednog razgovora u drugi, i traže od modela da ih pročita kao obične poruke, što je on i radio. Akcija je počela 1. jula, a vrhunac je imala 24. i 25. jula, kada je sa više od 4.000 naloga stiglo 16.000 takvih zahteva. Sličan obrazac OpenAI vidi kod više od 15.000 naloga. Sve je zaustavljeno 28. jula, nalozi su ugašeni, a model više ne čita šifrovane korake prenete iz drugih razgovora. Dokaze za vezu sa Moonshotom OpenAI ne objavljuje, a Moonshot se povodom ove vesti nije oglasio.
Moonshot treći put ove godine optužuju za slične manipulacije. Anthropic ga je u februaru optužio za destilaciju, a u septembru da je pitanja svojih korisnika potajno slao Klodu. Svaki put dokaze vidi samo firma koja se žali, pa optužbe ostaju neproverene od spolja. The Register je podsetio i na ironiju: OpenAI se žali na krađu, a sam je svoje modele učio na tuđim tekstovima, oko čega se još uvek vode sudski sporovi. Tehnički deo priče je prostiji od političkog. Zaštita nije pala zato što je šifra bila slaba, nego zato što je svaki razgovor umeo da otključa ono što je zaključao neki drugi. Ko pravi sopstveni AI servis, iz ovoga izvlači besplatnu lekciju: šifrovan podatak treba da važi samo tamo gde je nastao.
- Ako tvoj sistem korisnicima vraća šifrovane podatke, veži ih za konkretnu sesiju i korisnika, da ne mogu da se iskoriste na drugom mestu
- Prati obrasce upita na svojim AI servisima: nagli skok sličnih zahteva sa hiljada naloga obično nije prirodan rast
- Kad biraš AI servis za firmu, proveri ko stvarno obrađuje upite i da li dobavljač prosleđuje podatke drugim modelima