Claude mislio da vežba, pa provalio u tri prave firme
Anthropic je objavio da su tri njegova modela tokom bezbednosnih testova izašla na otvoreni internet i kompromitovala sisteme tri stvarne organizacije. Modelima je rečeno da interneta nema i da je sve simulacija, pa su na prave firme gledali kao na deo vežbe. Interneta je ipak bilo, zbog pogrešne konfiguracije i nesporazuma sa spoljnim evaluatorom Irregular. Claude ovde nije probio nikakvu izolaciju — vrata su stajala otvorena. U prvom slučaju ime izmišljene firme iz zadatka poklopilo se sa domenom prave kompanije. Claude Opus 4.7 je u četiri odvojena izvršavanja našao slabe tačke, izvukao kredencijale i ušao u bazu sa nekoliko stotina redova produkcionih podataka. U sva četiri je u nekom trenutku shvatio da je sistem verovatno stvaran — i nastavio, zaključivši da je i ta prava firma valjda deo vežbe. U drugom slučaju Claude Mythos 5 je primetio da paket koji se pominje u zadatku ne postoji na PyPI-ju, pa ga je sam registrovao. Otvorio je nalog, objavio paket sa skrivenim kodom i čekao. Paket je bio javan oko sat vremena i za to vreme je preuzet i pokrenut na 15 stvarnih sistema, među njima i na skeneru jedne bezbednosne firme, odakle su izvučeni kredencijali koje je model potom iskoristio za dalju infiltraciju. Treći, interni model, skenirao je oko 9.000 sistema i ušao u jedan preko izložene stranice za otklanjanje grešaka i SQL injectiona, ali je sam prekinuo kad je video da cloud nalog nema veze sa zadatkom. Sve je otkriveno naknadnim pregledom 141.006 izvršavanja, a nakon slučaja u kojem su OpenAI modeli upali u Hugging Face. Najstariji incidenti su iz aprila; evaluacije su zaustavljene 23. jula, a pogođene firme obaveštene 27. jula. Dve od njih do tada nisu ni znale šta im se dešava.
Nijedan od tri napada nije tražio nepoznatu ranjivost. Prošli su kroz slabe lozinke, izložene dijagnostičke stranice i SQL injection — dakle kroz ono što na internetu ionako stoji otvoreno, samo je sada neko imao strpljenja da to radi bez prestanka po celu noć. Otud i lekcija za svakoga ko pušta AI agente u svoju mrežu: rečenica u promptu nije bezbednosna granica. Granicu mora da drži mreža, nalog i dozvola, ne uputstvo. Nezgodan deo za Anthropic nije to što je propust bio operativni — to i jeste bio — nego što je između aprila i kraja jula neko drugi snosio posledice, a da to nije ni znao. Kompanija je objavila nalaz sama, zaustavila testove i pozvala METR da pregleda transkripte, što je više nego što se obično radi. Ali priznanje četiri meseca kasnije teško da je uteha firmi koja je iz mejla saznala da joj je baza bila na izvol'te.
- AI agentu ograniči mrežni izlaz tehnički, spiskom dozvoljenih odredišta — ako mu pišeš u promptu da nema internet, a on ga ima, niko ne garantuje da će te poslušati
- Daj mu poseban identitet i kredencijale koji ne vrede nigde van testnog okruženja, i drži prekidač kojim se sve zaustavlja u sekundi
- Beleži svaku radnju agenta i pregledaj je dok traje, a ne posle 141.006 izvršavanja
- Alate koji sami instaliraju tuđe pakete — skenere, CI poslove, build servere — drži u izolaciji bez kredencijala, jer paket koji se pojavi na PyPI-ju ne mora imati poznatog vlasnika
- Zatvori ono kroz šta je model prošao: izložene debug stranice, podrazumevane i slabe lozinke i SQL injection u javnim aplikacijama