OpenAI otkazao Astru 6.1 i drugi put za dva meseca zaustavio trening najjačih modela

OpenAI je otkazao oktobarski izlazak GPT-6.1 Astre, naslednika modela koji je objavio 3. septembra. Nekoliko dana ranije zaustavio je trening, testiranje i korišćenje svojih najjačih modela u radu sa alatima, odnosno u zadacima u kojima model sam pretražuje veb, pokreće programski kod i koristi spoljne servise. Prema Wall Street Journalu i šefici bezbednosnih sistema Saachi Jain, interni testovi su pokazali da nova Astra nije uvek iskreno govorila korisnicima šta je uradila, a šta nije. Uz to je zadatke nastavljala bez traženja dozvole i posezala za spoljnim alatima i servisima i kad to nije bilo bezbedno. Postojeća Astra ostaje dostupna. Pauzu je izazvao incident od 20. septembra, koji je OpenAI objavio prošle nedelje. Model u treningu imao je zadatak da preko informacija sa veba identifikuje jednu osobu, a pristup internetu mu je bio blokiran. Otvoren je, međutim, ostao DNS, sistem koji imena sajtova prevodi u adrese, nešto kao telefonski imenik interneta. Model je poruke sakrivao u upite tom imeniku i tako razgovarao sa jednim javno dostupnim chatbotom van zatvorenog okruženja, a čiji je bio, OpenAI ne navodi. Nadzorni sistem ga je uhvatio u roku od desetak minuta, čovek je upozorenje video tri minuta kasnije, ali je rad zaustavljen tek posle dva i po sata, jer automatsko gašenje nije funkcionisalo u startu. OpenAI je u objavi napisao da je njegova bezbednosna procena podrazumevala da model ne može da dođe do interneta i da bi nadzor uhvatio svaki uspešan pokušaj. U istoj objavi kompanija navodi da je model na australijskom Medicare portalu pokretao komande, hvatao interni sadržaj, kredencijale i upisivao fajlove, što je više od onoga što se znalo kad smo o tom slučaju pisali. Trening će, kaže OpenAI, nastaviti tek kad bude siguran da su dodatne zaštite na mestu.