Cisco objavio open source alat za proveru porekla AI modela
Cisco je predstavio open source alat Model Provenance Kit, namenjen organizacijama koje koriste AI modele iz spoljnih repozitorijuma kao što je HuggingFace. Alat pomaže da se utvrdi poreklo modela, sličnost sa drugim modelima i moguća veza kroz zajedničku liniju razvoja. Cisco upozorava da kompanije često koriste modele bez jasnog uvida u izmene, metapodatke, licence, pristrasnosti, ranjivosti ili moguće trovanje modela. Model Provenance Kit radi kao Python toolkit i CLI, sa režimima za poređenje dva modela i za pretragu najbližeg porekla modela kroz bazu fingerprint-a.
Kako AI modeli postaju deo poslovnih aplikacija, agentic sistema i korisničkih servisa, pitanje porekla modela postaje deo bezbednosti softverskog lanca. Bez takvog uvida, organizacija teže može da utvrdi da li koristi model sa nasleđenom ranjivošću, problematičnom licencom, skrivenim izmenama ili podacima koji ne odgovaraju njenom slučaju upotrebe.
- Voditi evidenciju o svim spoljnim AI modelima koji se koriste u organizaciji
- Proveravati poreklo, licencu, metapodatke i istoriju izmena modela pre korišćenja u poslovnim sistemima
- Za kritične AI aplikacije koristiti alate koji mogu da uporede modele i otkriju zajedničku liniju razvoja
- U incident response planove uključiti proveru modela, njegovog porekla i drugih sistema koji koriste srodne modele
- Ne oslanjati se samo na tvrdnje autora modela bez dodatne tehničke i pravne provere