Data poisoning postaje tihi rizik u enterprise AI sistemima
CSO Online piše o riziku da enterprise AI sistemi, interni LLM-ovi, copiloti i autonomni agenti počnu da donose odluke na osnovu pogrešnih, zastarelih ili namerno izmenjenih podataka. Tekst razlikuje namerno trovanje podataka od data pollution problema, gde organizacije same hrane AI sisteme starim SharePoint folderima, neusaglašenim HR bazama, zastarelim uputstvima, email arhivama i konfliktnim internim dokumentima. Stručnjaci upozoravaju da problem ne mora izgledati kao klasičan napad: nema šifrovanja fajlova, nema očiglednog alarma, već AI sistem počinje da daje uverljive, ali pogrešne odgovore. Rizik se posebno širi kroz RAG pipeline, interne knowledge base-ove, agent memory, kontekst koji agenti koriste i agent-to-agent komunikaciju.
Enterprise AI ne zavisi samo od kvaliteta modela, već od kvaliteta istine koju mu organizacija daje. Ako model uči iz loših, starih ili manipulisanih izvora, posledice mogu završiti u odlukama o pristupu, nabavci, finansijama, korisničkoj podršci ili security operacijama, dok sistem spolja izgleda kao da radi normalno.
- Mapirati sve izvore podataka koje AI sistemi koriste, uključujući RAG, interne baze znanja, dokumente, email arhive i agent memory
- Razdvojiti pouzdane, aktuelne i odobrene izvore od starih, konfliktnih ili neproverenih dokumenata
- Uvesti data provenance za AI sisteme: ko je vlasnik izvora, kada je ažuriran, ko ga menja i za koju upotrebu je odobren
- Ne dozvoliti agentima da donose važne odluke na osnovu jednog izvora bez provere ili ljudske potvrde
- Testirati AI sisteme na scenarije pogrešnog konteksta, zlonamernih instrukcija u dokumentima i manipulisanih internih podataka