Kompanije kupuju GPU kapacitete koje uglavnom ne koriste
TechNewsWorld piše o izveštaju kompanije Cast AI, zasnovanom na podacima iz 23.000 Kubernetes klastera, prema kome je prosečna iskorišćenost GPU resursa u enterprise okruženjima samo oko 5%. Kompanije kupuju ili rezervišu skupe AI kapacitete iz straha da ih kasnije neće moći dobiti, ali veliki deo te infrastrukture ostaje neiskorišćen. Sagovornici u tekstu upozoravaju da problem nije samo tehnički, već organizacioni: timovi koji rezervišu resurse često nisu isti oni koji plaćaju račun, a AI projekti još nemaju dovoljno jasne poslovne ishode.
Kod AI infrastrukture sve više se vidi razlika između ambicije i stvarne operativne zrelosti. Ako firma kupuje GPU kapacitete pre nego što ima jasne slučajeve upotrebe, odgovornost za trošak i merila uspeha, skupa infrastruktura lako postaje simbol straha od zaostajanja, a ne alat koji donosi vrednost.
- Pre kupovine GPU kapaciteta jasno povezati AI projekte sa konkretnim poslovnim ciljevima
- Uvesti praćenje iskorišćenosti GPU resursa i redovno proveravati da li rezervisani kapaciteti imaju smisla
- Povezati timove koji traže infrastrukturu sa timovima koji prate troškove i rezultate
- Koristiti autoscaling, deljenje resursa i bolju orkestraciju umesto trajnog prekomernog rezervisanja
- Razlikovati eksperimentalne AI projekte od produkcionih sistema koji zaista traže stalne GPU kapacitete