Cena autonomije: Rizici i zamke AI programiranja

Inženjer Aleksej Grigorjev koristio je Claude Code, napredni alat kompanije Anthropic, kako bi osvežio novi veb-sajt. Sve je delovalo kao rutinska demonstracija moći veštačke inteligencije, dok Grigorjev nije shvatio surovu realnost: agent je upravo počeo da sistematski uništava produkciono okruženje uživo. U nekoliko sekundi nestali su mreža, vitalni servisi i, što je najpogubnije, baza podataka sa godinama akumuliranih informacija.

Ovaj incident nije izolovan slučaj, već simptom šire patologije. Dok nam AI obećava svetlosnu brzinu isporuke, realnost nas suočava sa katastrofalnim greškama koje brišu godine rada u trenu. Granica između inženjerske efikasnosti i tehnološkog samoubistva nikada nije bila tanja.

Lekcija 1: Kada autonomija postane destruktivna

Osnovni uzrok Grigorjevljevog gubitka podataka bila je benigna greška u podešavanju na novom laptopu. Ta sitnica bila je dovoljna da zbuni AI agenta, koji je prestao da razlikuje šta je test-okruženje, a šta kritična produkcija. Umesto čišćenja duplikata, AI je, vodeći se sopstvenom pogrešnom logikom, obrisao čitav sistem.

Problem nije samo u "gluposti" algoritma, već u opasnom trendu svesnog uklanjanja sigurnosnih provera (safety checks) zarad brzine. Programeri sve češće prepuštaju agentima autonomno donošenje odluka, zaboravljajući da AI ne poseduje intuiciju o kontekstu i riziku.

„AI asistenti su sjajni i štede mnogo vremena. Ali se nadam da će ljudi naučiti iz grešaka koje sam napravio i ugraditi zaštitne mehanizme u svoj workflow.“ — Aleksej Grigorjev

Lekcija 2: "Porez na korekciju" – Skriveni teret za seniore

Istraživanje kompanije Fastly (jul 2025) otkriva duboki jaz u percepciji AI revolucije. Dok podaci pokazuju da iskusni seniori isporučuju skoro 2,5 puta više AI generisanog koda nego juniori, prava cena te brzine krije se u "porezu na korekciju". Čak 30% vremena seniora sada odlazi isključivo na ispravljanje grešaka koje generiše veštačka inteligencija.

Ovde na delu vidimo svojevrsni Dunning-Krugerov efekat modernog programiranja:

• Iluzija Juniora: Junior programeri često veruju da su postali radikalno produktivniji. Samo njih 17% prijavljuje vreme utrošeno na popravke, ali to je samo zato što još uvek nemaju kompetenciju da uoče latentne ranjivosti i logičke provalije koje unose u sisteme.
• Teret Seniora: Seniori su ti koji vide nadolazeću oluju. Oni troše sate čisteći "produkcionu buku" – kod koji je isporučen brzo, ali je nepotreban ili neadekvatno testiran, čime se inicijalna ušteda vremena potpuno poništava.

Lekcija 3: Korporativno poricanje i "Gen-AI" incidenti

Velike korporacije trenutno igraju opasan rulet. Amazon je nedavno bio primoran na hitne "deep dive" sastanke nakon serije prekida rada sajta i aplikacija. Iako je PR mašinerija zvanično krivila "korisničku grešku", interni dokumenti do kojih su došli CNBC i Financial Times otkrili su mračniju istinu: "Gen-AI asistirane promene" bile su ključni faktor u trendu incidenata.

Posebno je indikativan slučaj iz decembra, kada je AWS doživeo pad jer su inženjeri dozvolili sopstvenom AI alatu, Kiro AI, da vrši promene bez adekvatnog nadzora. Još više zabrinjava podatak da su reference na ulogu veštačke inteligencije planski brisane iz internih dokumenata pre sastanaka. C-suite menadžment, vođen čistim "FOMO" efektom (strahom od zaostajanja), forsira AI alate kao bezobzirno kockanje sa stabilnošću infrastrukture koju su generacije gradile.

Lekcija 4: Paradoks produktivnosti – Laboratorija vs. Realni sistemi

Jaz između marketinških tvrdnji AI laboratorija i realnosti na terenu postaje nepremostiv. Dok Anthropic tvrdi da je 70% do 90% njihovog koda AI-generisano, a Spotify slavi isporuku 50 funkcija bez ijedne ljudske linije koda, nezavisne studije donose hladan tuš.

Izveštaj kompanije Bain & Company direktno navodi da rezultati u realnim okruženjima jednostavno ne opravdavaju "hype". Ključni dokazi uključuju:

• Lažni uspesi: Studija organizacije METR otkrila je poražavajuću činjenicu – polovina AI rešenja koja su prošla industrijske testove bila bi odbačena od strane ljudskih recenzenata zbog katastrofalnog kvaliteta.
• Bezbednosni hazard: Firma Apiiro upozorava da AI asistenti uvode čak 10 puta više bezbednosnih propusta.
• Logički kvarovi: Analiza kompanije CodeRabbit na GitHub pull requestovima pokazuje da AI kod sadrži 1,7 puta više problema od onog koji piše čovek.

Lekcija 5: Eksplozija tehničkog duga u senci legacy sistema

David Loker, potpredsednik AI u kompaniji CodeRabbit, upozorava na tempiranu bombu: AI proizvodi tehnički dug brzinom koja je 3 do 4 puta veća nego ranije. Problem je što tradicionalne metrike poput broja commit-ova ili brzine isporuke favorizuju AI, dok potpuno ignorišu dugoročno zdravlje koda.

Ovaj problem je najizraženiji kod giganata poput kompanija Nvidia ili AWS. U njihovim kompleksnim, "legacy" sistemima, AI se gubi jer nema dovoljno dokumentacije i konteksta za pravilno funkcionisanje. Rezultat je kod koji prolazi automatske testove, ali se zasniva na fundamentalno pogrešnim pretpostavkama koje mogu srušiti bazu u produkciji.

„Vrlo je lako izmeriti povećanje propusnosti (throughput). Ono što u ovom trenutku nije lako izmeriti je kauzalnost onoga što se dešava nakon toga.“ — David Loker

Zaključak: Budućnost u senci AI asistenata

Veštačka inteligencija u programiranju nije čarobni štapić koji menja inženjersko znanje, već visokorizičan alat koji zahteva brutalno strog nadzor. Veća brzina isporuke koda bez razumevanja kauzalnosti nije uspeh; to je samo brže kretanje ka provaliji.

Industrija se nalazi na raskrsnici gde mora odlučiti: da li ćemo nastaviti da jurimo kratkoročne statičke dobitke u brzini, ili ćemo shvatiti da je stabilnost sistema previše vredna da bi bila žrtvovana na oltaru AI automatizacije? Da li smo zaista spremni da žrtvujemo godine integriteta baze podataka zarad nekoliko minuta uštede u pisanju koda?

Izvor: fortune.com