Rekurzivni pristup rešava najveću manu AI modela

Zamislite da pokušavate da istražite čitavu nacionalnu biblioteku, ali ste fizički ograničeni tako da u rukama možete držati samo tri stranice teksta u bilo kom trenutku. Da biste razumeli poglavlje 50, morali biste da ispustite iz ruku sve što ste saznali u prethodnih 49 poglavlja. Ovo je surova realnost današnjih velikih jezičkih modela (LLM) – fenomen poznat kao ograničenje "kontekstnog prozora". Čak i najmoćniji modeli današnjice pate od digitalne amnezije čim količina informacija premaši njihovu radnu memoriju.

Istraživači sa MIT CSAIL laboratorije predstavili su rešenje koje iz korena menja ovu dinamiku: Rekurzivni Jezički Modeli (RLM). Umesto da pokušavaju da "uguraju" sve više teksta u model, oni tretiraju dugačke upite kao eksterno okruženje koje model može programski da istražuje. RLM nije novi model koji zahteva skupo treniranje, već inteligentni "wrapper" (omotka) oko postojećih sistema, dizajniran kao "drop-in replacement" koji inženjerima omogućava da postojeće API pozive zamene rekurzivnim procesiranjem bez promene osnovne infrastrukture.

Kraj ere "propadanja konteksta": Sistemsko upravljanje informacijama

Dosadašnji napori u AI industriji bili su fokusirani na puko proširenje "prozora" kroz koji model gleda. Međutim, prosto povećanje broja tokena vodi ka fenomenu poznatom kao "context rot" (propadanje konteksta), gde performanse modela drastično opadaju uprkos većoj količini dostupnih podataka. RLM donosi promenu paradigme: dugački upiti se posmatraju kao eksterna baza podataka kojom se upravlja sistemski, a ne memorijski.

Glavna prepreka jednostavnom proširenju konteksta je statističke prirode. Kako objašnjava Alex Zhang, jedan od koautora istraživanja:

"Postoji argument entropije koji implicira da vam je potrebno eksponencijalno više uzoraka podataka kako povećavate efektivnu veličinu prozora konteksta."

RLM izbegava ovaj problem tako što ne primorava model da "vidi" sve odjednom. Umesto toga, on primenjuje logiku dekompozicije, gde se masivni kognitivni zadaci razbijaju na manje, lokalne pod-zadatke kojima je lakše upravljati.

Programabilna inteligencija: Kada LLM piše kod da bi "video"

Suština RLM-a leži u primeni "out-of-core" algoritama, koncepta iz klasičnog računarstva gde se podaci koji ne staju u radnu memoriju čuvaju eksterno i povlače samo po potrebi.

U ovom okviru, LLM učitava dugački tekst kao varijablu unutar REPL (Read-Eval-Print Loop) okruženja, specifično Python radnog prostora. Ovde nastupa ključni "aha!" momenat: modelu je namerno uskraćen direktan pristup celom stringu. On vidi samo osnovne metapodatke, poput broja karaktera. Da bi "pročitao" sadržaj, model mora postati programer sopstvenog znanja. On piše Python kod (koristeći regularne izraze ili petlje) kako bi pretražio varijablu i pronašao specifične ključne reči.

Tek kada kod pronađe relevantan isečak, taj specifični komad se povlači u aktivni kontekstni prozor. Ova metoda je kontraintuitivno efikasnija od običnog čitanja jer primorava model na preciznu, algoritamsku navigaciju kroz milione tokena, čime se eliminiše kognitivno preopterećenje.

Arhitektura delegiranja: Strategija "Gospodar i Radnik"

RLM arhitektura rešava problem kognitivnog zasićenja kroz jasnu podelu rada između dva agenta:

1. Root model (Gospodar): Kapacitativno najjači model (poput GPT-5). On deluje kao strateg i orkestrator koji operiše unutar REPL okruženja. Njegov zadatak je da planira pristup, piše kod za pretragu i upravlja celokupnim tokom podataka.
2. Recursive model (Radnik): Često brži i jeftiniji model. Njegova uloga je da izvršava specifične, lokalne zadatke nad isečcima teksta koje mu "Gospodar" pošalje.

Ovakva dekompozicija omogućava sistemu da operiše nad skalama od preko 10 miliona tokena. Kao što Zhang ističe, ključ je u tome što se većina kompleksnih problema može svesti na seriju lokalnih operacija koje ne zahtevaju poznavanje celokupnog konteksta u svakom trenutku.

Trijumf na benchmark testovima: Od potpunog kolapsa do dominacije

Efikasnost RLM-a najbolje ilustruju rezultati na testovima koji simuliraju ekstremne uslove. Na benchmarku BrowseComp-Plus (unosi od 6 do 11 miliona tokena), standardni modeli su doživeli potpuni fijasko sa 0% uspeha. RLM pokretan GPT-5 modelom postigao je impresivnih 91,33%, ostavljajući daleko iza sebe i druge napredne agentske pristupe poput Summary Agenta (70,47%) i CodeAct sistema (51%).

Još dramatičniji rezultati zabeleženi su na OOLONG-Pairs testu, gde težina zadatka raste kvadratno sa dužinom teksta. Dok su standardni GPT-5 modeli pali na nivo statističke greške (0,04%), RLM je postigao F1 rezultat od 58%. Takođe, u domenu analize koda (CodeQA), RLM je više nego udvostručio performanse baznog modela, podigavši preciznost sa 24% na 62%. Ovi brojevi jasno pokazuju da rekurzija nije samo poboljšanje, već jedini način da modeli zadrže fokus na ekstremnim skalama.

Paradoks ekonomičnosti: Zašto je više poziva zapravo jeftinije

Iako RLM generiše veći broj pod-poziva (sub-calls), on je često ekonomski superiorniji. Na BrowseComp-Plus benchmarku, RLM je bio do tri puta jeftiniji od standardne metode sumarizacije. Razlog je u arhitekturi: model ne mora da procesira (i plaća) gigantski kontekst pri svakom koraku, već plaća samo za minijaturne, relevantne isečke.

Ipak, kao istraživači, moramo upozoriti na "long-tailed" troškove. Postoji rizik da se model "zaglavi" u redundantnim verifikacijama ili beskonačnim petljama. Dok je GPT-5 u testovima bio konzervativan, model Qwen3-Coder je povremeno pokušavao hiljade poziva za trivijalne zadatke. To implicira da je u trenutnoj fazi neophodno implementirati stroge zaštitne ograde (guardrails) i kontrolnu logiku unutar samog wrapper-a.

Budućnost kognitivnog budžetiranja

Rekurzivni jezički modeli ne predstavljaju zamenu za RAG (Retrieval-Augmented Generation) sisteme; oni su njihova evolutivna dopuna. Dok RAG pomaže u pronalaženju igle u plastu sena, RLM omogućava modelu da razume čitav plast sena, slamku po slamku, gradeći koherentnu sliku bez gubitka fokusa.

Ova inovacija najavljuje budućnost u kojoj veštačka inteligencija više nije pasivni primalac informacija, već aktivni upravnik sopstvenog budžeta računanja. Ako AI modeli sada mogu da operišu nad milionima stranica sa hirurškom preciznošću, postavljamo pitanje: koja je sledeća granica ljudske kognicije koju će ovi "digitalni bibliotekari" ne samo dostići, već i prevazići?

Izvor: venturebeat.com