Živimo u eri gde su AI "bogovi" rezervisani isključivo za masivne serverske farme i korporativne gigante, dok smo mi, obični entuzijasti, osuđeni na mrvice koje mogu da stanu u skromnu RAM memoriju naših računara. Svaki pokušaj pokretanja iole ozbiljnijeg modela lokalno obično se završava "Out of Memory" greškom koja nas podseća na surovu realnost našeg hardvera.

U svetu modernih LLM modela, "razmišljanje" je postalo nova valuta. Međutim, trenutni trend reasoning modela često pati od ozbiljne inflacije: modeli troše hiljade tokena na repetitivne, "verbose" unutrašnje monologe čak i za trivijalne zadatke. Svaki taj suvišni token predstavlja direktan trošak—u vremenu, električnoj energiji i latenciji. Kao neko ko se bavi optimizacijom open-source ekosistema, retko viđam modele koji rešavaju ovaj problem bez žrtvovanja performansi.