Zamislite da pokušavate da istražite čitavu nacionalnu biblioteku, ali ste fizički ograničeni tako da u rukama možete držati samo tri stranice teksta u bilo kom trenutku. Da biste razumeli poglavlje 50, morali biste da ispustite iz ruku sve što ste saznali u prethodnih 49 poglavlja. Ovo je surova realnost današnjih velikih jezičkih modela (LLM) – fenomen poznat kao ograničenje "kontekstnog prozora". Čak i najmoćniji modeli današnjice pate od digitalne amnezije čim količina informacija premaši njihovu radnu memoriju.

Štednja tokena (vidi 👉 Šta su tokeni?) je ključna veština, naročito kada koristmo modele na srpskom jeziku ("porez na jezik"). Evo konkretnih tehnika kako da smanjiš potrošnju, a zadržiš kvalitet.

Tokeni su osnovne gradivne jedinice teksta koje veštačka inteligencija čita i razume. Veliki jezički modeli "seckaju" tekst na manje delove — te delove zovemo tokeni.