Shopify smanjio troškove inferencije 75 puta koristeći Qwen 3 za ekstrakciju podataka o trgovcima

Gigant e-trogivine Shopify je saopštio da je zamenio svoj proces za ekstrakciju podataka o trgovcima, koji se ranije oslanjao na OpenAI-jev GPT-5, novim multi-agentnim okvirom. Koristeći programsku optimizaciju upita (promptova), kompanija je postigla superiorne performanse na arhitekturi otvorenih težina (open-weight architecture).

Ovim potezom, operativni troškovi po jedinici za velike jezičke modele smanjeni su za 75 puta, dok je kvalitet automatizovanih rezultata istovremeno udvostručen.

Sistemska reforma generativne inteligencije

Kšetrajna Ragavan (Kshetrajna Raghavan), inženjer primenjenog mašinskog učenja u kompaniji, izneo je ove podatke tokom prezentacije na Bay Area DSPy Meetup-u, detaljno opisujući kako je platforma sistematski rekonstruisala svoju arhitekturu generativne veštačke inteligencije.

Rezultati su postignuti migracijom sa „single-shot“ pristupa (slanje jednog upita) modelu GPT-5 na sistem sa više agenata koji pokreće samostalno hostovan model Qwen 3.

Automatizacija obrade podataka iz miliona prodavnica

Kompanija se oslanja na ove AI alate kako bi izvukla strukturisane podatke iz miliona visoko prilagođenih, nestrukturisanih onlajn prodavnica. Sistem odgovara na pitanja o:

• Politikama povraćaja robe.
• Potencijalnim signalima prevare.
• Poreskim kategorijama.

Ragavan je istakao da je oslanjanje na monolitni sistem za obradu čitavih veb-sajtova stvaralo nepotrebno računarsko opterećenje i ograničenu vidljivost procesa.

„Prelazak sa GPT-5 'single-shot' upita na multi-agentnu arhitekturu iz korena je promenio ekonomiju naše inferencije (proces u kome AI analizira zadataka, traži odgovor i odgovara)“, rekao je on.

Primena DSPy okvira i Qwen 3 modela

Ova arhitektonska promena zasnovana je na DSPy-u, open-source okviru koji su razvili istraživači sa Univerziteta Stanford. DSPy algoritamski optimizuje upite i težine jezičkih modela. Uz DSPy, inženjeri Shopify-a su prešli sa ručno pisanih instrukcija na programski sistem.

Inženjerski tim je implementirao Qwen 3 model otvorenih težina — koji je razvio Alibaba Cloud — unutar sopstvene serverske infrastrukture. To je direktno eliminisalo latenciju API-ja i marže eksternih dobavljača.

Govoreći o finansijskom aspektu ove strategije, Ragavan je izjavio: „Zamenom vlasničkog API-ja samostalno hostovanim Qwen 3 modelom, smanjili smo troškove po jedinici LLM-a za 75 puta.“

Specijalizovani agenti i veća preciznost

Umesto da se jedan ogroman model koristi za istovremeno čitanje celog sajta, novi programski sistem deli proces ekstrakcije na manje, specijalizovane radne procese agenata.

U ovoj postavci, autonomni moduli veštačke inteligencije — kao što su agenti zaduženi isključivo za otkrivanje prevara ili poresko kodiranje — dobijaju specifične alate za pregled prodavnice i izvlačenje samo onih podataka koji su im neophodni.

Ova specijalizacija je dodatno:

1. Smanjila stopu halucinacija.
2. Poboljšala pridržavanje zadatim instrukcijama.
3. Udvostručila kvalitet u odnosu na prethodni osnovni model koji je koristio jedan upit.

Izvor: analyticsindiamag.com