mmlfit: 157 modela i jedna komanda da saznate koji modeli rade na vašem hardveru

Alat za terminal vašeg računara koji nalazi najbolji LLM model za RAM-u, CPU-u i GPU-u vašeg sistema. Detektuje vaš hardver, ocenjuje svaki model po kvalitetu, brzini, uklopivosti i kontekstu, i kaže vam koji će zaista raditi dobro na vašoj mašini.

Dolazi sa interaktivnim TUI (tekstualnim) interfejsom (podrazumevano), kao i klasičnim CLI (komandna linija) režimom. Podržava multi-GPU konfiguracije, MoE arhitekture, dinamički izbor kvantizacije i procenu brzine.

Brza instalacija za Linux i Mac

curl -fsSL https://llmfit.axjns.dev/install.sh | sh

cargo install llmfit

Detaljnije o instalaciji i upotrebi OVDE