Søgning
4 briefing-resultat(er) for »exllamav3«
Opfølgning: 125B-model kører med 20 tok/s på 16 GB VRAM
Lean-QwenFlash kører Qwen3.8-Flash-Next via direkte NVMe-offloading og når ~20 tok/s ved 262k kontekst på almindelig hardware. [Se briefingen …
Opfølgning: Qwen 3.8 27B kører på to RTX-kort – 50 tok/s med MTP
En opsætning med RTX 5060 Ti og RTX 3060 opnår 50 tok/s på Qwen 3.8 27B via exllamav3 og MTP (se [briefingen …
Opfølgning: ExLlamaV3 slår llama.cpp til CPU-offloadet Qwen Flash Next
Med to RTX 3080'ere og 128 GB RAM giver ExLlamaV3 2× decode og 3,2× prefill mod llama.cpp. Fordelen er dog model …
ExLlamaV3: Bedre kvantisering og hastighed end llama.cpp
Brugere rapporterer højere kvalitet og lavere KLD med ExLlamaV3-kvanter, især på NVIDIA. CPU-MoE-offload er nyligt tilføjet og gør det mere tilgængeligt.