Søgning
5 briefing-resultat(er) for »moe-offloading«
llama.cpp får MoE-cache til at køre missed experts på CPU
Ny PR giver markant speedup for MoE-offloading ved at lade CPU'en håndtere de eksperter, der ikke er i VRAM.
Opfølgning: 125B-model kører med 20 tok/s på 16 GB VRAM
Lean-QwenFlash kører Qwen3.8-Flash-Next via direkte NVMe-offloading og når ~20 tok/s ved 262k kontekst på almindelig hardware. [Se briefingen …
Opfølgning: 100 GB Qwen-model kører nu på 64 GB Mac
Med oMLX, aggressive hukommelsesindstillinger og MoE-expert-offload kører Qwen3.8-Flash-Next på M3 Max ved 15,8 tok/s og op til …
50% hastighedsboost ved at offloade "hot" experts til VRAM
En udvikler i r/LocalLLaMA har modificeret llama.cpp til kun at offloade de oftest brugte eksperter i MoE-modeller. Giver 20→30 t …
Opfølgning: DeepSeek V4 Flash kører på 80 GB VRAM med MoE-lag på CPU
En Reddit-bruger deler detaljeret opsætning med tre GPU'er og offloading af ekspertlag til CPU. Se [briefingen 17. juli](/archive/2026-07-17).