Søgning
11 briefing-resultat(er) for »offloading«
llama.cpp får MoE-cache til at køre missed experts på CPU
Ny PR giver markant speedup for MoE-offloading ved at lade CPU'en håndtere de eksperter, der ikke er i VRAM.
Opfølgning: Kapitsa 0.2.26 benchmarker seks modeller på MacBook M5 Max
… Den understøtter SSD-offloading for store modeller som Qwen Flash-Next 180B. [Se briefingen 27. oktober](/archive/2026-10-27)
Opfølgning: 125B-model kører med 20 tok/s på 16 GB VRAM
Lean-QwenFlash kører Qwen3.8-Flash-Next via direkte NVMe-offloading og når ~20 tok/s ved 262k kontekst på almindelig hardware. [Se briefingen …
Opfølgning: 100 GB Qwen-model kører nu på 64 GB Mac
Med oMLX, aggressive hukommelsesindstillinger og MoE-expert-offload kører Qwen3.8-Flash-Next på M3 Max ved 15,8 tok/s og op til …
Gammel GPU kan speede mmproj op til 10x med llama.cpp
Ét flag – `--mmdev CUDA1` – kan lade en sekundær, langsom GPU håndtere vision mmproj og frigøre VRAM til inferens. Praktisk hack til lokal multi-GPU.
Opfølgning: Kør 104GB Qwen3.8-model på 48GB Mac med ~12 tok/s
Slotstream muliggør kørsel af den 125B store Qwen3.8-Flash-Next på Mac med SSD-streaming af eksperter og MLX-native Swift-kode. [Se …
50% hastighedsboost ved at offloade "hot" experts til VRAM
En udvikler i r/LocalLLaMA har modificeret llama.cpp til kun at offloade de oftest brugte eksperter i MoE-modeller. Giver 20→30 t …
N-gram-tabel på SSD streamet i SGLang – uden performance-tab?
En bruger spørger, om nogen har testet at offloade Qwen 3.8 Flash Nexts n-gram-opslagstabel til SSD og streame den i SGLang …
"10-års skraldekort" kører lokale LLMs – hvad kan man egentlig med et Nvidia 1060 3GB?
En Reddit-bruger eksperimenterer med at køre moderne ~7B-parametermodeller på et gammelt Nvidia 1060 3GB-kort via CPU-offloading og Kubernetes. Brugeren planlægger …
Opfølgning: DeepSeek V4 Flash kører med 1M kontekst på en enkelt RTX 5090 + DDR5
En reddit-bruger får fuld 1M kontekst til at køre på en RTX 5090 med 256 GB DDR5 ved hjælp af CPU/RAM-offloading …
Opfølgning: DeepSeek V4 Flash kører på 80 GB VRAM med MoE-lag på CPU
En Reddit-bruger deler detaljeret opsætning med tre GPU'er og offloading af ekspertlag til CPU. Se [briefingen 17. juli](/archive/2026-07-17).