Søgning
5 briefing-resultat(er) for »nvme«
Opfølgning: 125B-model kører med 20 tok/s på 16 GB VRAM
Lean-QwenFlash kører Qwen3.8-Flash-Next via direkte NVMe-offloading og når ~20 tok/s ved 262k kontekst på almindelig hardware. [Se briefingen …
Opfølgning: Tensor-parallelisme på to R9700 i Strix Halo – nu med fuld hastighed
En bruger får to Radeon R9700 til at arbejde sammen via NVMe-PCIe og opnår 37 tok/s med rocm (se [briefingen 7. september …
Opfølgning: 181 tok/s på Qwen3.8 Flash Next på 2× DGX Spark
… PLE-tabel mmap’et fra NVMe og madvise(MADV_RANDOM) [se briefingen 21. august](/archive/2026-08-21).
Intel Optane som tredje lagerlag til MoE-modeller diskuteres
En bruger spekulerer i, om udgået Intel Optane-teknologi kan bruges som en tredje hukommelseslag til nestede MoE-modeller mellem RAM og NVMe.
Opfølgning: Kimi K3 kører på én CPU med 8 GB RAM – 33 sekunder per token
En C99-inference engine streamer eksperter fra NVMe. 176 KB binary, ingen GPU. Ikke praktisk, men imponerende ingeniørarbejde. [Se tidligere briefingen 30. juli](/archive …