Søgning
3 research-rapport(er) for »quantization«
hvilke 120b modeller er der kommet og hvordan klarer de sig .... det er vist den range af modeller som er bedst til 128gb memory til lokal hosting
… TokenMix bekræfter dette som "80GB VRAM Floor" og skriver: "OpenAI's MXFP4 quantization was designed specifically so GPT-OSS-120B fits on a single …
Qwen 3.6 27b undersøg hvorfor den er så god til lokal kogning og hold den op med nogle af de nye Feks Gemma 4 og Laguna 2.1
… The Measured Numbers](https://kie.ai/blog/qwen-3-6-27b-deep-dive-benchmarks-quantization) 8. [Qwen3.6-27B: 27B Model Beats 397B on …
Qwen 3.8 27b
… Qwen3.6-27B Quantization Benchmark](https://www.reddit.com/r/LocalLLaMA/comments/1tr9vzn/qwen3627b_quantization_benchmark/)
50 briefing-resultat(er) for »quantization«
Opfølgning: Qwen3 kvantiseret til 2,7 bit med Leech lattice – slår IQ2_S
En uafhængig Rust-implementering af LLVQ kvantiserer Qwen3 4B/8B/14B til ~2,7 bit pr. vægt og opnår bedre kvalitet end IQ2_S …
Opfølgning: Unsloth Dynamic v3.1 GGUFs til Qwen3.8-27B forbedrer nøjagtighed med 5-10%
Nye kvantiseringsalgoritmer giver bedre resultater på agentiske benchmarks. [briefingen 5. november](/archive/2026-11-05)
Kimi-K3.1-Pro-Coder kvantet til 775 GB – kører på én GPU
En 2,8T-parameter MoE-model er kvantet fra 1,77 TB til 775 GB (-56%) og kører med 36,8 tps batch på …
Opfølgning: 8-bit KV-cache er sikkert, 4-bit skader kvaliteten
Ny måling viser, at 8-bit KV-cache stort set er tabsfrit, mens 4-bit giver markant forringelse, især ved lange kontekster.
Opfølgning: Fællesskabet erklærer Q4 2026 for local LLM’s guldalder
Qwen Flash Next, Unsloth Dynamic v3.1 og Strata gør frontier-lignende modeller kørbare på consumer-hardware. Qwen 4 forventes denne uge. [briefingen 26 …
iQuantize: Open source desktop-værktøj til kvantisering af LLM'er
Et nyt open source-skrivebordsværktøj understøtter guidet konvertering af LLM'er til GGUF, MLX og ONNX. Det visualiserer ændringer og tillader direkte publicering til …
Opfølgning: Unsloth Dynamic v3.1 GGUFs til Qwen3.8-Flash-Next
Nye kvantiseringer giver 10-15 % bedre accuracy end GSQ-RCO på agentiske benchmarks, med "engram switching" på tværs af BF16, Q8_0, Q5_1 …
Debat: Er hastighedsrekorder uden kvalitetsdata værdifulde for open source-fællesskabet?
En bruger på r/LocalLLaMA stiller spørgsmål ved værdien af daglige hastighedsposter, der mangler kvalitetsdata som KLD. Debatten handler om, hvordan open source-fællesskabet …
Opfølgning: Forudsigelser: Qwen4 HC kræver nye kvantiseringsstrategier
En r/LocalLLaMA-analyse forudser, at Qwen4's HC-arkitektur vil gøre kvantiseringsgabet mellem Q4 og Q6 større. NVFP4 kan forvrænge de følsomme residual …
EXL3-quants sætter ny rekord for Qwen3.8-27B
yeasah's EXL3-kvantisering opnår den laveste KLD på 0,0002 med kun 18,8 GiB VRAM til vægtene. Det slår både Unsloth og …
Opfølgning: Lokal benchmark-server tester 4B–35B-modeller uden datasnyd
En bruger kørte 12 kvantiserede modeller i fulde benchmarks med og uden tanketilstand og målte vægtid og tok/s. Resultaterne afslører modeller, der "tænker …
Opfølgning: Lover GSQ-RCO BF16-kvalitet i IQ3_S?
DASLabs kvantiserede Qwen3.8-27B hævdes at matche BF16 i en IQ3_S-fil. Spørgsmålet er, om den holder mod Unsloths UD-Q4. [Se …
Opfølgning: DeepSeek V4.1 Flash kvantiseret til 1,75 bits – kører på 12 GB GPU
ISTA-DASLab udgiver GGUFs med GSQ-RCO-kvantisering, der presser DeepSeek-V4.1-Flash ned til 1,75 bpw og kører på en enkelt …
Opfølgning: ISTA-DASLab udgiver DeepSeek V4.1 Flash quant med GSQ-RCO
Smart kvantisering af 1017B-modellen er tilgængelig på HuggingFace. llama.cpp-understøttelse mangler stadig; Strata-forks som Xolotl kan være løsningen. [briefingen 18. oktober …
NVIDIA's Nemotron 3.5 Bolt – den eneste nye model der passer i 24 GB
På en uge med Muse Spark Open (512 GB), Beam (294 GB) og DeepSeek V4.1 Flash (510 GB) var NVIDIA den eneste der …
Nemotron 3.5 Bolt – effektiv KV-cache og lineær attention
Bolt bruger 2-bit dekodere og NVFP4 i følsomme lag, med 1 lag fuld attention per 5 lag Mamba2 (lineær attention). Ved 256k kontekst …
Fællesskabet spørger: Kører LFM 24B A2B på 16 GB RAM med Strata?
En diskussion om at få den nye 24B-model til at køde på begrænset hardware med Strata-forken.
Opfølgning: 64 GB RAM flytter Qwen3.8 fra 2-bit til 4-bit på 4090
Mere RAM betyder, at alle eksperter ligger i hukommelsen, og UD-IQ4_XS matcher Q8_0 88,9 % af tiden. [Tidligere briefing](/archive/2026 …
Opfølgning: Lokal 27B-model kører på 16 GB GPU med 42 tok/s
En Reddit-bruger får Qwen 3.8 27B til at køre på 16 GB Radeon med 262K kontekst via en llama.cpp-fork. [Tidligere …
Opfølgning: Ternary Bonsai 2-familien i 2B, 4B og 9B baseret på Qwen 3.5
Nye ternære modeller fra community, bygget på Qwen 3.5, med støtte for dFlash, MTP og MLX. Kan køre med standard llama.cpp. [Se …
Opfølgning: MXFP4-kvant bedst i matematik, værst i kode
Test af Qwen 3.8 27B-kvante overrasker: MXFP4 vinder i gsm8k, men taber i humaneval, og Q6_K var langsommest. Kvantvalg er en …
Opfølgning: Qwen3.8-27B med MTP på 16 GB – 55-68 tok/s
Ny UD-IQ4_XS kvantisering af Qwen3.8-27B passer på RTX 4080 med MTP og leverer markant bedre kvalitet end 3-bit. [Se …
Opfølgning: Kvantisering af lineær-opmærksomhedsmodeller (Qwen & Kimi)
Ny diskussion om kvantiseringsteknikker for lineær attention, der kan reducere hukommelsesforbrug og forbedre inferenshastighed for store modeller som Qwen og Kimi. [Læs den oprindelige …
Opfølgning: Swift1.5 Qwen3.8 Flash Next – MLX-kvantisering til 96 GB Mac Studio M5 Ultra
En kalibreret 4.7 bpw-kvantisering giver 113 tok/s decode og 91% top-1-overensstemmelse med BF16. [briefingen 28. september](/archive/2026-09 …
Opfølgning: Qwen 3.8 Flash Next kører 130k kontekst på 16 GB VRAM – her er opskriften
En bruger deler det præcise setup: q4_k_m quant, Unsloth MTP-head, og --spec-draft-cpu-moe for at få 16,5 t …
Postulat: Kontekstkomprimering gør kvantiserede modeller bedre end lang kontekst
En bruger argumenterer for, at komprimering til 128k forbedrer kvaliteten af kvantiserede modeller sammenlignet med rå 256k/1M.
Stop med FP4-inference – det ødelægger små modeller
En frustreret bruger påpeger, at FP4-kvantisering gør små tætte modeller ubrugelige med hallucinationer. Store modeller klarer det bedre, men for små modeller er …
Qwen 3.8 27B kører på RTX 3060 med 10-20 tokens/sekund
En bruger får Qwen 3.8 27B til at køre på en enkelt RTX 3060 med IQ3-kvantisering og opnår 10-20 t/s …
Opfølgning: Qwen3.5 0.8B kører 2,9× hurtigere på CPU med custom engine
En bruger har bygget et C++-engine og 4-bit-format, der giver 2,9× prefill og 1,7× batch-16 throughput mod llama …
Task-aware kvantisering: 99 % af BF16-ræsonnering til 15 % af størrelsen
En bruger har bygget TAK, en task-specifik kvantiseringspipeline, der med Qwen3.8-27B scorer 82,81 % i ræsonnering mod BF16's 83,59 …
Bruger beder om benchmark: Qwen3.8-27B Q8 vs Flash Q4
En bruger vil have svar på, om Qwen3.8-Next-Flash er det ekstra kvantiseringsformat værd. Indtil videre ingen definitive tal.
Opfølgning: 21 kvantvarianter af Qwen3.8 27B benchmarket på 16 GB VRAM
Bartowski IQ4_XS var bedst samlet, huihui-ai abliterated bedst uncensored; KLD-målingerne viser stor kvalitetsspredning mellem kvants. Valg af kvant betyder mere end …
Quant-variation på 150% — community forvirret
Bruger på r/LocalLLaMA påpeger kæmpe forskel i størrelser for Q4KM-kvanter. Kalder det "æbler, appelsiner og mangoer".
Opfølgning: Kaitchup benchmarker Qwen3.8 27B-kvanter fra Q4 til Q1
Resultater viser, at UD Q3_K_XL med 12,8GB giver 100% nøjagtighed og er ideel til 16GB-kort. [Se tidligere briefingen](/archive/2026 …
Hvorfor ser vi ikke flere INT8 W8A8-modeller til RTX 3090?
RTX 3090 har native INT8-tensorcores, men de fleste vælger FP8 eller mindre kvanter – debatten om hvorfor fortsætter.
Nemotron-3.5-Lightning kører 262K kontekst på 16 GB – med en kvantiserings-fix
En Reddit-bruger fandt en kvantiseringsfejl, der gjorde alle lave GGUF'er af Nemotron-3.5 ubrugelige, og løste den med ShimQuant. Resultatet: 11 …
Opfølgning: Qwen 3.8 Next UD IQ1_S – seks gange langsommere end Q4
En bruger spørger, om Qwen 3.8 Next UD IQ1_S overhovedet giver mening frem for Qwen 3.8 27B UD Q4: IQ1_S …
Opfølgning: Qwen3.8 Flash Quants – 20-30 GB mindre end Unsloth Q4
En bruger frigav imatrix-quants til Qwen3.8-Flash-Next, der sparer 20-30 GB disk og RAM sammenlignet med Unsloth/AesSedai Q4, med …
Opfølgning: State-of-the-art GGUFs til Qwen3.8-27B – 2,5-3,0 bpw
Nye GSQ-RCO-kvanter slår alle eksisterende kvanters nøjagtighed ved samme filstørrelse. 2,75 bpw (9,3 GB) matcher endda BF16 i gennemsnit på …
Opfølgning: Qwen 3.8 27B QAT Q2 kører i kun 13-14 GB RAM med minimal kvalitetsnedgang
En bruger rapporterer, at QAT-kvantiseret Qwen 3.8 27B i Q2 med DFlash og Q5 KV-cache bruger 13-14 GB RAM og …
Opfølgning: Over 200.000 tokens kontekst på 16 GB VRAM med Qwen 3.8 27B
En bruger kører Qwen 3.8 27B med IQ3_XXS-kvantisering og 200k+ kontekst på 16 GB VRAM. Prompt processing falder til 400 tk …
Opfølgning: Demo af Qwen 27B i 3D Zen Room med kvantiseret model
En bruger demonstrerer Qwen 27B kørende i en 3D Zen Room-demo via en pi-harness. Dette viser potentialet for letvægtslokale modeller, som diskuteret …
Fuld NVFP4-kvantisering af Qwen3.8-27B med QUASAR bevarer næsten BF16-kvalitet
QUASAR QAD træner modellen til W4A4 og opnår 19,7 GB checkpoint-størrelse med kun 0,5% tab på GPQA-Diamond sammenlignet med BF16.
Opfølgning: Apple Neural Engine – hvad kører egentlig?
Målinger viser, at placering på ANE afhænger af *hvordan* en beregning udtrykkes, ikke *hvad* den beregner – fp16-modeller kan blive CPU-låst.
Opfølgning: $100 benchmark af Qwen3.8-27B quants
En bruger planlægger at bruge $100 på cloud-GPU'er for at teste kvantiseringsniveauer, KV-cache-præcision og kontekst-afvejninger på Qwen3.8-27B.
Opfølgning: Qwen 3.8 27B i ekstreme quants – hvor lavt kan man gå?
En bruger på r/LocalLLaMA deler erfaringer med Qwen 3.8 27B i Unsloth Q3 XXS på en Mac mini M4 med 24 GB …
ConvRot-kvantisering nu i llama-cpp-turboquant
Den nye ConvRot-kvantiseringsmetode, der giver Q6-kvalitet tæt på Q8's KLD/PPL, er implementeret i llama-cpp-turboquant. Metoden lover at genvinde …
Opfølgning: Atomic Dynamic-quants af Qwen 3.8 27B testet på RTX 6000
Et team har lavet og benchmarked Atomic Dynamic GGUF-quants af Qwen 3.8 27B – Q4, Q5, Q6 og Q8 – på en RTX 6000 …
Opfølgning: Unsloth udgiver forbedrede GGUFs til Qwen3.8-27B
Dynamic v3 giver 10 % højere nøjagtighed for samme størrelse, og 1-bit quants bevarer 77 % nøjagtighed. Modellen kan nu køre på 8 GB RAM …
Status på 1-bit og ternære modeller: Bonsai, Hy-MT1.5, Maple-Preview og flere
En omfattende opdatering dækker nye PRs for CUDA/Vulkan og optimeringer, der giver 15-40% hastighedsforøgelse.