Søgning
3 research-rapport(er) for »q4«
Qwen 3.6 27b undersøg hvorfor den er så god til lokal kogning og hold den op med nogle af de nye Feks Gemma 4 og Laguna 2.1
… Sammenlignet med konkurrenterne har Qwen 3.6 27B en fordel i VRAM-behov. [12] angiver, at Q4_K_M-kvantisering lander på cirka 16 …
Qwen 3.8 27b
… I en kvantiseringssammenligning opnåede Qwen3.6-27B i Q4_K_M-format 17,5 GB VRAM-forbrug med en HumanEval-pass rate på 74 …
Qwen 3.6 27b undersøg hvorfor den er så god til lokal kogning og hold den op med nogle af de nye Feks Gemma 4 og Laguna 2.1
… juli 2026) viser en specifik benchmark, at **Gemma 4 12B QAT Q4_0** opnår 86,7% (65/75) på LiveCodeBench på en Tesla V100 …
26 briefing-resultat(er) for »q4«
Opfølgning: Fællesskabet erklærer Q4 2026 for local LLM’s guldalder
Qwen Flash Next, Unsloth Dynamic v3.1 og Strata gør frontier-lignende modeller kørbare på consumer-hardware. Qwen 4 forventes denne uge. [briefingen 26 …
Opfølgning: Forudsigelser: Qwen4 HC kræver nye kvantiseringsstrategier
En r/LocalLLaMA-analyse forudser, at Qwen4's HC-arkitektur vil gøre kvantiseringsgabet mellem Q4 og Q6 større. NVFP4 kan forvrænge de følsomme residual …
Opfølgning: Lover GSQ-RCO BF16-kvalitet i IQ3_S?
… Spørgsmålet er, om den holder mod Unsloths UD-Q4. [Se briefingen 25. oktober](/archive/2026-10-25).
Opfølgning: Bruger tester Qwen 3.8 Flash Next – skuffet over kvalitet
En bruger sammenligner Qwen 3.8 Flash Next Q4 med 27B Q8 og finder den ringere til kodning (se [briefingen 16. oktober](/archive/2026 …
Lille model på CPU bygger solsystem-demo i ét pas
KAT-Coder V2.5 Q4_K_M kører på en iGPU med 14 tok/s og genererer imponerende HTML/JS-demo med orkestrerede planeter …
Opfølgning: Lokal Qwen3.8FN-agent er billigere end skyen – selv ved spidsbelastning
En bruger viser, at Qwen3.8FN Q4 på en Tesla P40 koster mindre end alle skymodeller undtagen Luna og nyeste Haiku. Ved off-peak …
Opfølgning: Qwen 3.8 Flash Next kører 130k kontekst på 16 GB VRAM – her er opskriften
En bruger deler det præcise setup: q4_k_m quant, Unsloth MTP-head, og --spec-draft-cpu-moe for at få 16,5 t …
Opfølgning: Qwen 3.8 27B på M1 Max – jagten på acceptable hastigheder
En bruger søger råd til at køre Qwen 3.8 27B i q4 på en M1 Max med 32 GB. oMLX, MTPLX og llama …
Bruger beder om benchmark: Qwen3.8-27B Q8 vs Flash Q4
En bruger vil have svar på, om Qwen3.8-Next-Flash er det ekstra kvantiseringsformat værd. Indtil videre ingen definitive tal.
Råd til billig GPU til lokal LLM – 2080 Ti 22 GB eller MI50 32 GB?
Bruger med 700 USD budget overvejer modificerede GPU'er fra Kina til at køre Qwen 3.8 27B Q4_K_M.
Opfølgning: Ollama ROCm matcher næsten llama.cpp Vulkan på RX 7900 XTX
Qwen3.8 27B Q4_K_M gav 34,4 tok/s i Ollama mod 35,8 i llama.cpp; Ollama var bedst til prompt …
Opfølgning: Qwen3.8-Flash-Next rammer 37-41 t/s på to 3090'er med DDR4
llama.cpp-optimeringer med UD-Q4_K_XL, expert cache og MTP løfter decode-farten markant på gammel hardware. [Briefingen 31. august](/archive/2026 …
Quant-variation på 150% — community forvirret
Bruger på r/LocalLLaMA påpeger kæmpe forskel i størrelser for Q4KM-kvanter. Kalder det "æbler, appelsiner og mangoer".
Opfølgning: Kaitchup benchmarker Qwen3.8 27B-kvanter fra Q4 til Q1
Resultater viser, at UD Q3_K_XL med 12,8GB giver 100% nøjagtighed og er ideel til 16GB-kort. [Se tidligere briefingen](/archive/2026 …
Opfølgning: Qwen 3.8 Next UD IQ1_S – seks gange langsommere end Q4
En bruger spørger, om Qwen 3.8 Next UD IQ1_S overhovedet giver mening frem for Qwen 3.8 27B UD Q4: IQ1_S …
Opfølgning: Qwen3.8 Flash Quants – 20-30 GB mindre end Unsloth Q4
En bruger frigav imatrix-quants til Qwen3.8-Flash-Next, der sparer 20-30 GB disk og RAM sammenlignet med Unsloth/AesSedai Q4, med …
Qwen3.8-27B Q4 mestrer ThreeJS – genererer kode på 3090
Bruger viser, at den kvantiserede 27B-model producerer korrekt ThreeJS-kode med "thinking high" aktiveret.
Opfølgning: PowerColor R9700 til Qwen 3.8 27B – reelle tok/s efterlyses
En bruger overvejer et R9700-kort til Qwen 3.8 27B i Q4_K_XL og spørger efter reelle tok/s ved 64K+ kontekst …
Opfølgning: Atomic Dynamic-quants af Qwen 3.8 27B testet på RTX 6000
Et team har lavet og benchmarked Atomic Dynamic GGUF-quants af Qwen 3.8 27B – Q4, Q5, Q6 og Q8 – på en RTX 6000 …
Fintunet Gemma 4 12B giver 2,7x forbedring på tool calling
… Vægtene (fp16 → Q4_K_M) er tilgængelige til llama.cpp og Ollama.
Opfølgning: DeepSeek V4 Flash q4+ kører på 128 GB RAM + 60 GB VRAM
Trods forventning om kun q2-kvanter lykkes det en bruger at køre DeepSeek V4 Flash i 4-bit+ med acceptable tokens/s på en …
16 GB VRAM-skærsilden: deling af konfigurationer til Qwen3.8
Brugere deler tips til at køre Qwen3.8-27B på 16 GB VRAM med Q4_XS, CPU-mmproj og begrænset kontekst. [Se tidligere dækning …
Opfølgning: Ornith-1.5 35B kører 60 tok/s på et enkelt 4070 Ti
Med Q4_K_M og 27 aktive eksperter opnås 50–56 tok/s på en 12 GB GPU. Konteksten er 32K, men modellen er …
Qwen 3.8 27B Q2 vs Q3 vs MoE på 12 GB VRAM – MoE vinder på fart
Test på en RTX 5070 Ti laptop viser, at Qwen 3.6 35B-A3B MoE (Q4) giver 59 t/s og 6/6 korrekte …
Opfølgning: Gemma 4 QAT er ikke entydigt bedre end Q4_K_L
… Brugeren foreslår, at Google justerer modellen til q4_k. [Se briefingen 29. juli](/archive/2026-07-29).
Opfølgning: Laguna S-2.1s "thinking forever"-loop er en kvantiseringsfejl
… En APEX-Kvant (Q6_K shared expert, Q4_K attention) løser 90% af fejlene. [briefingen 23. juli](/archive/2026-07-23)