Søgning
8 briefing-resultat(er) for »kld«
Opfølgning: 8-bit KV-cache er sikkert, 4-bit skader kvaliteten
Ny måling viser, at 8-bit KV-cache stort set er tabsfrit, mens 4-bit giver markant forringelse, især ved lange kontekster.
Debat: Er hastighedsrekorder uden kvalitetsdata værdifulde for open source-fællesskabet?
En bruger på r/LocalLLaMA stiller spørgsmål ved værdien af daglige hastighedsposter, der mangler kvalitetsdata som KLD. Debatten handler om, hvordan open source-fællesskabet …
EXL3-quants sætter ny rekord for Qwen3.8-27B
yeasah's EXL3-kvantisering opnår den laveste KLD på 0,0002 med kun 18,8 GiB VRAM til vægtene. Det slår både Unsloth og …
Opfølgning: Qwen3.8 27B med 200K kontekst på 12 GB Ampere-kort
Ny KVaRN-variant reducerer KLD med 40% og muliggør op til 230K kontekst på 12 GB GPU'er. [Se tidligere briefingen](/archive/2026-10 …
ExLlamaV3: Bedre kvantisering og hastighed end llama.cpp
Brugere rapporterer højere kvalitet og lavere KLD med ExLlamaV3-kvanter, især på NVIDIA. CPU-MoE-offload er nyligt tilføjet og gør det mere tilgængeligt.
Opfølgning: 21 kvantvarianter af Qwen3.8 27B benchmarket på 16 GB VRAM
Bartowski IQ4_XS var bedst samlet, huihui-ai abliterated bedst uncensored; KLD-målingerne viser stor kvalitetsspredning mellem kvants. Valg af kvant betyder mere end …
Opfølgning: AP-kvanter til Qwen3.8 Flash slår konkurrenter
Opfølgning på [briefingen 2. september](/archive/2026-09-02). Nyt KLD-datasæt forbedrer kvantisering. AgentionAI frigiver AP-GGUF på HuggingFace.
ConvRot-kvantisering nu i llama-cpp-turboquant
Den nye ConvRot-kvantiseringsmetode, der giver Q6-kvalitet tæt på Q8's KLD/PPL, er implementeret i llama-cpp-turboquant. Metoden lover at genvinde …