Søgning
2 research-rapport(er) for »2-bit«
Qwen 3.8 27b
… Unsloth angiver, at modellen kan køre på 15 GB total hukommelse (RAM+VRAM) ved 4-bit kvantisering, 18 GB ved 6-bit, 24 GB …
seneste udvikling i Ukraine-krigen
… ukrinform.ua/) 2. [Битва за Україну. День тисяча п’ятсот дев’яносто другий](https://www.ukrinform.ua/amp/rubric-ato/4140829-bitva-za-ukrainu …
37 briefing-resultat(er) for »2-bit«
Opfølgning: Qwen3 kvantiseret til 2,7 bit med Leech lattice – slår IQ2_S
En uafhængig Rust-implementering af LLVQ kvantiserer Qwen3 4B/8B/14B til ~2,7 bit pr. vægt og opnår bedre kvalitet end IQ2_S …
Opfølgning: 8-bit KV-cache er sikkert, 4-bit skader kvaliteten
Ny måling viser, at 8-bit KV-cache stort set er tabsfrit, mens 4-bit giver markant forringelse, især ved lange kontekster.
En LLM kørende inde i en anden LLM – QwenPU er her
… nu kompileret en NPU, der eksekverer Karpathys stories260k bit-eksakt inde i Qwen 3.5-4B – se [briefingen 29. oktober](/archive/2026-10-29).
Opfølgning: Liquid LFM3 kører på telefoner og edge-enheder
… benchmarkresultater end forgængeren, i kun 1 GB ved 4-bit. Alle seks modeller er på Hugging Face — [briefingen 28. oktober](/archive/2026-10-28).
Qwenputer: En RISC-V-CPU er bygget ind i Qwens vægte
En udvikler har lagt en 32-bit RISC-V-CPU direkte i Qwen3.5's vægte, så modellen deterministisk kan eksekvere instruktioner internt. Det …
Liquid AI udgiver seks open-weight LFM3-modeller med 256K kontekst
… og beslutningsmodeller i 2B-klassen, bygget på en ny tri-hybrid arkitektur. 1.7B-udgaven fylder ~1 GB i 4-bit og er målrettet …
Opfølgning: DeepSeek V4.1 Flash kvantiseret til 1,75 bits – kører på 12 GB GPU
… okt.](/archive/2026-10-24)
NVIDIA's Nemotron 3.5 Bolt – den eneste nye model der passer i 24 GB
… 74B total, 9B aktiv, 2-bit træningskvantisering.
Nemotron 3.5 Bolt – effektiv KV-cache og lineær attention
Bolt bruger 2-bit dekodere og NVFP4 i følsomme lag, med 1 lag fuld attention per 5 lag Mamba2 (lineær attention). Ved 256k kontekst …
Opfølgning: 64 GB RAM flytter Qwen3.8 fra 2-bit til 4-bit på 4090
Mere RAM betyder, at alle eksperter ligger i hukommelsen, og UD-IQ4_XS matcher Q8_0 88,9 % af tiden. [Tidligere briefing](/archive/2026 …
Opfølgning: Strata før 0.1.45 kørte greedy – og fik modeller til at loope
Bugfix #2685 lader nu modelkortets samplingværdier gælde, mens tail-skip 7 koster kvalitet på 4-bit. [Tidligere briefing](/archive/2026-10-10).
NVIDIA Nemotron 3.5 Bolt 74B-A9B i 2-bit til 24 GB lokal kørsel
Nyt VLM fra NVIDIA med Mamba-2-hybrid og LatentMoE, native 2-bit kvantisering, 256K kontekst. Designet til at køre agentopgaver lokalt på 24 …
Fish Audio Drama 3: 35B-MoE TTS-model med høj kvalitet
Ny open-weight TTS-model fra Fish Audio, 35B med 3B aktive, kører på DGX Spark og i 4-bit kvantisering tæt på originalen.
Anthropic advarer: Små AI-modeller kan skabe selvreplikerende botnets
Anthropic forudser, at mindre open-weight-modeller inden for måneder kan sprede sig på tværs af internetforbundne enheder og danne vedvarende botnets, der er …
Opfølgning: Qwen3.8-27B med MTP på 16 GB – 55-68 tok/s
Ny UD-IQ4_XS kvantisering af Qwen3.8-27B passer på RTX 4080 med MTP og leverer markant bedre kvalitet end 3-bit. [Se …
Opfølgning: Qwen3.5 0.8B kører 2,9× hurtigere på CPU med custom engine
En bruger har bygget et C++-engine og 4-bit-format, der giver 2,9× prefill og 1,7× batch-16 throughput mod llama …
Opfølgning: Base-3-pakning skærer 22 % VRAM fra ternære GGUFs
Q2_B3 gemmer -1/0/+1-vægte direkte i base 3 med 1,75 bit pr. vægt; en 27B ternær model falder fra 7 …
Qwen3.8-Flash-Next: 125B MoE med n-gram-tabel kan blive local-friendly
Arkitekturen har ~6B aktive parametre og en sparsom n-gram-tabel på 51B, hvilket gør 4-bit kvantisering på ~82 GB mulig – ideel til …
M5 Ultra 96GB vs M5 Max 128GB: Hvad er bedst til Qwen3.8-Flash-Next?
… Napkin-math peger på Ultra til 4-bit kvantisering.
Findes der en musik-upscaler-LLM?
Et spørgsmål på r/LocalLLaMA efterlyser en LLM, der kan tage en lav-bitrate mono-optagelse og rekonstruere den i stereo med realistiske instrumenter …
Opfølgning: DeepSeek V4 Flash q4+ kører på 128 GB RAM + 60 GB VRAM
… i 4-bit+ med acceptable tokens/s på en opsætning med 2x RTX 3090 og DDR5 RAM. Se [tidligere dækning](/archive/2026-08-09).
Hvilken lille model til sessionskompression?
En bruger søger en bittesmå model (fx Qwen 3.5 0.8B) til at komprimere lang kontekst genereret af Qwen 3.8 27B i …
Opfølgning: Unsloth udgiver forbedrede GGUFs til Qwen3.8-27B
… samme størrelse, og 1-bit quants bevarer 77 % nøjagtighed. Modellen kan nu køre på 8 GB RAM ([briefingen 19. august](/archive/2026-08-19)).
Status på 1-bit og ternære modeller: Bonsai, Hy-MT1.5, Maple-Preview og flere
En omfattende opdatering dækker nye PRs for CUDA/Vulkan og optimeringer, der giver 15-40% hastighedsforøgelse.
Qwen 3.8-27B op til 3× hurtigere på Apple Silicon med mlx-dspark
Et nyt værktøj udnytter spekulativ dekodning til at accelerere modellen markant på M4 Pro. 8-bit kvalitet opnås med hastighed over 20 tok/s.
1-bit Qwen 3.8 2.4T kører på Mac Ultra – 508 GB RAM i brug
En bruger tester Unsloths 1-bit kvantisering af Qwen 3.8 2.4T på en Mac Ultra 512 GB. Modellen bruger 508 GB RAM …
Ling 3.0 Flash overgår Qwen-122b på Strix Halo i vLLM
På AMD Strix Halo med vLLM ROCm/HiP og 4-bit komprimering slår Ling 3.0 Flash Qwen-122b i hastighed. Tool calling virker …
Sammenligning af 4-bit kvanttyper på MLX i gang
Brugeren efterlyser erfaringer med OptiQ, Unsloth Dynamic 2.0, oQ og DWQ til Qwen3.6 og Gemma4 på MLX – hvilken kvant bevarer bedst kvalitet?
Opfølgning: C-baseret BitNet-inference når 36 tok/s på Xeon CPU
… 1.58-bit ternære modeller med 95% af teoretisk hukommelsesbåndbredde. Viser potentialet for CPU-only inferens. Se [briefingen 3. august](/archive/2026-08-03).
Opfølgning: DeepSeek V4 Flash 2-bit kvant opnår 100% i SQL-benchmark
En reddit-bruger kører en 2-bit kvantiseret DeepSeek V4 Flash på to RTX 3080 og får perfekt score i et SQL-test. Kun …
Logue: Open-source macOS-app til mødenoter KØRER 100% lokalt
Bitwize har open-sourcet Logue (MIT) – en privatlivsvenlig app til transskription og skrivning på Apple Silicon. Ingen data forlader din maskine som standard.
Opfølgning: 29x kernel-hastighed gav kun 6–10 % reel gevinst
En udvikler optimerede en matmul-kernel til BitNet 29x isoleret set, men end-to-end-forbedringen var minimal pga. hukommelsesflaskehals. En vigtig lektion i …
Opfølgning: MacBook vs. 2× DGX Spark – DeepSeek V4 Flash i kvantiseringskamp
En bruger testede DeepSeek-V4-Flash på en M5 Max MacBook (2,45 bit kvantisering) mod to DGX Spark (FP8/FP4). Mac'en vandt …
Forskning: Negativ-bit-kvantisering bryder den fysiske grænse for komprimering
Ved at udnytte fase-inverteret tensor-embedding hævdes det at opnå stabil inferens med negative bit-konfigurationer. Artiklen er satire, men illustrerer grænsen for …
Ny teknik muliggør long-context finetuning med begrænset VRAM
… På Qwin3-8B med 4-bit QLoRA når metoden 16.384 tokens med 15,28 GB VRAM.
Bonsai 27B kører lokalt på iPhone i kun 3,9GB
PrismML har bygget Bonsai ved at kvantisere Qwen3.6-27B ned til 1-bit, hvilket reducerer størrelsen fra ~54GB til 3,9GB. Modellen bevarer …