Søgning
15 briefing-resultat(er) for »speculative-decoding«
Tencent: Ny spekulativ dekodingsmetode giver 3x hurtigere inferens
Tencent har udviklet DSpine, en ny spekulativ dekodingsmetode, der angiveligt giver 3x hurtigere dekodning for 27B-modeller som Qwen3.8-27B.
Opfølgning: DSpine giver 27,8 % længere acceptlængde end DFlash
Tencent præsenterer DSpine, en spekulativ dekoder med kausal konditionering, der øger throughput med 23,3 % i SGLang.
D3D: Asynkron spekulativ dekoding giver op til 7,5x speedup
Den nye D3D-metode fjerner afhængigheden mellem drafting og verifikation, hvilket muliggør markant hurtigere inferens. Med Qwen3-32B opnås 7,48x speedup på GSM8K.
Opfølgning: Qwen3.8-27B når 159 tok/s på R9700 med spekulativ dekodning
LemonSeed Studio kører modellen på en iPad Pro via Thunderbolt-grafik og opnår 159,4 tok/s med DFlash2. Strix Halo klarer 64,4 …
Opfølgning: Gufo lover 70 tok/s – men kun på gentagne ord
Benchmark viser, at Gufo når 70 tok/s på Qwen 27B med spekulativ dekoding, men kun når prompten er "skriv 'rød' 1000 gange". Reelle …
42 gange hurtigere prompt-lookup-drafting i llama.cpp
En ny optimering af prompt-lookup-drafting i llama.cpp giver op til 42x hastighedsforøgelse – en dramatisk forbedring for lokal inferens med spekulativ dekodning.
Opfølgning: Qwen 3.8 Flash Next kører 130k kontekst på 16 GB VRAM – her er opskriften
En bruger deler det præcise setup: q4_k_m quant, Unsloth MTP-head, og --spec-draft-cpu-moe for at få 16,5 t …
Opfølgning: Tips til draft acceptance med MTP i llama.cpp
Bruger deler konfiguration for at optimere speculative decoding med Qwen3.6-35B-A3B-MTP. [briefingen 30. august](/archive/2026-08-30).
Opfølgning: DFlash 2 benchmarkes – 2,26x på rigtige kodeprompts, op til 8x i syntetisk test
Tre dages benchmarking viser DFlash 2 alene giver 2,26x speedup på LiveCodeBench, 4,68x med ét n-gram lookup. N-gram hjælper på …
Llama.cpp får DSpark PC Tree – op til 29,5 % hurtigere inferens
En implementering af Parent-Conditioned Drafting Tree giver op til 72 % acceptrate på Qwen 3.0, med størst gevinst ved summarisering. Første udkast, men …
Opfølgning: DFlash2 giver Qwen 3.8 27B op til 200 tk/s på RTX 5090
Ny spekulativ dekodningsteknik i llama.cpp øger hastigheden markant på kodegenerering, men kræver mere hukommelse. [briefingen 8. august](/archive/2026-08-08)
Qwen 3.8-27B op til 3× hurtigere på Apple Silicon med mlx-dspark
Et nyt værktøj udnytter spekulativ dekodning til at accelerere modellen markant på M4 Pro. 8-bit kvalitet opnås med hastighed over 20 tok/s.
Opfølgning: Muse Glimmer 30B rammer 280 t/s med spekulativ dekodning på RTX 5090
Muse Glimmer 30B (Q6_K_XL) med DFlash spekulativ dekodning opnår op til 287 tokens/sek på en enkelt RTX 5090 i llama.cpp …
Opfølgning: DSpark draft-model giver kun 1-2 tok/s – MTP langt hurtigere
En bruger oplevede, at DSpark draft-modellen til DeepSeek V4 Flash var ekstremt langsom (1-2 tok/s) sammenlignet med MTP's 30-40 …
Opfølgning: DSpark giver DeepSeek V4 Flash op til 2x hastighed på A40
TensorSharp benchmark viser 1,5-2x speedup med spekulativ dekodning. 10K-token dokumenter kører 2,03x hurtigere. [Se tidligere briefingen 1. august](/archive/2026 …