Søgning
6 briefing-resultat(er) for »inference-speed«
Speedy overgår Avalon og Strata til Qwen 3.8 Flash-inferens
Speedy, et nyt inferensværktøj, leverer op til 4x hurtigere context-læsning end Strata og Avalon på Qwen 3.8 Flash. Det kan reducere ventetiden …
Nye værktøjer fordobler AI-hastighed på NVIDIA RTX 30- og 40-serie
Inspireret af CMP170HX låser et nyt værktøj op for op til 2x prefill-speedup på ældre NVIDIA-kort, hvilket sender priserne i vejret på …
Opfølgning: Qwen3.8-27B når 159 tok/s på R9700 med spekulativ dekodning
LemonSeed Studio kører modellen på en iPad Pro via Thunderbolt-grafik og opnår 159,4 tok/s med DFlash2. Strix Halo klarer 64,4 …
Opfølgning: Qwen 3.8 Flash Next bygger på Qwen 4-arkitektur – hurtigere inferens på en enkelt 3090?
Spørgsmålet om Qwen 3.8's nye arkitektur lover hastighedsforbedringer, men modellen er stadig tilbøjelig til at overtænke. [Se tidligere briefing](/archive/2026-09 …
Opfølgning: 280 tok/s på Qwen3.8 27B med to R9700’ere og 940K KV-cache
Udvikler opnår rekordhastighed med MXFP4-kerner og DFlash2, hvilket presser hardwaren til det yderste. [Se tidligere briefingen](/archive/2026-08-24).
Fra LM Studio til vLLM: 143 tok/s på Qwen3.8 med to RTX 3090’er
En bruger deler sin opgradering, der gjorde Qwen3.8’s reasoning tålelig, og GPU-temperaturerne faldt fra 70°C til 35°C. [Se tidligere …