Søgning
15 briefing-resultat(er) for »inference-engine«
Opfølgning: Eksplosion af nye inference-motorier gør det svært at følge med
En r/LocalLLaMA-bruger beskriver en eksplosion af nye inference-motorier som Strata, Basalt og Maya — ofte med kvalitetstab i bytte for fart. Mange …
Opfølgning: Kapitsa 0.2.26 benchmarker seks modeller på MacBook M5 Max
Kapitsa, en Apple Silicon-inferensmotor, viser op til 46% hurtigere prompt-læsning på M5 Max. Den understøtter SSD-offloading for store modeller som Qwen …
Opfølgning: Qwen3.8-Flash-Next når 504 tok/s på 2x RTX 5090 med QEngine
QEngine v1.3.1 leverer op til 504 tok/s på Qwen3.8-Flash-Next med 2x RTX 5090, 1.5-1.9x hurtigere …
Opfølgning: DeepSeek-V4.1-Flash kører i fuld 1M-kontekst på en enkelt 3090
Delta Inference Engine opnår 41 tok/s med Q2 GGUF på Windows uden WSL og 90 % enighed med API – se [briefingen 18. oktober](/archive …
Opfølgning: Qwen3.8-27B kører på M6 Mac Mini med 192K kontekst
ANEMLL Forge 0.2.1 muliggør kørsel af Qwen3.8-27B på M6 Mac Mini (32 GB) med op til 192K kontekst og INT8 …
Opfølgning: Basalt – 665 tok/s på Qwen3.8 Flash-Next med RTX 5090
Ny Blackwell-inference-engine Basalt opnår 2,6x Strata-hastighed med dual GPU og understøtter op til 8 samtidige brugere. [Se tidligere briefingen](/archive …
Opfølgning: Overfit-inferenceløsninger bliver normen – specialiserede motorer vinder frem
Fællesskabet diskuterer, om smalle, hardware-specifikke motorer som Strata, Ninfer og DwarfStar vil erstatte generelle runtime som llama.cpp. [Se briefingen 20. september](/archive …
Opfølgning: MegaCapybara – dobbelt så hurtig som Ninfer på RTX5090
En ny inferensmotor, MegaCapybara, hævdes at være dobbelt så hurtig som Ninfer til Qwen3.8 27B på RTX5090 med op til 650 tok/s …
Opfølgning: 22 tokens/sek – Qwen3.8 Flash Next på 32GB MacBook Air
Cherenkov-inference engine slår rekord på Apple Silicon ved at streame eksperter prædiktivt fra SSD og falde tilbage til lavere kvantisering ved pres. [Se …
Opfølgning: Qwen3.5 0.8B kører 2,9× hurtigere på CPU med custom engine
En bruger har bygget et C++-engine og 4-bit-format, der giver 2,9× prefill og 1,7× batch-16 throughput mod llama …
Hvorfor er prefill enormt hurtigere i vLLM end i andre inferens-engines?
Brugere rapporterer 7500 prefill-tok/s med vLLM mod langt lavere tal i llama.cpp – forskellen skyldes sandsynligvis arkitektoniske valg.
Opfølgning: Qwen3.8-27B når 138 tps på RTX 3090 med DFlash2
En hyperoptimeret inference-engine med DFlash2-drafter og int4-kvantisering presser ydelsen til 138 tok/s. Opfølgning i lange samtaler koster nu kun ét …
Opfølgning: C-baseret BitNet-inference når 36 tok/s på Xeon CPU
En open source-motor i ren C kører 1.58-bit ternære modeller med 95% af teoretisk hukommelsesbåndbredde. Viser potentialet for CPU-only inferens …
Opfølgning: Kimi K3 kører på én CPU med 8 GB RAM – 33 sekunder per token
En C99-inference engine streamer eksperter fra NVMe. 176 KB binary, ingen GPU. Ikke praktisk, men imponerende ingeniørarbejde. [Se tidligere briefingen 30. juli](/archive …