Søgning
50 briefing-resultat(er) for »inference«
llama.cpp v1.0.0: Et stærkere fundament for lokalt AI-økosystem
Den populære open-source inferensmotor når version 1.0 og lover en mere stabil base for lokal LLM-kørsel.
Google præsenterer TPU 8i Max og TPU 8tx
Dual-chip TPU til lange agent-sekvenser og en variant med fortrolig inferens. Tilgængelighed i 2027.
Opfølgning: 4x Radeon R9700 giver 190 tok/s – $16K CAD build
En bruger bygger et system med 4x Radeon AI PRO R9700 og opnår 190 tok/s generation og 6.800 tok/s prefill. Systemet …
Opfølgning: Kimi K3.1 Pro kan nu køres lokalt via llama.cpp
En pull request tilføjer understøttelse af Kimi-K3.1-Pro i llama.cpp, så modellen kan køres på egen hardware. Vægtene er på Hugging …
Opfølgning: Eksplosion af nye inference-motorier gør det svært at følge med
En r/LocalLLaMA-bruger beskriver en eksplosion af nye inference-motorier som Strata, Basalt og Maya — ofte med kvalitetstab i bytte for fart. Mange …
Opfølgning: Qwen 3.8 Flash Next imponerer med høj prefill-hastighed på gaming-PC
Qwen 3.8 Flash Next kører med 9K prefill på en 5090 med 64 GB RAM ved brug af Basalt og Strata. Det viser …
Opfølgning: Kapitsa 0.2.26 benchmarker seks modeller på MacBook M5 Max
Kapitsa, en Apple Silicon-inferensmotor, viser op til 46% hurtigere prompt-læsning på M5 Max. Den understøtter SSD-offloading for store modeller som Qwen …
Speedy overgår Avalon og Strata til Qwen 3.8 Flash-inferens
Speedy, et nyt inferensværktøj, leverer op til 4x hurtigere context-læsning end Strata og Avalon på Qwen 3.8 Flash. Det kan reducere ventetiden …
Opfølgning: Qwen3.8-Flash-Next når 504 tok/s på 2x RTX 5090 med QEngine
QEngine v1.3.1 leverer op til 504 tok/s på Qwen3.8-Flash-Next med 2x RTX 5090, 1.5-1.9x hurtigere …
Opfølgning: DeepSeek-V4.1-Flash kører i fuld 1M-kontekst på en enkelt 3090
Delta Inference Engine opnår 41 tok/s med Q2 GGUF på Windows uden WSL og 90 % enighed med API – se [briefingen 18. oktober](/archive …
Opfølgning: Nanbeige4.3-33B benchmarked på MacBook Pro M5 Max
En detaljeret sammenligning af mlx-lm, llama.cpp og Kapitsa på Apple Silicon viser, at modellen er langsom med en ineffektiv KV-cache. Qwen …
Opfølgning: DeepSeek V4.1 Flash får support i llama.cpp
En pull request tilføjer understøttelse af DeepSeek V4.1 Flash (763B parametre) i llama.cpp, hvilket muliggør lokal kørsel. [Se briefingen 18. okt.](/archive …
Nye værktøjer fordobler AI-hastighed på NVIDIA RTX 30- og 40-serie
Inspireret af CMP170HX låser et nyt værktøj op for op til 2x prefill-speedup på ældre NVIDIA-kort, hvilket sender priserne i vejret på …
Opfølgning: Qwen3.8-27B kører på M6 Mac Mini med 192K kontekst
ANEMLL Forge 0.2.1 muliggør kørsel af Qwen3.8-27B på M6 Mac Mini (32 GB) med op til 192K kontekst og INT8 …
Opfølgning: Kræftcenter søger hjælp til HPC-opgradering til AlphaFold
… Budget på 300-400K $, A30-kort og mulighed for Strata-inference diskuteres. [briefingen 18. oktober](/archive/2026-10-18)
Opfølgning: capy-flash kører nu 125B MoE på 64 GB RAM med 234 tok/s
Open source-inference motoren optimeres til forbruger-GPU'er og kører Qwen3.8-Flash-Next på to 16 GB kort. Se [briefingen 16. oktober …
Opfølgning: llm-d 1.0 klar til produktion med 11,5x lavere inferensomkostning
IBM Research bekræfter $0,11 per million tokens i blandet produktionsdrift med llm-d 1.0, det open-source distributed inference framework. Se [briefingen …
Gratis 3090-trick giver op til 30% hurtigere prompt-processing
Benchmark på et enkelt, strømbegrænset RTX 3090 viste 22-30% hurtigere prompt-processing og 1-5% hurtigere generation uden GPU-fejl.
Kinesiske tech-giganter bestiller Nvidia-chips for over 35 milliarder dollars
ByteDance, Alibaba og Tencent har angiveligt bestilt 3 millioner RTX 5500 Pro-enheder, primært til AI-inferens og videogenerering.
DeepSeek open-sourcer DeepInfer – inferensrammen bag V4.1-Flash
DeepInfer understøtter NVIDIA SM100 og Huawei Ascend 950, og sætter fokus på open source-inferens i stor skala.
Opfølgning: Inception Mercury 3 slår GPT-6 Luna på 8 af 12 benchmarks
Diffusions-LLM'en kører 1.068 tokens i sekundet med 1M kontekst og overgår GPT-6 Luna og Claude Haiku 5.5 på de …
IBM lancerer llm-d 1.0 til open source AI-inferens i produktion
Rammeværket håndterer multi-tenant workloads, zero downtime og agentiske arbejdsgange, designet til "Day 2"-drift.
Fællesskabet diskuterer optimering af lokale LLM'er på Apple M1 Max
Brugere deler erfaringer med at køre 32B-120B modeller offline på 64 GB RAM til følsom prototyping og forskning.
Opfølgning: Xolotl kører 552B DeepSeek på en enkelt 4090
Strata-baseret Xolotl når 27 tok/s med DeepSeek-V4.1-Flash på én gaming-PC, og en uncensored 1017-quant er på vej …
Opfølgning: Fem enheder deler Qwen3.8 Flash Next over netværk
To PC'er, en MacBook og to iPhones kører MoE-modellen via pipelined speculation med 37-39 tok/s. [Tidligere briefing](/archive/2026-10 …
Muse Spark Open kører på Mac med 4 tok/s
Første succesfulde kørsel af 816B-A42B på en Mac med 256 GB gav kun 4 tok/s; brugeren håber på 4-5x mere.
Opfølgning: Project Maya kører GLM-5.3-Flash på én GPU
Maya kører 321 mia. parametre lokalt: 30+ tok/s på en RTX 5090, op til 118 på fire RTX 4090'ere, med eksperter fordelt …
Decapybara: Open-source-rekonstruktion af MegaCapybara-serveren
Projektet genopbygger MegaCapybara-inferenceserveren i C++20/CUDA med åben kildekode. Det er et svar på fællesskabets skepsis mod prækompilerede binærfiler uden kilde.
Opfølgning: 4x R9700 til 16 samtidige brugere for 18.000 dollars
Threadripper-opsætning med 128 GB VRAM serverer Qwen 3.8-modeller med op til 6.800 tok/s prefill og 538 tok/s decode …
Opfølgning: Basalt – 665 tok/s på Qwen3.8 Flash-Next med RTX 5090
Ny Blackwell-inference-engine Basalt opnår 2,6x Strata-hastighed med dual GPU og understøtter op til 8 samtidige brugere. [Se tidligere briefingen](/archive …
Opfølgning: Infernix slår Strata på Qwen Flash Next med 23% højere hastighed
Benchmarks på RTX 5090 viser at Infernix leverer 149 tok/s mod Strata 120 tok/s ved 262k kontekst. [Se tidligere briefingen](/archive/2026 …
Opfølgning: Qwen3.8-27B når 159 tok/s på R9700 med spekulativ dekodning
LemonSeed Studio kører modellen på en iPad Pro via Thunderbolt-grafik og opnår 159,4 tok/s med DFlash2. Strix Halo klarer 64,4 …
Opfølgning: Reflection AIs Beam udråbes til 'Vestens DeepSeek'
… Den 501-milliarder-store open-weight-model halter efter topmodeller på kodning, men hævder lavere inference-compute. [Se briefingen 6. oktober](/archive/2026-10 …
Læk antyder looped transformers i GPT-6-serien
Hastighedsanalyse på Reddit tyder på, at GPT-6.1-Sol kører looped transformer med to inference-pass per token – og Microsoft skal have bekræftet …
InferBench: LLM'er forstår kun 60 % af uudtalte brugerprioriteter
Nyt benchmark med 2.800 samtaler: modeller vælger rigtigt i 89 % af tilfældene med klare prioriteter, men kun 60 % uden. MiMo V2.6 Pro …
Tesla K80 til 50 dollars: værd at lege med til inference?
Brugte K80'er dukker op på eBay til 50–60 dollars. Forvent intet banebrydende, men til en ekstra PCIe-port kunne det være sjovt …
Kolibri-1 spiller Breakout med 25 ms latency – ingen fin-tuning
Aleph Alphas nye model træffer strukturerede beslutninger i realtid og viser potentiale for agentisk kontrol uden genereret tekst.
Fuldt lokal parkour-sim bygget med GLM 5.3 Flash på dual DGX Spark
En bruger deler en imponerende demo med 260k kontekst og solid interaktiv hastighed. Opfølgning på [briefingen 26. september](/archive/2026-09-26).
Prime Intellect lancerer Prime Inference til open-weight-modeller på Blackwell
Platformen er OpenAI-kompatibel og serverer modeller som GLM-5.3 med 101 tok/s per bruger ved brug af Dynamo, vLLM og NVFP4 …
Opfølgning: Ninfer 4080 – 2720 tok/s prefill på 16 GB GPU
En ny specialiseret inferenceløsning kører ISTA-DASLab-Qwen-3.8-27B-GSQ med 100k kontekst på et enkelt RTX 4080-kort. [Se briefingen 3 …
Opfølgning: Overfit-inferenceløsninger bliver normen – specialiserede motorer vinder frem
Fællesskabet diskuterer, om smalle, hardware-specifikke motorer som Strata, Ninfer og DwarfStar vil erstatte generelle runtime som llama.cpp. [Se briefingen 20. september](/archive …
Opfølgning: MegaCapybara – dobbelt så hurtig som Ninfer på RTX5090
En ny inferensmotor, MegaCapybara, hævdes at være dobbelt så hurtig som Ninfer til Qwen3.8 27B på RTX5090 med op til 650 tok/s …
Qwen 3.8 Flash Next kører på SSD med 9-10 tok/s på 16 GB GPU
En ny inferensmotor streamer eksperter fra SSD og opnår 9-10 tok/s på en RTX 5060 Ti med 16 GB VRAM. Det er …
Swift 1.5 Qwen3.8 27B slår cloud-modeller ved lav tanketid
UkisAI's nye fine-tuning er markant bedre til korte svar end Unsloth og endda Gemini Flash i en test. På en gammel 3090 …
17-årig får Qwen 3.8 til 60 tps på to Tesla P100'er
Med kernel-optimeringer og AI-hjælp løftede en teenager ydeevnen fra 7-15 tps til 50-60 tps på to billige GPU'er. Opfølgning …
Ny hardware-roofline-kalkulator til LLM-inference
En ny online kalkulator beregner teoretiske grænser for decode og prefill baseret på model, kvant og GPU. Godt som step-0-tjek før hardwarekøb.
Opfølgning: Qwen 3.8 Flash Next bygger på Qwen 4-arkitektur – hurtigere inferens på en enkelt 3090?
Spørgsmålet om Qwen 3.8's nye arkitektur lover hastighedsforbedringer, men modellen er stadig tilbøjelig til at overtænke. [Se tidligere briefing](/archive/2026-09 …
Opfølgning: TensorSharp tilføjer Qwen-Image 2.1 + LoRA support (GGUF, lokal inferens)
TensorSharp kan nu køre Qwen-Image 2.1 lokalt med LoRA-adaptere, inklusive accelererede opskrifter som Pruna 8-step. [Se tidligere briefing](/archive/2026 …
Opfølgning: Navigering i omkostningseffektiv hardware til lokal inferens
Debat om hvor pengene bedst bruges: brugte 3090'er, Intel Arc eller flere 16GB-kort? Et aktuelt spørgsmål i et volatilt hardwaremarked. [Se tidligere …