Søgning
50 briefing-resultat(er) for »local-inference«
llama.cpp v1.0.0: Et stærkere fundament for lokalt AI-økosystem
Den populære open-source inferensmotor når version 1.0 og lover en mere stabil base for lokal LLM-kørsel.
Opfølgning: 4x Radeon R9700 giver 190 tok/s – $16K CAD build
En bruger bygger et system med 4x Radeon AI PRO R9700 og opnår 190 tok/s generation og 6.800 tok/s prefill. Systemet …
Opfølgning: Kimi K3.1 Pro kan nu køres lokalt via llama.cpp
En pull request tilføjer understøttelse af Kimi-K3.1-Pro i llama.cpp, så modellen kan køres på egen hardware. Vægtene er på Hugging …
Opfølgning: Eksplosion af nye inference-motorier gør det svært at følge med
En r/LocalLLaMA-bruger beskriver en eksplosion af nye inference-motorier som Strata, Basalt og Maya — ofte med kvalitetstab i bytte for fart. Mange …
Opfølgning: Qwen 3.8 Flash Next imponerer med høj prefill-hastighed på gaming-PC
Qwen 3.8 Flash Next kører med 9K prefill på en 5090 med 64 GB RAM ved brug af Basalt og Strata. Det viser …
Opfølgning: Kapitsa 0.2.26 benchmarker seks modeller på MacBook M5 Max
Kapitsa, en Apple Silicon-inferensmotor, viser op til 46% hurtigere prompt-læsning på M5 Max. Den understøtter SSD-offloading for store modeller som Qwen …
Speedy overgår Avalon og Strata til Qwen 3.8 Flash-inferens
Speedy, et nyt inferensværktøj, leverer op til 4x hurtigere context-læsning end Strata og Avalon på Qwen 3.8 Flash. Det kan reducere ventetiden …
Opfølgning: Qwen3.8-Flash-Next når 504 tok/s på 2x RTX 5090 med QEngine
QEngine v1.3.1 leverer op til 504 tok/s på Qwen3.8-Flash-Next med 2x RTX 5090, 1.5-1.9x hurtigere …
Opfølgning: DeepSeek-V4.1-Flash kører i fuld 1M-kontekst på en enkelt 3090
Delta Inference Engine opnår 41 tok/s med Q2 GGUF på Windows uden WSL og 90 % enighed med API – se [briefingen 18. oktober](/archive …
Opfølgning: Nanbeige4.3-33B benchmarked på MacBook Pro M5 Max
En detaljeret sammenligning af mlx-lm, llama.cpp og Kapitsa på Apple Silicon viser, at modellen er langsom med en ineffektiv KV-cache. Qwen …
Opfølgning: DeepSeek V4.1 Flash får support i llama.cpp
En pull request tilføjer understøttelse af DeepSeek V4.1 Flash (763B parametre) i llama.cpp, hvilket muliggør lokal kørsel. [Se briefingen 18. okt.](/archive …
Nye værktøjer fordobler AI-hastighed på NVIDIA RTX 30- og 40-serie
Inspireret af CMP170HX låser et nyt værktøj op for op til 2x prefill-speedup på ældre NVIDIA-kort, hvilket sender priserne i vejret på …
Opfølgning: Qwen3.8-27B kører på M6 Mac Mini med 192K kontekst
ANEMLL Forge 0.2.1 muliggør kørsel af Qwen3.8-27B på M6 Mac Mini (32 GB) med op til 192K kontekst og INT8 …
Opfølgning: Kræftcenter søger hjælp til HPC-opgradering til AlphaFold
… Budget på 300-400K $, A30-kort og mulighed for Strata-inference diskuteres. [briefingen 18. oktober](/archive/2026-10-18)
Opfølgning: capy-flash kører nu 125B MoE på 64 GB RAM med 234 tok/s
Open source-inference motoren optimeres til forbruger-GPU'er og kører Qwen3.8-Flash-Next på to 16 GB kort. Se [briefingen 16. oktober …
Gratis 3090-trick giver op til 30% hurtigere prompt-processing
Benchmark på et enkelt, strømbegrænset RTX 3090 viste 22-30% hurtigere prompt-processing og 1-5% hurtigere generation uden GPU-fejl.
Kinesiske tech-giganter bestiller Nvidia-chips for over 35 milliarder dollars
ByteDance, Alibaba og Tencent har angiveligt bestilt 3 millioner RTX 5500 Pro-enheder, primært til AI-inferens og videogenerering.
Fællesskabet diskuterer optimering af lokale LLM'er på Apple M1 Max
Brugere deler erfaringer med at køre 32B-120B modeller offline på 64 GB RAM til følsom prototyping og forskning.
Opfølgning: Xolotl kører 552B DeepSeek på en enkelt 4090
Strata-baseret Xolotl når 27 tok/s med DeepSeek-V4.1-Flash på én gaming-PC, og en uncensored 1017-quant er på vej …
Opfølgning: Fem enheder deler Qwen3.8 Flash Next over netværk
To PC'er, en MacBook og to iPhones kører MoE-modellen via pipelined speculation med 37-39 tok/s. [Tidligere briefing](/archive/2026-10 …
Muse Spark Open kører på Mac med 4 tok/s
Første succesfulde kørsel af 816B-A42B på en Mac med 256 GB gav kun 4 tok/s; brugeren håber på 4-5x mere.
Opfølgning: Project Maya kører GLM-5.3-Flash på én GPU
Maya kører 321 mia. parametre lokalt: 30+ tok/s på en RTX 5090, op til 118 på fire RTX 4090'ere, med eksperter fordelt …
Decapybara: Open-source-rekonstruktion af MegaCapybara-serveren
Projektet genopbygger MegaCapybara-inferenceserveren i C++20/CUDA med åben kildekode. Det er et svar på fællesskabets skepsis mod prækompilerede binærfiler uden kilde.
Opfølgning: 4x R9700 til 16 samtidige brugere for 18.000 dollars
Threadripper-opsætning med 128 GB VRAM serverer Qwen 3.8-modeller med op til 6.800 tok/s prefill og 538 tok/s decode …
Opfølgning: Basalt – 665 tok/s på Qwen3.8 Flash-Next med RTX 5090
Ny Blackwell-inference-engine Basalt opnår 2,6x Strata-hastighed med dual GPU og understøtter op til 8 samtidige brugere. [Se tidligere briefingen](/archive …
Opfølgning: Infernix slår Strata på Qwen Flash Next med 23% højere hastighed
Benchmarks på RTX 5090 viser at Infernix leverer 149 tok/s mod Strata 120 tok/s ved 262k kontekst. [Se tidligere briefingen](/archive/2026 …
Opfølgning: Qwen3.8-27B når 159 tok/s på R9700 med spekulativ dekodning
LemonSeed Studio kører modellen på en iPad Pro via Thunderbolt-grafik og opnår 159,4 tok/s med DFlash2. Strix Halo klarer 64,4 …
Læk antyder looped transformers i GPT-6-serien
Hastighedsanalyse på Reddit tyder på, at GPT-6.1-Sol kører looped transformer med to inference-pass per token – og Microsoft skal have bekræftet …
InferBench: LLM'er forstår kun 60 % af uudtalte brugerprioriteter
Nyt benchmark med 2.800 samtaler: modeller vælger rigtigt i 89 % af tilfældene med klare prioriteter, men kun 60 % uden. MiMo V2.6 Pro …
Tesla K80 til 50 dollars: værd at lege med til inference?
Brugte K80'er dukker op på eBay til 50–60 dollars. Forvent intet banebrydende, men til en ekstra PCIe-port kunne det være sjovt …
Kolibri-1 spiller Breakout med 25 ms latency – ingen fin-tuning
Aleph Alphas nye model træffer strukturerede beslutninger i realtid og viser potentiale for agentisk kontrol uden genereret tekst.
Fuldt lokal parkour-sim bygget med GLM 5.3 Flash på dual DGX Spark
En bruger deler en imponerende demo med 260k kontekst og solid interaktiv hastighed. Opfølgning på [briefingen 26. september](/archive/2026-09-26).
Opfølgning: Ninfer 4080 – 2720 tok/s prefill på 16 GB GPU
En ny specialiseret inferenceløsning kører ISTA-DASLab-Qwen-3.8-27B-GSQ med 100k kontekst på et enkelt RTX 4080-kort. [Se briefingen 3 …
Opfølgning: Overfit-inferenceløsninger bliver normen – specialiserede motorer vinder frem
Fællesskabet diskuterer, om smalle, hardware-specifikke motorer som Strata, Ninfer og DwarfStar vil erstatte generelle runtime som llama.cpp. [Se briefingen 20. september](/archive …
Qwen 3.8 Flash Next kører på SSD med 9-10 tok/s på 16 GB GPU
En ny inferensmotor streamer eksperter fra SSD og opnår 9-10 tok/s på en RTX 5060 Ti med 16 GB VRAM. Det er …
Swift 1.5 Qwen3.8 27B slår cloud-modeller ved lav tanketid
UkisAI's nye fine-tuning er markant bedre til korte svar end Unsloth og endda Gemini Flash i en test. På en gammel 3090 …
17-årig får Qwen 3.8 til 60 tps på to Tesla P100'er
Med kernel-optimeringer og AI-hjælp løftede en teenager ydeevnen fra 7-15 tps til 50-60 tps på to billige GPU'er. Opfølgning …
Ny hardware-roofline-kalkulator til LLM-inference
En ny online kalkulator beregner teoretiske grænser for decode og prefill baseret på model, kvant og GPU. Godt som step-0-tjek før hardwarekøb.
Opfølgning: Qwen 3.8 Flash Next bygger på Qwen 4-arkitektur – hurtigere inferens på en enkelt 3090?
Spørgsmålet om Qwen 3.8's nye arkitektur lover hastighedsforbedringer, men modellen er stadig tilbøjelig til at overtænke. [Se tidligere briefing](/archive/2026-09 …
Opfølgning: TensorSharp tilføjer Qwen-Image 2.1 + LoRA support (GGUF, lokal inferens)
TensorSharp kan nu køre Qwen-Image 2.1 lokalt med LoRA-adaptere, inklusive accelererede opskrifter som Pruna 8-step. [Se tidligere briefing](/archive/2026 …
Opfølgning: Navigering i omkostningseffektiv hardware til lokal inferens
Debat om hvor pengene bedst bruges: brugte 3090'er, Intel Arc eller flere 16GB-kort? Et aktuelt spørgsmål i et volatilt hardwaremarked. [Se tidligere …
M5 Ultra 80Core GLM-5.3-Flash på DwarfStar-hastigheder
En bruger deler resultater fra agentisk inferens på M5 Ultra med 256 GB og 80 kerner. Konklusionen: GPU'en er flaskehalsen ved høj RAM …
Tired of RAM prices, so I have been pooling spare RAM across old devices to run bigger local models
En open-source-løsning (ramdeck-core-public) lader dig køre en 30B-model på tværs af en mini PC og en Mac mini ved …
Opfølgning: Ville du købe en dedikeret Qwen3.8-chip til 7.000 TPS for 1.000 $?
En bruger rapporterer om at køre Qwen3.8-27B på CachyOS med 2× RTX 5090 via vLLM. En praktisk reference til dem, der overvejer …
Opfølgning: Tensor-parallelisme på to R9700 i Strix Halo – nu med fuld hastighed
En bruger får to Radeon R9700 til at arbejde sammen via NVMe-PCIe og opnår 37 tok/s med rocm (se [briefingen 7. september …
Opfølgning: Qwen 3.8 27B på M1 Max – jagten på acceptable hastigheder
En bruger søger råd til at køre Qwen 3.8 27B i q4 på en M1 Max med 32 GB. oMLX, MTPLX og llama …
Stop med FP4-inference – det ødelægger små modeller
En frustreret bruger påpeger, at FP4-kvantisering gør små tætte modeller ubrugelige med hallucinationer. Store modeller klarer det bedre, men for små modeller er …
Opfølgning: Optimeret llama.cpp giver 82 tokens/s på dual 7900 XTX
Brugeroptimering af llama.cpp til RDNA3 tredobler decode-hastighed på Qwen 3.8 med 60k kontekst. Se [briefingen 5. september](/archive/2026-09-05).
Kan AI-inferenceudbydere overhovedet tjene penge?
Debat på r/LocalLLaMA afslører, at udbydere med 10.000 USD månedlig omsætning kun beholder 200 USD i profit – GPU-omkostninger æder alt.