Søgning
5 research-rapport(er) for »local-benchmark«
hvilke 120b modeller er der kommet og hvordan klarer de sig .... det er vist den range af modeller som er bedst til 128gb memory til lokal hosting
… Open Source OpenAI? 2026 Benchmark - TokenMix Blog](https://tokenmix.ai/blog/gpt-oss-120b-review-benchmark-2026) 7. [How to Run a 120B LLM …
Qwen 3.6 27b undersøg hvorfor den er så god til lokal kogning og hold den op med nogle af de nye Feks Gemma 4 og Laguna 2.1
… weight-comparison) 14. [Gemma4](https://www.gemma4.wiki/guide/gemma4-benchmark) 15. [r/LocalLLaMA on Reddit: Switched from Qwen3.6 35b-a3b to Qwen3 …
Qwen 3.8 27b
… Qwen3.6-27B Quantization Benchmark](https://www.reddit.com/r/LocalLLaMA/comments/1tr9vzn/qwen3627b_quantization_benchmark/)
Qwen 3.6 27b undersøg hvorfor den er så god til lokal kogning og hold den op med nogle af de nye Feks Gemma 4 og Laguna 2.1
… The Sweet Spot for Local Dev (Guide) | QWE AI Academy](https://www.qwe.edu.pl/tutorial/qwen-3-6-27b-local-development-sweet-spot …
Mac Studio M5 hvornår kommer den? båndbredde på hukommelsen? og hvad med rygtet omkring at M6 springes over og de går til M7 i stedet og går efter højere memory båndbredde?
… Apple Silicon Benchmark Comparison](https://www.promptquorum.com/local-llms/apple-silicon-m5-local-llm) 21. [How M5 Ultra and M7 Ultra could fix …
50 briefing-resultat(er) for »local-benchmark«
Opfølgning: DeepSeek v4.1 Flash vs Qwen 3.8 Flash Next – benchmark
Brugerbenchmark viser, at Qwen 3.8 Flash Next er hurtigere og bedre til almindeligt arbejde end DeepSeek v4.1 Flash på samme hardware. [briefingen …
Opfølgning: Unsloth Dynamic v3.1 GGUFs til Qwen3.8-27B forbedrer nøjagtighed med 5-10%
Nye kvantiseringsalgoritmer giver bedre resultater på agentiske benchmarks. [briefingen 5. november](/archive/2026-11-05)
Parsimony: Ny benchmark måler kodekompleksitet i AI-patches
Parsimony tæller syntaksenheder i patches og sammenligner med menneskelige rettelser. Smartere modeller skriver overraskende mere kode; medianmodel tilføjer 1,9x menneskelig rettelse på SWE …
Hvordan benchmarker man lokale LLM'er? Fællesskabet deler tips
En bruger spørger efter strategier og værktøjer til lokal benchmark af LLM'er på tværs af hastighed, ræsonnement og tool use. Diskussionen samler erfaringer …
Små ændringer i kodetests splitter topmodeller
Mindre justeringer af instruktioner i DeepSWE-opgaver fik modeller som GLM-5.3 og DeepSeek V4.1 Flash til at variere 23 procentpoint.
Harness Leaderboard benchmarker kodningsmodeller mod Terminal Bench og Deep SWE
Kimi Code, Hermes, Pi, Claude Code og Codex testes på nye benchmarks. Resultaterne viser, hvordan open source-modeller klarer sig mod kommercielle.
Opfølgning: Unsloth Dynamic v3.1 GGUFs til Qwen3.8-Flash-Next
Nye kvantiseringer giver 10-15 % bedre accuracy end GSQ-RCO på agentiske benchmarks, med "engram switching" på tværs af BF16, Q8_0, Q5_1 …
Opfølgning: Unsloth udfordrer GSQ-RCO med nye DeepSeek-V4.1 benchmarks
Unsloth præsenterer 27x mere benchmarkdata og hævder 10-20 % bedre ydeevne ved 512K kontekst. Anklager GSQ-RCO for urealistiske genvindingsrater.
Opfølgning: Kapitsa 0.2.26 benchmarker seks modeller på MacBook M5 Max
Kapitsa, en Apple Silicon-inferensmotor, viser op til 46% hurtigere prompt-læsning på M5 Max. Den understøtter SSD-offloading for store modeller som Qwen …
Debat: Er hastighedsrekorder uden kvalitetsdata værdifulde for open source-fællesskabet?
En bruger på r/LocalLLaMA stiller spørgsmål ved værdien af daglige hastighedsposter, der mangler kvalitetsdata som KLD. Debatten handler om, hvordan open source-fællesskabet …
Kodningsagenter: Pi bruger færrest tokens på Qwen 3.8
En test af ti kodningsagenter på samme Qwen 3.8 27B-server viser store forskelle i tokenforbrug. Pi brugte 9.000 tokens per opgave …
Frontlinjemodeller bedømmer 39 lokale LLM'er
Et community-eksperiment lod GPT-6.1, Gemini 3.8 og Claude bedømme lokale modeller på 50 prompts. Bonsai-2 27B og Underdog-Saluki …
Opfølgning: Artificial Analysis v5 åbner stort hul mellem open og lukkede modeller
Opdateringen øger afstanden fra 3 til 12 point; Kimi K3.1 Pro topper open-weight med 46. 60 % af indexet bygger på private testsæt …
Opfølgning: Lokal benchmark-server tester 4B–35B-modeller uden datasnyd
En bruger kørte 12 kvantiserede modeller i fulde benchmarks med og uden tanketilstand og målte vægtid og tok/s. Resultaterne afslører modeller, der "tænker …
Opfølgning: Nanbeige4.3-33B benchmarked på MacBook Pro M5 Max
En detaljeret sammenligning af mlx-lm, llama.cpp og Kapitsa på Apple Silicon viser, at modellen er langsom med en ineffektiv KV-cache. Qwen …
Nanbeige4.3-33B slår Qwen3.8-27B på benchmarks
Den åbne agentiske kodemodel er stærkere end Qwen3.8-27B og lægger fundamentet for distilering af mindre 3B-modeller.
Gratis 3090-trick giver op til 30% hurtigere prompt-processing
Benchmark på et enkelt, strømbegrænset RTX 3090 viste 22-30% hurtigere prompt-processing og 1-5% hurtigere generation uden GPU-fejl.
Google open-sourcer Harness2 – agenter der forbedrer sig selv
… Testet med Gemini 3.5 Flash og GLM-5 løftede det benchmarks markant.
Opfølgning: DeepSeek V4.1-Flash-1017 lander med 77,0 på DeepSWE
Nyt checkpoint lover hurtigere svar og lavere omkostninger, og DeepSeek åbner samtidig sin søge-API. [Tidligere briefing](/archive/2026-10-10).
Ni modeller, fem kodningsopgaver, ét 16 GB-kort
DeepSeek V4.1-Flash og Qwen3.8-27B med MTP klarede alle fem opgaver, mens større MoE-modeller dumpede c4-c5.
Reddit-bruger spørger: Er Qwen-Flash-Next bedre end Opus 4.6 til kodning?
En bruger på r/LocalLLaMA efterlyser praktiske erfaringer frem for benchmarks mellem de to modeller.
Opfølgning: MXFP4-kvant bedst i matematik, værst i kode
Test af Qwen 3.8 27B-kvante overrasker: MXFP4 vinder i gsm8k, men taber i humaneval, og Q6_K var langsommest. Kvantvalg er en …
Fællesskab rangerer LLM'er til 10-16 GB VRAM
Reddit-bruger har benchmarket modeller til 10-16 GB VRAM på hastighed, sammenhæng og censur. Kun modeller over 200B parametre har bred viden om …
Opfølgning: Infernix slår Strata på Qwen Flash Next med 23% højere hastighed
Benchmarks på RTX 5090 viser at Infernix leverer 149 tok/s mod Strata 120 tok/s ved 262k kontekst. [Se tidligere briefingen](/archive/2026 …
AI-beslutningsmodeller spiller Pac-Man – rangliste offentliggjort
Seks populære beslutningsmodeller, herunder Kev, Clef og GPT-6 Luna, konkurrerer i realtid i Pac-Man. jev 1.13 topper med gennemsnitlig 2.750 …
InferBench: LLM'er forstår kun 60 % af uudtalte brugerprioriteter
Nyt benchmark med 2.800 samtaler: modeller vælger rigtigt i 89 % af tilfældene med klare prioriteter, men kun 60 % uden. MiMo V2.6 Pro …
Opfølgning: Qwen Flash Next skuffer i agentisk arbejde – 27B er tilbage
… Til one-shots og benchmarks er den dog stærk. [Se briefingen 29. september](/archive/2026-09-29)
CivBench: LLM'er spiller Civilization V – GLM-5.3 slår Opus-5.5
En kontrolleret benchmark, hvor modeller sætter strategi og Civ's AI udfører. Qwen-3.8-27B klarer sig overraskende godt.
Opfølgning: 1.200 Blender-modelleringskørsler på tværs af LLM'er og agent-harnesses
En blind A/B-arena lader brugere stemme på resultater – inkluderer Claude Code, OpenCode, Codex og flere reasoning-niveauer. [briefingen 25. september](/archive/2026 …
Opfølgning: Dual Radeon MI50 benchmarks – 60 tok/s på MoE-modeller
En bruger tester to AMD MI50 (16 GB hver) med llama.cpp og opnår 60 tok/s på Nemotron-3.5-30B-A3B med …
Hobbyist bygger monster-cluster med 6 mining-kort til lokal AI
Seks BC-250 boards kører Qwen Next Flash og 3.6 35b med op til 28 tok/s. Setup'et bruger Vulkan og RPC …
Opfølgning: Gufo lover 70 tok/s – men kun på gentagne ord
Benchmark viser, at Gufo når 70 tok/s på Qwen 27B med spekulativ dekoding, men kun når prompten er "skriv 'rød' 1000 gange". Reelle …
DDR4 vs DDR5 til pre-training: 15-20 % hurtigere, men dyrere
Benchmark viser, at DDR5/PCIe5 giver 15-20 % mere throughput end DDR4/PCIe4. Men til prisen for DDR5 kan man købe en ekstra GPU …
Fællesskab efterlyser officiel 3D-print benchmark for LLM'er
En Reddit-bruger printede broer designet af forskellige LLM'er og testede dem til brud. Resultaterne varierede vildt, og vinderen holdt over 100 lbs …
Xiaomis MiMo-V2.6-Flash-RL matcher eller slår åbne modeller i samme klasse
MiMo-V2.6-Flash-RL scorer 28,8% på Terminal-Bench mod DeepSeek-V4-Flash's 12,0% og GLM-5.3-Flash's …
Jev, Laya og Qwen 3.5 fik styringen i Doom – hvem klarede sig bedst?
En Reddit-bruger testede fire modeller i ViZDoom. Qwen 3.5-4B dræbte flest, men Jev og Laya havde lav latency. Finetuned ModernCE klarede …
Opfølgning: Kinas åbne AI-modeller er nu kun 4,4 måneder bag USA, viser Mozilla-rapport
Mozillas nye rapport viser, at kinesiske open-weight-modeller halter kun 4,4 måneder bag de amerikanske frontløbere – og er markant billigere i drift …
Opfølgning: DeepSeek V4.1 Flash svigter i lange benchmarks – OpenRouter-problemer?
En bruger rapporterer, at DeepSeek V4.1 Flash aldrig gennemfører en 2-timers agentisk benchmark på OpenRouter grundet transportfejl og tidsoverskridelser. Andre modeller som …
Opfølgning: K2-Horizon-7B benchmarket på 16 GB VRAM – halter efter Qwen
IFM/K2-Horizon-7B gennemfører kun 11 af 15 opgaver på en AMD RX7600XT og scorer lavere end Qwen3.8-27B. Modellen snød desuden …
K2 Horizon benchmark: Imponerende intelligens, men grimt KV-cache-design
K2 Horizon-modellerne scorer højt på Artificial Analysis, men kræver uforholdsmæssigt meget RAM til kontekst. Sammenlignet med Qwen3.6 og MiniCPM5 er de mindre …
DeepSeek V4.1 Flash slår Astra på ny benchmark – overraskende sejr
DeepSeeks V4.1 Flash-model har indtaget førstepladsen på Artificial Analysis' nye Intelligence Index v4.3-benchmark og slår dermed både Astra og Fable …
Real-SWE: Nyt benchmark tester AI på private virksomhedskodebaser
Benchmarket evaluerer modeller på rigtige, private enterprise-kodebaser frem for syntetiske opgaver. Diskuteres på Hacker News og r/LocalLLaMA.
RoastMyHarness benchmarker dine brugerdefinerede Pi-værktøjer
Værktøjet kører DeepSWE-opgaver mod både bar Pi og din modificerede harness for at vise, hvad der blev bedre, og hvad der gik i …
Agnes-3.0-Flash: Benchmark-hit med uklar historie
33B-modellen hævdes at slå Qwen3.8 27B på AA-indekset, men HF-udgaven er "Preview" og ikke samme model som evalueret.
Artificial Analysis forsvarer sig: "Vi er ikke købt"
Benchmark-portalen dokumenterer, at de har brugt 13.129 USD alene på at teste Fable 5.1, og afviser kritikken af deres metode som …
Muse-Glimmer-30B overrasker med kreativ skrivekunst
Den lille 30B-model slår langt større frontier-modeller i EQ-Bench Creative Writing og leverer ægte morsom David Sedaris-parodi.
MiniCPM5-2B: 2,5 mia. parametre med 131K kontekst til enheden
OpenBMBs MiniCPM5-2B slår Qwen3.5-4B på 34 benchmarks og leveres med datasæt, checkpoints og Apache 2.0-vægte. GGUF fra 1,56 …
Bruger beder om benchmark: Qwen3.8-27B Q8 vs Flash Q4
En bruger vil have svar på, om Qwen3.8-Next-Flash er det ekstra kvantiseringsformat værd. Indtil videre ingen definitive tal.
Nyt benchmark: The Struggle Bench – kan AI'en overleve i en lejlighed?
Modellen får en server, en lejlighed og en bankkonto. Den skal betale husleje uden at begå cyberkriminalitet. Score: antal måneder den overlever.
Benchmarks fra 4x Radeon AI Pro R9700-builds efterspurgt
En bruger overvejer en 4x R9700-server til DeepSeek V4 Flash og Qwen 3.8 Flash og spørger om erfaringer.