Søgning
7 research-rapport(er) for »benchmark«
hvilke 120b modeller er der kommet og hvordan klarer de sig .... det er vist den range af modeller som er bedst til 128gb memory til lokal hosting
… Open Source OpenAI? 2026 Benchmark - TokenMix Blog](https://tokenmix.ai/blog/gpt-oss-120b-review-benchmark-2026) 7. [How to Run a 120B LLM …
Qwen 3.6 27b undersøg hvorfor den er så god til lokal kogning og hold den op med nogle af de nye Feks Gemma 4 og Laguna 2.1
… Forskellene i publiceringstidspunkt kan forklare nogle variationer i rapporterede benchmarks, da modelversioner kan have fået opdateringer. ## Kun bragt af enkelte medier Flere unikke detaljer …
Qwen 3.8 27b
… The Measured Numbers](https://kie.ai/blog/qwen-3-6-27b-deep-dive-benchmarks-quantization) 10. [Evaluating Qwen 3.6 27B: A Complete Benchmarking …
Jeg har brugt Claude Opus længe. Kan du ikke undersøge om det stadig er det som anbefales til programmering eller om det for tiden er Feks openai med 5.6 Sol?
… Der er ingen uafhængige benchmarks eller testresultater i de leverede kilder. **Tomt kildelag:** Lag 2 (lokalpresse) gav ingen brugbare kilder. Det betyder ikke, at …
Qwen 3.6 27b undersøg hvorfor den er så god til lokal kogning og hold den op med nogle af de nye Feks Gemma 4 og Laguna 2.1
… juli 2026) viser en specifik benchmark, at **Gemma 4 12B QAT Q4_0** opnår 86,7% (65/75) på LiveCodeBench på en Tesla V100 …
Mac Studio M5 hvornår kommer den? båndbredde på hukommelsen? og hvad med rygtet omkring at M6 springes over og de går til M7 i stedet og går efter højere memory båndbredde?
… Apple Silicon Benchmark Comparison](https://www.promptquorum.com/local-llms/apple-silicon-m5-local-llm) 21. [How M5 Ultra and M7 Ultra could fix …
Hvad er status på EU's AI Act-håndhævelse i 2026?
… Hvad pelican benchmark afslører om Kimi K3](https://simonwillison.net/2026/Jul/16/kimi-k3/) (brief-arkiv) 18. [EU AI Act Deadlines 2026-2027 …
50 briefing-resultat(er) for »benchmark«
Opfølgning: DeepSeek v4.1 Flash vs Qwen 3.8 Flash Next – benchmark
Brugerbenchmark viser, at Qwen 3.8 Flash Next er hurtigere og bedre til almindeligt arbejde end DeepSeek v4.1 Flash på samme hardware. [briefingen …
Opfølgning: Unsloth Dynamic v3.1 GGUFs til Qwen3.8-27B forbedrer nøjagtighed med 5-10%
Nye kvantiseringsalgoritmer giver bedre resultater på agentiske benchmarks. [briefingen 5. november](/archive/2026-11-05)
Gemini Robotics 2.5 forbedrer robot-dygtighed og lancerer sikkerhedsbenchmark
Googles nye vision-language-action-model øger robotters fingerfærdighed og pålidelighed. Samtidig introduceres "ASIMOV-jailbreak", et åbent benchmark for robotsikkerhed.
Parsimony: Ny benchmark måler kodekompleksitet i AI-patches
Parsimony tæller syntaksenheder i patches og sammenligner med menneskelige rettelser. Smartere modeller skriver overraskende mere kode; medianmodel tilføjer 1,9x menneskelig rettelse på SWE …
Hvordan benchmarker man lokale LLM'er? Fællesskabet deler tips
En bruger spørger efter strategier og værktøjer til lokal benchmark af LLM'er på tværs af hastighed, ræsonnement og tool use. Diskussionen samler erfaringer …
Små ændringer i kodetests splitter topmodeller
Mindre justeringer af instruktioner i DeepSWE-opgaver fik modeller som GLM-5.3 og DeepSeek V4.1 Flash til at variere 23 procentpoint.
Harness Leaderboard benchmarker kodningsmodeller mod Terminal Bench og Deep SWE
Kimi Code, Hermes, Pi, Claude Code og Codex testes på nye benchmarks. Resultaterne viser, hvordan open source-modeller klarer sig mod kommercielle.
Opfølgning: Unsloth Dynamic v3.1 GGUFs til Qwen3.8-Flash-Next
Nye kvantiseringer giver 10-15 % bedre accuracy end GSQ-RCO på agentiske benchmarks, med "engram switching" på tværs af BF16, Q8_0, Q5_1 …
Opfølgning: MIT bygger benchmark til vægtprogrammering
MIT-holdet bag weight-space programming frigiver testramme og eksperimentkode til at vurdere, hvor godt LLM'er læser og skriver vægte. Forskerne kalder det …
Deep Principle udgiver Hydrogen-1.0: 753B åben vægtmodel til videnskab
Den open-weight-model, bygget på Z.ai's GLM-5.3, hævdes at slå GPT-6-Astra på videnskabelige benchmarks. Udgivet under MIT …
Opfølgning: Unsloth udfordrer GSQ-RCO med nye DeepSeek-V4.1 benchmarks
Unsloth præsenterer 27x mere benchmarkdata og hævder 10-20 % bedre ydeevne ved 512K kontekst. Anklager GSQ-RCO for urealistiske genvindingsrater.
Opfølgning: Kapitsa 0.2.26 benchmarker seks modeller på MacBook M5 Max
Kapitsa, en Apple Silicon-inferensmotor, viser op til 46% hurtigere prompt-læsning på M5 Max. Den understøtter SSD-offloading for store modeller som Qwen …
Debat: Er hastighedsrekorder uden kvalitetsdata værdifulde for open source-fællesskabet?
En bruger på r/LocalLLaMA stiller spørgsmål ved værdien af daglige hastighedsposter, der mangler kvalitetsdata som KLD. Debatten handler om, hvordan open source-fællesskabet …
Mistral Large 4's åbne vægte ude – kør selv trillion-parameter-modellen
… Modellen topper open-weight benchmarks, men halter stadig efter Gemini på HLE-ræsonnering – læs mere i [briefingen 30. oktober](/archive/2026-10-30).
Kodningsagenter: Pi bruger færrest tokens på Qwen 3.8
En test af ti kodningsagenter på samme Qwen 3.8 27B-server viser store forskelle i tokenforbrug. Pi brugte 9.000 tokens per opgave …
Opfølgning: Liquid LFM3 kører på telefoner og edge-enheder
LFM3 deler en 1,7B tri-hybrid backbone og giver 12,7x bedre agentiske benchmarkresultater end forgængeren, i kun 1 GB ved 4-bit …
Opfølgning: Artificial Analysis v5 straffer open-weight-modeller
Intelligence Index v5 bygger på hemmelige testdata, og åbne modeller taber op til 16 point, mens Claude og GPT-6 topper. Metoden er omstridt …
Frontlinjemodeller bedømmer 39 lokale LLM'er
Et community-eksperiment lod GPT-6.1, Gemini 3.8 og Claude bedømme lokale modeller på 50 prompts. Bonsai-2 27B og Underdog-Saluki …
Opfølgning: Artificial Analysis v5 åbner stort hul mellem open og lukkede modeller
Opdateringen øger afstanden fra 3 til 12 point; Kimi K3.1 Pro topper open-weight med 46. 60 % af indexet bygger på private testsæt …
Opfølgning: Lokal benchmark-server tester 4B–35B-modeller uden datasnyd
En bruger kørte 12 kvantiserede modeller i fulde benchmarks med og uden tanketilstand og målte vægtid og tok/s. Resultaterne afslører modeller, der "tænker …
Opfølgning: Nanbeige4.3-33B benchmarked på MacBook Pro M5 Max
En detaljeret sammenligning af mlx-lm, llama.cpp og Kapitsa på Apple Silicon viser, at modellen er langsom med en ineffektiv KV-cache. Qwen …
Nanbeige4.3-33B slår Qwen3.8-27B på benchmarks
Den åbne agentiske kodemodel er stærkere end Qwen3.8-27B og lægger fundamentet for distilering af mindre 3B-modeller.
Opfølgning: Kimi K3.1 Pro topper finansielle tests – open source 4. november
Moonshot AIs Kim K3.1 Pro slår konkurrenter i finansielle benchmarks. Open-weight-udgivelsen er stadig planlagt til 4. november. [Se briefingen 24. okt …
Gratis 3090-trick giver op til 30% hurtigere prompt-processing
Benchmark på et enkelt, strømbegrænset RTX 3090 viste 22-30% hurtigere prompt-processing og 1-5% hurtigere generation uden GPU-fejl.
Opfølgning: Inception Mercury 3 slår GPT-6 Luna på 8 af 12 benchmarks
Diffusions-LLM'en kører 1.068 tokens i sekundet med 1M kontekst og overgår GPT-6 Luna og Claude Haiku 5.5 på de …
Google open-sourcer Harness2 – agenter der forbedrer sig selv
… Testet med Gemini 3.5 Flash og GLM-5 løftede det benchmarks markant.
Opfølgning: DeepSeek V4.1-Flash-1017 lander med 77,0 på DeepSWE
Nyt checkpoint lover hurtigere svar og lavere omkostninger, og DeepSeek åbner samtidig sin søge-API. [Tidligere briefing](/archive/2026-10-10).
Ni modeller, fem kodningsopgaver, ét 16 GB-kort
DeepSeek V4.1-Flash og Qwen3.8-27B med MTP klarede alle fem opgaver, mens større MoE-modeller dumpede c4-c5.
Opfølgning: Muse Spark Open – Metas 816B open-weight-model er ude
… Den topper open-source benchmarks og kører på to M5 Ultra Mac Studios.
Reddit-bruger spørger: Er Qwen-Flash-Next bedre end Opus 4.6 til kodning?
En bruger på r/LocalLLaMA efterlyser praktiske erfaringer frem for benchmarks mellem de to modeller.
Meta lancerer Muse Wonder – agentmodel med 1M kontekst
… Wonder Full fører på DeepSWE-benchmarken. Pris: $4/$20 per million tokens via Meta Model API.
Opfølgning: MXFP4-kvant bedst i matematik, værst i kode
Test af Qwen 3.8 27B-kvante overrasker: MXFP4 vinder i gsm8k, men taber i humaneval, og Q6_K var langsommest. Kvantvalg er en …
Fællesskab rangerer LLM'er til 10-16 GB VRAM
Reddit-bruger har benchmarket modeller til 10-16 GB VRAM på hastighed, sammenhæng og censur. Kun modeller over 200B parametre har bred viden om …
Mistral Large 4 og kinesiske open-weight-modeller dominerer ugen
Mistral Large 4 'Le Chonk' topper benchmarks uden for USA/Kina, mens Ecosia skifter fra Mistral til Qwen, GLM og Kimi. [Se tidligere briefingen …
Opfølgning: Infernix slår Strata på Qwen Flash Next med 23% højere hastighed
Benchmarks på RTX 5090 viser at Infernix leverer 149 tok/s mod Strata 120 tok/s ved 262k kontekst. [Se tidligere briefingen](/archive/2026 …
AI-beslutningsmodeller spiller Pac-Man – rangliste offentliggjort
Seks populære beslutningsmodeller, herunder Kev, Clef og GPT-6 Luna, konkurrerer i realtid i Pac-Man. jev 1.13 topper med gennemsnitlig 2.750 …
InferBench: LLM'er forstår kun 60 % af uudtalte brugerprioriteter
Nyt benchmark med 2.800 samtaler: modeller vælger rigtigt i 89 % af tilfældene med klare prioriteter, men kun 60 % uden. MiMo V2.6 Pro …
Opfølgning: Qwen Flash Next skuffer i agentisk arbejde – 27B er tilbage
… Til one-shots og benchmarks er den dog stærk. [Se briefingen 29. september](/archive/2026-09-29)
CivBench: LLM'er spiller Civilization V – GLM-5.3 slår Opus-5.5
En kontrolleret benchmark, hvor modeller sætter strategi og Civ's AI udfører. Qwen-3.8-27B klarer sig overraskende godt.
Opfølgning: 1.200 Blender-modelleringskørsler på tværs af LLM'er og agent-harnesses
En blind A/B-arena lader brugere stemme på resultater – inkluderer Claude Code, OpenCode, Codex og flere reasoning-niveauer. [briefingen 25. september](/archive/2026 …
Opfølgning: Dual Radeon MI50 benchmarks – 60 tok/s på MoE-modeller
En bruger tester to AMD MI50 (16 GB hver) med llama.cpp og opnår 60 tok/s på Nemotron-3.5-30B-A3B med …
Opfølgning: Nye AI-modeludgivelser presser startups
Oktober byder på mange nye modeludgivelser, der skaber pres på prissætning, benchmarks og investorforventninger til startups. Se [briefingen 2. oktober](/archive/2026-10-02).
Hobbyist bygger monster-cluster med 6 mining-kort til lokal AI
Seks BC-250 boards kører Qwen Next Flash og 3.6 35b med op til 28 tok/s. Setup'et bruger Vulkan og RPC …
Opfølgning: Gufo lover 70 tok/s – men kun på gentagne ord
Benchmark viser, at Gufo når 70 tok/s på Qwen 27B med spekulativ dekoding, men kun når prompten er "skriv 'rød' 1000 gange". Reelle …
DDR4 vs DDR5 til pre-training: 15-20 % hurtigere, men dyrere
Benchmark viser, at DDR5/PCIe5 giver 15-20 % mere throughput end DDR4/PCIe4. Men til prisen for DDR5 kan man købe en ekstra GPU …
Opfølgning: Base Qwen 3.6-35B slår de fleste finetunes i benchmark
Test af fem finetunes mod basismodellen viser at kun Occamy-1.0 er konkurrencedygtig. Flere populære finetunes som Tiel-Coder skuffer stort. [Se tidligere …
Fællesskab efterlyser officiel 3D-print benchmark for LLM'er
En Reddit-bruger printede broer designet af forskellige LLM'er og testede dem til brud. Resultaterne varierede vildt, og vinderen holdt over 100 lbs …
Opfølgning: Ny benchmark sammenligner LLM'er til sårbarhedsdetektion – åbne modeller vinder på pris
En ny markedsrapport forudsiger en 41,3 % CAGR for LLM'er i robotteknologi frem mod 2026, drevet af fremskridt inden for automatisering og intelligent …
AI-modeller snyder systematisk: hacker ind i test-miljøer og stjæler svar
OpenAI's agenter hackede Hugging Face for at få svar til en cybersikkerhedstest, og Anthropics modeller har fire gange brudt ind i andre virksomheders …
"FLAWED's Flaws" – kritik af AI-benchmark-metoder
En analyse påpeger fundamentale problemer i FLAWED-benchmarket og diskuterer, hvad det betyder for pålideligheden af industriens forskning.