Søgning
5 research-rapport(er) for »moe«
hvilke 120b modeller er der kommet og hvordan klarer de sig .... det er vist den range af modeller som er bedst til 128gb memory til lokal hosting
… Ifølge OpenAIs officielle modelkort på HuggingFace [1] er det en MoE-model med 117B parametre totalt og 5,1B aktive parametre per token. Modellen …
Qwen 3.6 27b undersøg hvorfor den er så god til lokal kogning og hold den op med nogle af de nye Feks Gemma 4 og Laguna 2.1
… Den tætte arkitektur betyder, at alle 27 milliarder parametre er aktive per token, i modsætning til MoE-modeller der kun aktiverer en delmængde — dette …
Qwen 3.8 27b
… På benchmarks opnår Qwen3.6-27B 77,2% på SWE-bench Verified, hvilket slår den tidligere flagskibsmodel Qwen3.5-397B-A17B MoE's 76 …
Qwen 3.6 27b undersøg hvorfor den er så god til lokal kogning og hold den op med nogle af de nye Feks Gemma 4 og Laguna 2.1
… Accuracy–Efficiency Tradeoffs in Dense and MoE Reasoning Language Models](https://arxiv.org/html/2604.07035v1) 2. [PerfCodeBench: Benchmarking LLMs for System-Level High …
hvilke 120b modeller er der kommet og hvordan klarer de sig .... det er vist den range af modeller som er bedst til 128gb memory til lokal hosting
… Huaweis Noah’s Ark Lab afviste en anklage om, at deres Pangu Pro MoE‑model skulle have kopieret Alibabas Qwen 2.5 14B [10 …
50 briefing-resultat(er) for »moe«
Opfølgning: Inkling 2 Small-vægte er nu åbne – 17B aktive parametre
Coherence frigiver vægtene til Inkling 2 Small, en MoE-model med 17B aktive parametre og 1M kontekstvindue. Den matcher Gemini 3.8 Flash og …
Kimi-K3.1-Pro-Coder kvantet til 775 GB – kører på én GPU
En 2,8T-parameter MoE-model er kvantet fra 1,77 TB til 775 GB (-56%) og kører med 36,8 tps batch på …
llama.cpp får MoE-cache til at køre missed experts på CPU
Ny PR giver markant speedup for MoE-offloading ved at lade CPU'en håndtere de eksperter, der ikke er i VRAM.
Opfølgning: Inkling 2 Small lanceres – 594B MoE-model med åbne vægte næste uge
Thinking Machines Lab har lanceret Inkling 2 Small med 594 mia. parametre og 17 mia. aktive pr. token. Vægtene frigives under Apache 2.0 …
Opfølgning: Qwen Flash Next kører med 24 tok/s på M1 Max via Strata
Bruger rapporterer, at Strata og MoEShift gør det muligt at køre den store model på consumer-hardware ved at offloade til SSD. Kvaliteten overrasker …
Inkling 2 Small lanceres: 594B MoE-model med åbne vægte
Thinking Machines Lab udgiver Inkling 2 Small, en 594B MoE-model der scorer 31 på AI Index. Vægtene frigives under Apache 2.0 næste …
Opfølgning: 125B-model kører med 20 tok/s på 16 GB VRAM
Lean-QwenFlash kører Qwen3.8-Flash-Next via direkte NVMe-offloading og når ~20 tok/s ved 262k kontekst på almindelig hardware. [Se briefingen …
Opfølgning: Kimi K3.1 Pro matcher Claude Opus 5.5 – open weights inden 4. november
Moonshots 2.8T MoE-model scorede 55 på Artificial Analysis, kun slået af Opus 5.5. Pris $2/$10 per M tokens – snart open …
Lokal AI-kammerat app på Gemma 4 26B kører på RTX 3070 Ti
… Modellens MoE-design gør det muligt.
Opfølgning: Ling-3.0-flash-Sante – open source sundheds-AI med 124B parametre
inclusionAI udgiver specialiseret medicinsk model med 256K kontekst, værktøjsbrug og 5,1B aktive parametre. Se [briefingen 20. oktober](/archive/2026-10-20).
Opfølgning: capy-flash kører nu 125B MoE på 64 GB RAM med 234 tok/s
Open source-inference motoren optimeres til forbruger-GPU'er og kører Qwen3.8-Flash-Next på to 16 GB kort. Se [briefingen 16. oktober …
Opfølgning: 128 GB RAM til lokale LLM'er – DeepSeek V4.1 på forbrugerhardware
Debatterer om 128 GB RAM kan køre store MoE-modeller som DeepSeek V4.1 og GLM 5.3 med acceptable hastigheder. Se [briefingen 19 …
Flint: Open-weight 40B MoE udfordrer Qwen3.6 på coding-agenter
Recursive Flint har 40B parametre med 2,5B aktive, 262k kontekst og slår Qwen3.6-35B-A3B i TerminalBench 2.1 og SWE-bench …
Opfølgning: MiniMax lancerer M3.1 Flash – 428B MoE til $0,15/M
MiniMax udgiver M3.1 Flash, en 428B MoE-model med 23B aktive parametre og 1M kontekst. API-pris er $0,15/$0,60 per …
inclusionAI udgiver Ming-3.0-audio-flash: 126B MoE med lydforståelse
Modellen er en native audio-language MoE med 126B parametre (6,5B aktive) og understøtter talegenkendelse, lydræsonnement og syntetisk tale. MIT-licens.
Opfølgning: Fem enheder deler Qwen3.8 Flash Next over netværk
To PC'er, en MacBook og to iPhones kører MoE-modellen via pipelined speculation med 37-39 tok/s. [Tidligere briefing](/archive/2026-10 …
Ni modeller, fem kodningsopgaver, ét 16 GB-kort
DeepSeek V4.1-Flash og Qwen3.8-27B med MTP klarede alle fem opgaver, mens større MoE-modeller dumpede c4-c5.
Opfølgning: Drama 3 kører på 16 GB Radeon via Red Curtain
Red Curtain lægger FP8-eksperter i RAM og kører 35B-MoE TTS på RX 9070 med 11-12 GB VRAM. [Tidligere briefing](/archive/2026 …
Opfølgning: Muse Spark Open – Metas 816B open-weight-model er ude
Meta har frigivet Muse Spark Open, en 816B MoE med 42B aktive parametre og 1M kontekst (se [briefingen 16. oktober](/archive/2026-10-16 …
Opfølgning: Muse Spark Open – Metas 816B open-weight-model er ude
Meta frigiver Muse Spark Open med 816B parametre (42B aktive) og 1M kontekst, trænet til kode og agentopgaver. Modellen kører optimeret på to Mac …
Fish Audio Drama 3: 35B-MoE TTS-model med høj kvalitet
Ny open-weight TTS-model fra Fish Audio, 35B med 3B aktive, kører på DGX Spark og i 4-bit kvantisering tæt på originalen.
Opfølgning: Project Maya kører GLM-5.3-Flash på én GPU
Maya kører 321 mia. parametre lokalt: 30+ tok/s på en RTX 5090, op til 118 på fire RTX 4090'ere, med eksperter fordelt …
Opfølgning: GLM-5.3-Flash kører på dual Ascend 310P med 8-9 tok/s
Efter en uges optimering kører GLM-5.3-Flash på to Ascend 310P-kort med 311.040 tokens kontekst pr. anmodning; NVIDIA golden-math …
Opfølgning: 100 GB Qwen-model kører nu på 64 GB Mac
Med oMLX, aggressive hukommelsesindstillinger og MoE-expert-offload kører Qwen3.8-Flash-Next på M3 Max ved 15,8 tok/s og op til …
JetBrains udgiver Mellum2.1: 12B MoE open model til kodningsagenter
Med Apache 2.0-licens og 2,5B aktive parametre opnår modellen en SWE-bench Verified-score på 47,0 efter RL på rigtige …
Opfølgning: Tysklands suveræne AI-model Kolibri præsenteret med 78,1 mia. parametre
Aleph Alpha har lanceret Kolibri, en MoE-model målrettet offentlig forvaltning og industri med 3,46 mia. aktive parametre. Se [briefingen 5. oktober](/archive …
Opfølgning: Reflection lancerer Beam – 501B open-weight-model med Nvidia-støtte
Reflection AI har udgivet Beam, en 501-milliarders MoE-model med 23 mia. aktive parametre, bygget til kodning. Se [briefingen 6. oktober](/archive/2026 …
Mistral Large 4 'Le Chonk' er tilbage i open-weight-kapløbet
En billion parametre, 49 milliarder aktive, trænet på Mistrals egne 3.800 Grace Blackwell-GPU'er. Preview er ude nu, open weights i slutningen …
Opfølgning: Reflection AIs Beam udråbes til 'Vestens DeepSeek'
Beam er trænet på 10.500 NVIDIA GB300-GPU'er med 46,4 millioner sandboxes om dagen. Den 501-milliarder-store open-weight-model …
Opfølgning: Reflection AI lancerer Beam – 501B MoE-model med 23B aktive parametre
Beam matcher GLM-5.2 på ræsonnement med 3-4× mindre inferens-compute og udgives under Apache 2.0 senere i oktober. [briefingen 5 …
Opfølgning: Aleph Alpha udgiver Kolibri – 78B MoE-model til myndigheder og industri
Modellen er trænet i Tyskland på europæisk infrastruktur og skal give kontrol over data og drift. [briefingen 5. oktober](/archive/2026-10-05)
Opfølgning: k_llama.cpp får MoE-optimeringer – hybrid CPU/GPU og expert-residency
Forken understøtter båndbreddeadaptiv eksekvering, Q2_0 og konfigurerbar VRAM-cap til residente eksperter. [briefingen 28. september](/archive/2026-09-28)
Opfølgning: Aleph Alpha udgiver Kolibri – 78B MoE-model med 1M kontekst
Siden [briefingen 4. oktober](/archive/2026-10-04) er modellen nu officielt udgivet med Apache 2.0-licens og FP8-vægte, der kører på …
Aleph Alpha lancerer Kolibri – tysk 78B MoE-model med 1M kontekst og Apache 2.0
Aleph Alpha har udgivet Kolibri, en open-weight 78B MoE-model (3.46B aktive parametre) med op til 1 million tokens kontekst, trænet på …
Opfølgning: Vil Qwen 3.8 Flash Next-optimeringer bane vej for Qwen4?
Fællesskabet spekulerer i, om den intensive optimering af Qwen3.8 Flash Next direkte vil gavne den kommende Qwen4-model. [Se briefingen 29. september](/archive …
Opfølgning: Dual Radeon MI50 benchmarks – 60 tok/s på MoE-modeller
En bruger tester to AMD MI50 (16 GB hver) med llama.cpp og opnår 60 tok/s på Nemotron-3.5-30B-A3B med …
Opfølgning: Base Qwen 3.6-35B slår de fleste finetunes i benchmark
Test af fem finetunes mod basismodellen viser at kun Occamy-1.0 er konkurrencedygtig. Flere populære finetunes som Tiel-Coder skuffer stort. [Se tidligere …
Qwen 3.8 Flash Next kører på SSD med 9-10 tok/s på 16 GB GPU
En ny inferensmotor streamer eksperter fra SSD og opnår 9-10 tok/s på en RTX 5060 Ti med 16 GB VRAM. Det er …
Opfølgning: Qwen 3.8 Flash Next kører 130k kontekst på 16 GB VRAM – her er opskriften
… q4_k_m quant, Unsloth MTP-head, og --spec-draft-cpu-moe for at få 16,5 t/s ved 131k kontekst. Se [briefingen …
Opfølgning: Kimi K3 (2,8T) kører 30 tok/s på 16× GB10-cluster – open source patches
En bruger deler, hvordan et 16-node GB10-cluster kører den store MoE-model via tilpassede vLLM-patches med 30 tok/s (se [briefingen …
Opfølgning: Qwen 3.8 Flash Next kører 50 t/s på RTX 5090 med FreeToken
FreeToken giver expert caching til MoE-modeller og løfter Qwen 3.8 Flash Next til brugbare hastigheder på en enkelt RTX 5090. PP på …
ExLlamaV3: Bedre kvantisering og hastighed end llama.cpp
Brugere rapporterer højere kvalitet og lavere KLD med ExLlamaV3-kvanter, især på NVIDIA. CPU-MoE-offload er nyligt tilføjet og gør det mere tilgængeligt.
Opfølgning: LayerStoRm – open source expert-streaming kører 186 GiB MoE på 96 GB VRAM
Ny MIT-licenseret inferensmotor streamer eksperter fra RAM og opnår 24,5 tok/s ved 1M kontekst på fire RTX 50-serie GPU'er …
Opfølgning: vllm med P2P-driver vs. llama.cpp til Qwen 3.8 27B
Bruger med fire RTX 4090'er overvejer om P2P-patch gør vllm bedre end llama.cpp til MoE-modeller. [briefingen 30. august](/archive/2026 …
Expert expansion med llama.cpp – ny branch til MoE-modeller
En bruger har bygget en custom branch af llama.cpp, der understøtter expert expansion, testet med GLM 5.3 Flash på Metal.
Ant Group åbner Ling-3.0-flash-Fin – finansmodel med 124B parametre
Ant Group frigiver sin første finansforstærkede Ling-model: 5,1B aktiverede parametre, 256K kontekst og træning på højkvalitets finansdata til langtidsholdbare agent-workflows. Vægtene …
Opfølgning: Qwen3.8-Flash-Next rammer 37-41 t/s på to 3090'er med DDR4
llama.cpp-optimeringer med UD-Q4_K_XL, expert cache og MTP løfter decode-farten markant på gammel hardware. [Briefingen 31. august](/archive/2026 …
Upcycling af Gemma4-12B til MoE – bruger kræver officiel 124B-model
En hobbyist har med succes upcyclet Googles Gemma4-12B til en MoE-model ved at tilføje 4 eksperter, og opfordrer Google til at udgive …
To kinesiske AI-labs lander uafhængigt på samme arkitektur
… Konvergensen antyder, at feltet finder et fælles optimalt design for effektive MoE-modeller.
50 PRs fra hurtigere CPU-inference i llama.cpp
… AVX-512, MoE expert-caching, streamede vægte og tiled mul_mat. Community håber på markante hastighedsforbedringer inden årets udgang.