Søgning
2 research-rapport(er) for »mixture-of-experts«
hvilke 120b modeller er der kommet og hvordan klarer de sig .... det er vist den range af modeller som er bedst til 128gb memory til lokal hosting
… til lokal hosting med 128GB hukommelse, primært på grund af Mixture-of-Experts (MoE) arkitekturen, der reducerer de aktive parametre per token. **GPT-OSS …
Qwen 3.6 27b undersøg hvorfor den er så god til lokal kogning og hold den op med nogle af de nye Feks Gemma 4 og Laguna 2.1
… Laguna 2.1 præsenteres i [5] og [6] som en 118B total parametre Mixture-of-Experts model med 8B aktiverede parametre per token, designet …
3 briefing-resultat(er) for »mixture-of-experts«
dots3-note preview: første open-weight model i familien – 280B parametre
En MoE-model med 16B aktive parametre, 512K kontekst og forståelse af tekst, billeder, video og lyd. Pull request indsendt til llama.cpp.
MoE forbedrer rekonstruktion af håndskrift fra IMU-sensorer i digital pen
Forskere bruger Mixture-of-Experts til at rekonstruere håndskriftbaner fra en digital pen, med separate eksperter for berøring og svævning.
Tysk SooFi-team lancerer åben MoE-model med Mamba-arkitektur
Soofi S 30B-A3B er en hybrid Mamba–Transformer-model med 30B parametre, målrettet tysk og engelsk. Modellen udkommer som open-source, hvilket styrker …