Søgning
4 briefing-resultat(er) for »expert-offloading«
llama.cpp får MoE-cache til at køre missed experts på CPU
Ny PR giver markant speedup for MoE-offloading ved at lade CPU'en håndtere de eksperter, der ikke er i VRAM.
Opfølgning: 100 GB Qwen-model kører nu på 64 GB Mac
Med oMLX, aggressive hukommelsesindstillinger og MoE-expert-offload kører Qwen3.8-Flash-Next på M3 Max ved 15,8 tok/s og op til …
Opfølgning: Kør 104GB Qwen3.8-model på 48GB Mac med ~12 tok/s
Slotstream muliggør kørsel af den 125B store Qwen3.8-Flash-Next på Mac med SSD-streaming af eksperter og MLX-native Swift-kode. [Se …
50% hastighedsboost ved at offloade "hot" experts til VRAM
En udvikler i r/LocalLLaMA har modificeret llama.cpp til kun at offloade de oftest brugte eksperter i MoE-modeller. Giver 20→30 t …