Søgning
6 briefing-resultat(er) for »tensor-parallelism«
Opfølgning: capy-flash kører Qwen3.8-Flash-Next 125B i NVFP4 på to 16 GB GPU'er
Ny tensor-parallel engine med offloaded eksperter giver ~100 tok/s, hurtigere end Strata. Fund om TP=2 præcision og FP16-partialsummer. [Se briefingen …
Opfølgning: Tensor-parallelisme på to R9700 i Strix Halo – nu med fuld hastighed
En bruger får to Radeon R9700 til at arbejde sammen via NVMe-PCIe og opnår 37 tok/s med rocm (se [briefingen 7. september …
Opfølgning: Qwen 3.8 27B kører på to RTX-kort – 50 tok/s med MTP
En opsætning med RTX 5060 Ti og RTX 3060 opnår 50 tok/s på Qwen 3.8 27B via exllamav3 og MTP (se [briefingen …
Opfølgning: State-of-the-art til Qwen3.8 med dual 3090 og RAM
Bruger spørger efter opskrift til at køre Qwen3.8 Flash-Next på HPC-node med A30 og 1 TB RAM. Se [briefingen 7. september …
Opfølgning: Bland Ampere og Blackwell til lokale LLM'er?
Bruger overvejer 3090 FE for de ekstra 8 GB VRAM, men frygter TP-performancehit ved at blande Ampere og Blackwell i llama.cpp. [Briefingen …
Opfølgning: Hvordan fordeler man GGUF-model og kontekst over to GPU'er?
Bruger spørger, om konteksten skal ligge på det andet 16 GB-kort, eller om højere kvants med tensor-parallelisme er bedre; modelkort angiver sjældent …