Søgning
2 research-rapport(er) for »multi-gpu«
Qwen 3.6 27b undersøg hvorfor den er så god til lokal kogning og hold den op med nogle af de nye Feks Gemma 4 og Laguna 2.1
… Gemma 4-modellerne fra Google DeepMind, udgivet april 2026, præsenteres i [3] og [4] som multimodal med tekst-, billede- og lydstøtte (på de mindre …
Qwen 3.8 27b
… Qwen3.6-27B er en multimodal model, der accepterer tekst, billeder og video [2], og den er udgivet under Apache 2.0-licensen [2 …
10 briefing-resultat(er) for »multi-gpu«
Opfølgning: 4x Radeon R9700 giver 190 tok/s – $16K CAD build
En bruger bygger et system med 4x Radeon AI PRO R9700 og opnår 190 tok/s generation og 6.800 tok/s prefill. Systemet …
Opfølgning: QLoRA på 500 GB dokumenter med blandet GPU-park
Brugeren vil fine-tune Qwen3.5-9B på scannede dokumenter, men kæmper med boot-fejl på billige multi-GPU-bundkort. [Se briefingen 19. oktober …
Opfølgning: Bruger køber forkert bundkort til multi-GPU AI – Z9PE-D8 WS fejler
En bruger opdager at et Z9PE-D8 WS-bundkort ikke vil genkende hans Mi50- og V620-kort. Han søger råd om alternativer under 1 …
Opfølgning: Hvilken lille model skal parres med Qwen Flash Next?
En bruger med 64 GB RAM, R9700 og RX 7800 XT søger den bedste eksekveringsmodel til sin Hermes-agent – kandidaterne er MiniCPM5-2B eller …
Opfølgning: Strix Halo + CMP 170HX – hybrid setup kører Qwen 3.8 FN og 27B samtidig
En bruger kombinerer AMD Strix Halo iGPU med en NVIDIA CMP 170HX for at køre to modeller parallelt. [Se tidligere briefingen](/archive/2026-10 …
Opfølgning: Ville du købe en dedikeret Qwen3.8-chip til 7.000 TPS for 1.000 $?
… En praktisk reference til dem, der overvejer multi-GPU-setups til lokale 27B-modeller. Se [briefingen 21. september](/archive/2026-09-21).
Gammel GPU kan speede mmproj op til 10x med llama.cpp
Ét flag – `--mmdev CUDA1` – kan lade en sekundær, langsom GPU håndtere vision mmproj og frigøre VRAM til inferens. Praktisk hack til lokal multi-GPU.
PCI-E P2P på forbrugergrafikkort giver markant ydelsesløft i VLLM
At slå P2P til mellem to forbrugergrafikkort (4x5060 Ti) gav op til 2x højere tokens per sekund i VLLM – en overset optimering.
Billig multi-node GPU: 30 tok/s på Laguna med to 4060'ere og USB-ethernet
… Trafikken ligger på 30-70 MB/s – langt under hvad mange tror er nødvendigt for multi-node-inference.
6x3090 vs 8x3090: Er opgraderingen værd?
En bruger overvejer at gå fra seks til otte RTX 3090'ere via en PCIe-splitter for at køre DeepSeek Flash V4 i Q8 …