Søgning
8 briefing-resultat(er) for »vulkan«
180B Qwen Flash Next kører 21 tok/s på 64 GB med llama.cpp og vulkan
En bruger deler opsætning med to RX 6800 og en RX 580, der opnår 19-21 tok/s ved fuld 262K kontekst. Vigtigt: lad …
Fællesskab samler liste over billige Vulkan-GPU'er til lokal inferens
En Reddit-tråd kortlægger ældre GPU'er som GTX 1080 Ti og Tesla M40, der stadig kan køre modeller via Vulkan.
Hobbyist bygger monster-cluster med 6 mining-kort til lokal AI
… Setup'et bruger Vulkan og RPC over 1Gb Ethernet – og en papkasse som køling.
Opfølgning: Ollama ROCm matcher næsten llama.cpp Vulkan på RX 7900 XTX
Qwen3.8 27B Q4_K_M gav 34,4 tok/s i Ollama mod 35,8 i llama.cpp; Ollama var bedst til prompt …
VoxGen: Rust-baseret TTS optimeret til AMD
Ny inferensmotor for VoxCPM2 bruger Vulkan compute. Ingen Python-afhængighed, men kun Windows binaries pt.
Opfølgning: Dual-GPU tuner til llama.cpp optimerer tensor-split
… Testet med Qwen3.8-27B på ROCm og Vulkan. [briefingen 17. august](/archive/2026-08-17)
Status på 1-bit og ternære modeller: Bonsai, Hy-MT1.5, Maple-Preview og flere
En omfattende opdatering dækker nye PRs for CUDA/Vulkan og optimeringer, der giver 15-40% hastighedsforøgelse.
ROCm 7.14 i llama.cpp giver 50% hurtigere prompt-processing på Radeon 780M
… Benchmarks viser markant forbedring for tætte modeller sammenlignet med Vulkan, men MoE-modeller klarer sig bedre på Vulkan.