Søgning
7 research-rapport(er) for »gpu«
hvilke 120b modeller er der kommet og hvordan klarer de sig .... det er vist den range af modeller som er bedst til 128gb memory til lokal hosting
… Modellen er designet til at køre på en enkelt 80GB GPU som NVIDIA H100 eller AMD MI300X, og bruger MXFP4-kvantisering [1]. Den har …
Qwen 3.6 27b undersøg hvorfor den er så god til lokal kogning og hold den op med nogle af de nye Feks Gemma 4 og Laguna 2.1
… samtidig med at den kan køre på et enkelt 16-24GB GPU. Den tætte arkitektur betyder, at alle 27 milliarder parametre er aktive per …
Qwen 3.8 27b
… 2084100707423289643) 4. [Qwen 3.6 27B VRAM & Hardware Requirements — Dense 27B GPU Guide (2026) | Will It Run AI Blog](https://willitrunai.com/blog/qwen …
Qwen 3.6 27b undersøg hvorfor den er så god til lokal kogning og hold den op med nogle af de nye Feks Gemma 4 og Laguna 2.1
… Her anbefales Qwen3.6-27B dense til "real coding agent work" på en enkelt 24GB GPU (RTX 3090Ti). Kilden angiver, at Qwen3.6-27B …
Mac Studio M5, rygter, Pris, Specs og release dato
… M5 Max forventes med op til 18-core CPU og 40-core GPU, M5 Ultra med op til 36-core CPU og 80-core …
skyderiet i Field's i København
… sNHxtSqgPrD6thELIbDbF4uJU36RqZvvHmTSPp2tVKrp&gaa_ts=69e8ba3e&gaa_sig=e-I4yglzvXF_qFZmGDHz1VR7covQNa_BnX3UFyXFvGy9a2KHP025GSc0kGK5-gLZkGMco1E16nwp3_GpupXufA%3D%3D) 16. [OVERBLIK: Det ved vi om skyderiet i Field's …
Mac Studio M5 hvornår kommer den? båndbredde på hukommelsen? og hvad med rygtet omkring at M6 springes over og de går til M7 i stedet og går efter højere memory båndbredde?
… M5 Pro har en hukommelsesbåndbredde på 307 GB/s, mens M5 Max leverer op til 614 GB/s (afhængig af GPU-konfiguration) [7][10 …
50 briefing-resultat(er) for »gpu«
Microsoft patenterer brug af inaktive gaming-GPU'er til AI-træning
Et nyt patent beskriver, hvordan ledige gaming-GPU'er kan omdannes til betalt AI-træningshardware.
Kimi-K3.1-Pro-Coder kvantet til 775 GB – kører på én GPU
En 2,8T-parameter MoE-model er kvantet fra 1,77 TB til 775 GB (-56%) og kører med 36,8 tps batch på …
Opfølgning: 4x Radeon R9700 giver 190 tok/s – $16K CAD build
En bruger bygger et system med 4x Radeon AI PRO R9700 og opnår 190 tok/s generation og 6.800 tok/s prefill. Systemet …
Mamba-1 på 2013 NVIDIA GPU'er: Open source-projekt genopliver e-waste
Et projekt porterer moderne LLM-træningsstack til legacy CUDA GPU'er (SM 3.5–7.5). Mamba-1 kører på Tesla K40c fra 2013 …
Opfølgning: Qwen3.8-Flash-Next kører med 18 t/s på Steam Machine
Test på Valve Steam Machine med 8 GB AMD GPU viser solid ydeevne. `resident-budget-gib=64` gav 20 % speedup.
Opfølgning: DeepSeek V4.1 Flash kører 20× hurtigere agentstarter på gaming-GPU
En patching af DeepSeek-motoren muliggør 20 gange hurtigere agentstarter på en standard gaming-GPU ved at undgå genlæsning af systemprompt. Det gør store …
Berth: Ny GPU-ressourcestyring til deling af VRAM mellem AI-arbejdsbyrder
Berth er en letvægts GPU-manager skrevet i Go, der styrer adgang til GPU via leases og prioriteter. Den muliggør problemfri deling af GPU …
Ubrugte GPUer i datacentret fanger LocalLLaMA-brugere
Et Reddit-billede viser hylder af ubrugte GPUer i et datacenter. Brugerne spøger med at hente dem hjem til lokal inferens.
GPU-unlocks: Hvorfor RTX 50-serien ikke kan låses op som RTX 30 og 40
En teknisk gennemgang af, hvorfor Nvidias markedssegmentering via FP32-akkumulationshastighed ikke kan omgås på Blackwell (RTX 50), i modsætning til tidligere generationer.
Opfølgning: QLoRA på 500 GB dokumenter med blandet GPU-park
Brugeren vil fine-tune Qwen3.5-9B på scannede dokumenter, men kæmper med boot-fejl på billige multi-GPU-bundkort. [Se briefingen 19. oktober …
CrowdGPT vil træne LLM med alles GPU-tid
Projektet vil træne en 1B-model uden datacentre, med 100 procent offentlige data og vægte. Største udfordring: incitamentet til at donere GPU-tid.
Opfølgning: DeepSeek V4.1 Flash kvantiseret til 1,75 bits – kører på 12 GB GPU
… Flash ned til 1,75 bpw og kører på en enkelt 12 GB GPU via Strata. [Se briefingen 24. okt.](/archive/2026-10-24)
Nye værktøjer fordobler AI-hastighed på NVIDIA RTX 30- og 40-serie
Inspireret af CMP170HX låser et nyt værktøj op for op til 2x prefill-speedup på ældre NVIDIA-kort, hvilket sender priserne i vejret på …
Opfølgning: Kræftcenter søger hjælp til HPC-opgradering til AlphaFold
Director of scientific computing spørger om GPU-køb til AlphaFold 2. Budget på 300-400K $, A30-kort og mulighed for Strata-inference diskuteres. [briefingen …
Opfølgning: capy-flash kører nu 125B MoE på 64 GB RAM med 234 tok/s
Open source-inference motoren optimeres til forbruger-GPU'er og kører Qwen3.8-Flash-Next på to 16 GB kort. Se [briefingen 16. oktober …
Gratis 3090-trick giver op til 30% hurtigere prompt-processing
Benchmark på et enkelt, strømbegrænset RTX 3090 viste 22-30% hurtigere prompt-processing og 1-5% hurtigere generation uden GPU-fejl.
Altman præsenterer tre skrækscenarier for AI-sikkerhed internt i OpenAI
… et IAEA-lignende tilsyn, en fusion af laboratorier, eller et enkelt firma der smelter alles GPU'er. Han kaldte sidstnævnte "forfærdeligt".
Opfølgning: Bruger køber forkert bundkort til multi-GPU AI – Z9PE-D8 WS fejler
En bruger opdager at et Z9PE-D8 WS-bundkort ikke vil genkende hans Mi50- og V620-kort. Han søger råd om alternativer under 1 …
LLM API-priser, AI-investeringer og MCP-server uden nøgle: Ugentligt overblik
TANDIU samler ugens data om listepriser på LLM API'er, GPU-leje og en ny MCP-server der kræver ingen API-nøgle.
Opfølgning: Lokal 27B-model kører på 16 GB GPU med 42 tok/s
En Reddit-bruger får Qwen 3.8 27B til at køre på 16 GB Radeon med 262K kontekst via en llama.cpp-fork. [Tidligere …
Opfølgning: PS5LM v0.9.0 kører llama.cpp nativt på jailbroken PS5
Den nye version flytter llama.cpp til PS5's GPU som en selvstændig app med TV-grænseflade (se [briefingen 15. oktober](/archive/2026-10 …
FLUX 3 Image Klein: 5.6B open-weight billedmodel til 8 GB VRAM
… Kører på forbruger-GPU med 8 GB.
Opfølgning: capy-flash kører Qwen3.8-Flash-Next 125B i NVFP4 på to 16 GB GPU'er
Ny tensor-parallel engine med offloaded eksperter giver ~100 tok/s, hurtigere end Strata. Fund om TP=2 præcision og FP16-partialsummer. [Se briefingen …
Qwen 27B kører med 20 tokens i sekundet på en jailbroken PS5
En ny PS5LM Plus-fork kører Qwen 3.8 27B på konsollens GPU. Det understreger, hvor billigt lokal inferens kan blive – og hvor svært …
Opfølgning: Project Maya kører GLM-5.3-Flash på én GPU
… 30+ tok/s på en RTX 5090, op til 118 på fire RTX 4090'ere, med eksperter fordelt på GPU, RAM og SSD. Se …
Opfølgning: Hvilken lille model skal parres med Qwen Flash Next?
En bruger med 64 GB RAM, R9700 og RX 7800 XT søger den bedste eksekveringsmodel til sin Hermes-agent – kandidaterne er MiniCPM5-2B eller …
Opfølgning: Basalt – 665 tok/s på Qwen3.8 Flash-Next med RTX 5090
Ny Blackwell-inference-engine Basalt opnår 2,6x Strata-hastighed med dual GPU og understøtter op til 8 samtidige brugere. [Se tidligere briefingen](/archive …
Opfølgning: Strix Halo + CMP 170HX – hybrid setup kører Qwen 3.8 FN og 27B samtidig
En bruger kombinerer AMD Strix Halo iGPU med en NVIDIA CMP 170HX for at køre to modeller parallelt. [Se tidligere briefingen](/archive/2026-10 …
Opfølgning: Qwen3.8 27B med 200K kontekst på 12 GB Ampere-kort
Ny KVaRN-variant reducerer KLD med 40% og muliggør op til 230K kontekst på 12 GB GPU'er. [Se tidligere briefingen](/archive/2026-10 …
Mistral Large 4 'Le Chonk' er tilbage i open-weight-kapløbet
En billion parametre, 49 milliarder aktive, trænet på Mistrals egne 3.800 Grace Blackwell-GPU'er. Preview er ude nu, open weights i slutningen …
Opfølgning: Reflection AIs Beam udråbes til 'Vestens DeepSeek'
Beam er trænet på 10.500 NVIDIA GB300-GPU'er med 46,4 millioner sandboxes om dagen. Den 501-milliarder-store open-weight-model …
Opfølgning: k_llama.cpp får MoE-optimeringer – hybrid CPU/GPU og expert-residency
Forken understøtter båndbreddeadaptiv eksekvering, Q2_0 og konfigurerbar VRAM-cap til residente eksperter. [briefingen 28. september](/archive/2026-09-28)
Bruger søger råd om dual R9700-build til lokal LLM-inferens
En Reddit-bruger planlægger at opgradere til to R9700 GPU'er for at køre Qwen3.8-Flash-Next i højere kvantisering.
Fællesskab samler liste over billige Vulkan-GPU'er til lokal inferens
En Reddit-tråd kortlægger ældre GPU'er som GTX 1080 Ti og Tesla M40, der stadig kan køre modeller via Vulkan.
Opfølgning: Qwen3.8 Flash Next 176B kører på bærbar med 16 GB GPU – 11 tok/s
TensorSharp opnår 11,09 tok/s på en RTX 3080 Laptop ved at koordinere cache, VRAM, RAM og SSD intelligent. [Se briefingen 28. september …
Opfølgning: Ninfer 4080 – 2720 tok/s prefill på 16 GB GPU
En ny specialiseret inferenceløsning kører ISTA-DASLab-Qwen-3.8-27B-GSQ med 100k kontekst på et enkelt RTX 4080-kort. [Se briefingen 3 …
DDR4 vs DDR5 til pre-training: 15-20 % hurtigere, men dyrere
… Men til prisen for DDR5 kan man købe en ekstra GPU, hvilket ændrer regnestykket.
Qwen 3.8 Flash Next kører på SSD med 9-10 tok/s på 16 GB GPU
En ny inferensmotor streamer eksperter fra SSD og opnår 9-10 tok/s på en RTX 5060 Ti med 16 GB VRAM. Det er …
17-årig får Qwen 3.8 til 60 tps på to Tesla P100'er
Med kernel-optimeringer og AI-hjælp løftede en teenager ydeevnen fra 7-15 tps til 50-60 tps på to billige GPU'er. Opfølgning …
Ny hardware-roofline-kalkulator til LLM-inference
En ny online kalkulator beregner teoretiske grænser for decode og prefill baseret på model, kvant og GPU. Godt som step-0-tjek før hardwarekøb.
M5 Ultra 80Core GLM-5.3-Flash på DwarfStar-hastigheder
… GPU'en er flaskehalsen ved høj RAM; en 512 GB-enhed giver kun mening, hvis GPU'en også opgraderes.
Opfølgning: Ville du købe en dedikeret Qwen3.8-chip til 7.000 TPS for 1.000 $?
… En praktisk reference til dem, der overvejer multi-GPU-setups til lokale 27B-modeller. Se [briefingen 21. september](/archive/2026-09-21).
Olas' open-weight-model matcher GPT-4.1 i prognosetest
Olas' lille model, der kan køre på én GPU, præsterer på niveau med GPT-4.1 i en uafhængig test af predictionsmarkeder. Vægtene er …
Lorivo: Serverless LoRA-hosting på delte GPU'er
Platformen lader mange LoRA-adaptere dele én GPU-server per basismodel og giver OpenAI-kompatible endpoints. Qwen 3.5 4B er gratis.
Gammel GPU kan speede mmproj op til 10x med llama.cpp
Ét flag – `--mmdev CUDA1` – kan lade en sekundær, langsom GPU håndtere vision mmproj og frigøre VRAM til inferens. Praktisk hack til lokal multi-GPU.
Kan AI-inferenceudbydere overhovedet tjene penge?
Debat på r/LocalLLaMA afslører, at udbydere med 10.000 USD månedlig omsætning kun beholder 200 USD i profit – GPU-omkostninger æder alt.
Qwen3.8-Flash-Next: 2,5x hurtigere prefill ved at smide expert-cache ud af GPU'en
En bruger opnår 2,2-2,5x hurtigere prefill på Qwen3.8-Flash-Next ved at rydde expert-cachen fra GPU'en under prompt …