Søgning
3 research-rapport(er) for »cpu«
hvilke 120b modeller er der kommet og hvordan klarer de sig .... det er vist den range af modeller som er bedst til 128gb memory til lokal hosting
… Muligt på langsommere CPU-only opsætninger med nok system-RAM [8][12] ## Kun bragt af enkelte medier **Minimax M2.5** nævnes kun på Reddit …
Mac Studio M5, rygter, Pris, Specs og release dato
… M5 Max forventes med op til 18-core CPU og 40-core GPU, M5 Ultra med op til 36-core CPU og 80-core …
Mac Studio M5 hvornår kommer den? båndbredde på hukommelsen? og hvad med rygtet omkring at M6 springes over og de går til M7 i stedet og går efter højere memory båndbredde?
… AI Push, Rumored Specifications Include 1,000GB/s Bandwidth, 36-Core CPU & More](https://wccftech.com/m5-ultra-could-make-a-surprise-entrance-at …
34 briefing-resultat(er) for »cpu«
Opfølgning: GLB-3D-Coder i 1.7B-version – 3D-assets på CPU
… Modellen fylder kun 1,83 GB i Q8 og kører på CPU.
llama.cpp får MoE-cache til at køre missed experts på CPU
Ny PR giver markant speedup for MoE-offloading ved at lade CPU'en håndtere de eksperter, der ikke er i VRAM.
En LLM kørende inde i en anden LLM – QwenPU er her
Udvikleren, der tidligere puttede en RISC-V-CPU i Qwen-vægte, har nu kompileret en NPU, der eksekverer Karpathys stories260k bit-eksakt inde i …
Qwenputer: En RISC-V-CPU er bygget ind i Qwens vægte
En udvikler har lagt en 32-bit RISC-V-CPU direkte i Qwen3.5's vægte, så modellen deterministisk kan eksekvere instruktioner internt. Det …
Mistral udgiver Timestral – tidsseriemodel der slår Googles TimesFM-3
… Timestral-familien (5M–209M parametre), der sætter nye zero-shot-rekorder på tværs af GIFT-Eval, TIME og fev-bench, og kører på CPU.
Lille model på CPU bygger solsystem-demo i ét pas
KAT-Coder V2.5 Q4_K_M kører på en iGPU med 14 tok/s og genererer imponerende HTML/JS-demo med orkestrerede planeter …
Opfølgning: k_llama.cpp får MoE-optimeringer – hybrid CPU/GPU og expert-residency
Forken understøtter båndbreddeadaptiv eksekvering, Q2_0 og konfigurerbar VRAM-cap til residente eksperter. [briefingen 28. september](/archive/2026-09-28)
NVIDIA lancerer OpenShell – sandkasse til AI-agenter på hardwareniveau
NVIDIAs OpenShell kører på Vera CPU'er og BlueField-4 DPU'er for at isolere rogue-agenter på millisekunder. Over 100 organisationer er allerede …
Opfølgning: Qwen 3.8 Flash Next kører 130k kontekst på 16 GB VRAM – her er opskriften
… q4_k_m quant, Unsloth MTP-head, og --spec-draft-cpu-moe for at få 16,5 t/s ved 131k kontekst. Se [briefingen …
Opfølgning: ExLlamaV3 slår llama.cpp til CPU-offloadet Qwen Flash Next
Med to RTX 3080'ere og 128 GB RAM giver ExLlamaV3 2× decode og 3,2× prefill mod llama.cpp. Fordelen er dog model …
Opfølgning: Qwen3.5 0.8B kører 2,9× hurtigere på CPU med custom engine
En bruger har bygget et C++-engine og 4-bit-format, der giver 2,9× prefill og 1,7× batch-16 throughput mod llama …
ExLlamaV3: Bedre kvantisering og hastighed end llama.cpp
Brugere rapporterer højere kvalitet og lavere KLD med ExLlamaV3-kvanter, især på NVIDIA. CPU-MoE-offload er nyligt tilføjet og gør det mere tilgængeligt.
Opfølgning: Qwen3.8 Flash Next testet fra CPU til 96 GB VRAM – 109 tok/s
… 109 tok/s på 96 GB VRAM og 8,34 tok/s CPU-only. Læs baggrunden i [briefingen 30. august](/archive/2026-08-30).
Opfølgning: V100 vs. 5060 Ti til Qwen 3.8 – begrænset PCIe giver udfordring
… Kun 2x x4 PCIe-linjer til rådighed begrænser CPU-GPU kommunikation. [briefingen 30. august](/archive/2026-08-30)
50 PRs fra hurtigere CPU-inference i llama.cpp
En liste over åbne PRs til llama.cpp viser massiv aktivitet omkring CPU/RAM/hybrid-optimering: AVX-512, MoE expert-caching, streamede vægte og …
Opfølgning: gemma4.c – en moderne LLM på 700 linjer C, hurtigere end llama.cpp
En udvikler har skrevet en komplet inferens-runtime til Gemma 4 E2B i 700 linjer C. På en Ryzen 7 7700 opnås 639 tok …
Sådan kører du LLM'er som almindelig bruger med lavt budget
Bruger med GTX 2060 6GB og 32GB RAM spørger om vej til lokale modeller. Svar inkluderer kvantiserede småmodeller og CPU-offload.
Opfølgning: Apple Neural Engine – hvad kører egentlig?
Målinger viser, at placering på ANE afhænger af *hvordan* en beregning udtrykkes, ikke *hvad* den beregner – fp16-modeller kan blive CPU-låst.
FreeToken: Kør frontlinje-MoE på din gaming-PC
FreeToken muliggør 39 tok/s med Qwen3.6 35B på en RTX 4060 laptop og 22-25 tok/s med DeepSeek-V4-Flash 284B …
16 GB VRAM-skærsilden: deling af konfigurationer til Qwen3.8
Brugere deler tips til at køre Qwen3.8-27B på 16 GB VRAM med Q4_XS, CPU-mmproj og begrænset kontekst. [Se tidligere dækning …
Alibabas RISC-V CPU XuanTie C950 kører Qwen 3.8 27B med 30 tokens i sekundet
En demonstration viser, at en RISC-V-processor kan inferere store sprogmodeller uden GPU.
"10-års skraldekort" kører lokale LLMs – hvad kan man egentlig med et Nvidia 1060 3GB?
En Reddit-bruger eksperimenterer med at køre moderne ~7B-parametermodeller på et gammelt Nvidia 1060 3GB-kort via CPU-offloading og Kubernetes. Brugeren planlægger …
Opfølgning: Rust-baseret ML-sprog til læring og lokale agenter
En pensioneret platformingeniør udvikler et ML-programmeringssprog i Rust, der kan træne på CPU, Apple Silicon og NVIDIA. Målet er at skabe lokale kodningsagenter …
Opfølgning: C-baseret BitNet-inference når 36 tok/s på Xeon CPU
… Viser potentialet for CPU-only inferens. Se [briefingen 3. august](/archive/2026-08-03).
Opfølgning: llama.cpp 3–3.6x hurtigere på CPU med VNNI-optimering til Q2_0
… gen-CPU'er, hvor AVX-512 er slået fra. Se [briefingen d. 5. august](/archive/2026-08-05).
Opfølgning: DeepSeek V4 Flash kører med 1M kontekst på en enkelt RTX 5090 + DDR5
En reddit-bruger får fuld 1M kontekst til at køre på en RTX 5090 med 256 GB DDR5 ved hjælp af CPU/RAM-offloading …
Opfølgning: Llama.cpp PR flytter sampling til GPU – 8% hastighedsstigning
En PR til llama.cpp rykker CPU-sampling til GPU og giver 8% flere tok/s med MTP aktiveret. En anden PR cacher "hot …
Opfølgning: DeepSeek V4 Flash kører på brugt serverhardware – 33 tok/s på to RTX 3090
… Løsningen koster omkring 6.000 dollars og viser, at CPU-GPU-hybridarkitekturer kan være et alternativ til dyr unified memory.
Opfølgning: Kimi K3 kører på én CPU med 8 GB RAM – 33 sekunder per token
En C99-inference engine streamer eksperter fra NVMe. 176 KB binary, ingen GPU. Ikke praktisk, men imponerende ingeniørarbejde. [Se tidligere briefingen 30. juli](/archive …
Opfølgning: DeepSeek V4 Flash kører på RTX 3090 med 12,5 tok/s via CPU-spild
En bruger fik DeepSeek-V4-Flash-0731 til at køre på et enkelt 24 GB-kort ved at lægge MoE-eksperter i system-RAM …
Opfølgning: Kimi K3 kvantiseret til GGUF – 1,1 TB på disk, kører på CPU
Fællesskabet har lavet Q3_K_S-kvant af Kimi K3 (2,8T parametre) og kører det på CPU med 4,21 t/s. Q1 …
Opfølgning: 29x kernel-hastighed gav kun 6–10 % reel gevinst
En udvikler optimerede en matmul-kernel til BitNet 29x isoleret set, men end-to-end-forbedringen var minimal pga. hukommelsesflaskehals. En vigtig lektion i …
Opfølgning: DeepSeek V4 Flash kører på 80 GB VRAM med MoE-lag på CPU
En Reddit-bruger deler detaljeret opsætning med tre GPU'er og offloading af ekspertlag til CPU. Se [briefingen 17. juli](/archive/2026-07-17).
Spørgsmål: Kan Inkling køre med llama.cpp på CPU og RAM alene?
En bruger efterspørger launch-script til at køre Inkling uden GPU.