Søgning
50 briefing-resultat(er) for »llama.cpp«
Opfølgning: datasette-llm 0.1a11 understøtter OpenAI-kompatible endpoints
Nu kan Datasette konfigureres til at bruge lokale LLM'er via LM Studio, Ollama eller llama.cpp – kørbart med én uvx-kommando. [Læs den …
llama.cpp v1.0.0: Et stærkere fundament for lokalt AI-økosystem
Den populære open-source inferensmotor når version 1.0 og lover en mere stabil base for lokal LLM-kørsel.
Hvordan benchmarker man lokale LLM'er? Fællesskabet deler tips
… Diskussionen samler erfaringer med llama.cpp og Strata. *Opfølgning på [briefingen 28. oktober](/archive/2026-10-28).*
llama.cpp får MoE-cache til at køre missed experts på CPU
Ny PR giver markant speedup for MoE-offloading ved at lade CPU'en håndtere de eksperter, der ikke er i VRAM.
Opfølgning: Kimi K3.1 Pro kan nu køres lokalt via llama.cpp
En pull request tilføjer understøttelse af Kimi-K3.1-Pro i llama.cpp, så modellen kan køres på egen hardware. Vægtene er på Hugging …
Opfølgning: Eksplosion af nye inference-motorier gør det svært at følge med
… Mange bliver ved llama.cpp, fordi kvaliteten er forudsigelig. Se [briefingen 1. november](/archive/2026-11-01).
180B Qwen Flash Next kører 21 tok/s på 64 GB med llama.cpp og vulkan
… lad llama.cpp allokere konteksten selv. Opfølgning på [briefingen 26. oktober](/archive/2026-10-26).
Guide: Sådan vælger og opsætter du lokale LLM'er
En ny guide gennemgår værktøjer som Ollama, LM Studio og llama.cpp til lokal kørsel af sprogmodeller. Valget afhænger af dit workflow og hardware.
Opfølgning: Nanbeige4.3-33B benchmarked på MacBook Pro M5 Max
En detaljeret sammenligning af mlx-lm, llama.cpp og Kapitsa på Apple Silicon viser, at modellen er langsom med en ineffektiv KV-cache. Qwen …
CVE i llama.cpp: out-of-bounds-write i Pocket-TTS
Sårbarheden kræver lokal adgang og er rettet i b11796, men rodårsagen er kun detekteret og afbrudt – ikke forhindret ved design.
Opfølgning: DeepSeek V4.1 Flash får support i llama.cpp
En pull request tilføjer understøttelse af DeepSeek V4.1 Flash (763B parametre) i llama.cpp, hvilket muliggør lokal kørsel. [Se briefingen 18. okt.](/archive …
Opfølgning: ISTA-DASLab udgiver DeepSeek V4.1 Flash quant med GSQ-RCO
… llama.cpp-understøttelse mangler stadig; Strata-forks som Xolotl kan være løsningen. [briefingen 18. oktober](/archive/2026-10-18)
Opfølgning: Lokal 27B-model kører på 16 GB GPU med 42 tok/s
En Reddit-bruger får Qwen 3.8 27B til at køre på 16 GB Radeon med 262K kontekst via en llama.cpp-fork. [Tidligere …
Opfølgning: PS5LM v0.9.0 kører llama.cpp nativt på jailbroken PS5
Den nye version flytter llama.cpp til PS5's GPU som en selvstændig app med TV-grænseflade (se [briefingen 15. oktober](/archive/2026-10 …
Opfølgning: llama.cpp har udviklet sig enormt – bruger deler rejse
En bruger på r/LocalLLaMA beskriver sin rejse fra Mistral Nemo til dual RTX 3060 og llama.cpp (se [briefingen 10. oktober](/archive/2026 …
10 ting du måske ikke vidste, du kan gøre med Qwen 3.6 27B
En erfaren bruger deler tips til at lave apps, chat UI og mere med Qwen 3.6 og llama.cpp.
Opfølgning: Ternary Bonsai 2-familien i 2B, 4B og 9B baseret på Qwen 3.5
… Kan køre med standard llama.cpp. [Se briefingen 11. oktober](/archive/2026-10-11)
LFM2.5-24B-A2B imponerer i Pi Agent med høj hastighed
… omkring 95 tokens i sekundet i llama.cpp, solid ved 128k kontekst, og den holder til lange opgaver. Lille model kan køre sideløbende med …
Opfølgning: Reelle ulemper ved Strata? Brugere rapporterer loop-problemer
… Nogle oplever loop-problemer og portkonflikter, men den kører 100 t/s i agentiske workloads – langt hurtigere end Qwen 27B på llama.cpp. [Læs …
Gemma 4 fejler på SWEBench trods nye chat-templates
En bruger får kun LimitExceeded-fejl med Gemma 4 31B på SWEBench Verified, mens Qwen 3.8 27B løste 333 af 388 opgaver. Googles …
llama.cpp får support til MiniCPM-V 4.7
En PR tilføjer understøttelse af MiniCPM-V-4.7-35B-A3B i llama.cpp. Modellen blev for nylig spottet på r/LocalLLaMA og siden …
Opfølgning: Lokal semantisk filsøgning i Rust og llama.cpp
Rust-værktøjet Recall indekserer PDF'er, billeder, lyd og video og finder dem på indhold uden LLM eller netværk – første hit i 95 % af …
Opfølgning: k_llama.cpp får MoE-optimeringer – hybrid CPU/GPU og expert-residency
Forken understøtter båndbreddeadaptiv eksekvering, Q2_0 og konfigurerbar VRAM-cap til residente eksperter. [briefingen 28. september](/archive/2026-09-28)
Opfølgning: Dual Radeon MI50 benchmarks – 60 tok/s på MoE-modeller
En bruger tester to AMD MI50 (16 GB hver) med llama.cpp og opnår 60 tok/s på Nemotron-3.5-30B-A3B med …
Opfølgning: Overfit-inferenceløsninger bliver normen – specialiserede motorer vinder frem
Fællesskabet diskuterer, om smalle, hardware-specifikke motorer som Strata, Ninfer og DwarfStar vil erstatte generelle runtime som llama.cpp. [Se briefingen 20. september](/archive …
Qwen 3.8 Flash Next kører på SSD med 9-10 tok/s på 16 GB GPU
… Det er dobbelt så hurtigt som llama.cpp. Opfølgning på [briefingen 20. september](/archive/2026-09-20).
Qwen 3.8 Flash Next kører 131K kontekst på M4 Pro med 48 GB
Med GSQ-RCO quant og rette llama.cpp-flag kører Flash-Next hurtigere og klogere end 27B-modellen på en Mac. Opfølgning på [briefingen …
42 gange hurtigere prompt-lookup-drafting i llama.cpp
En ny optimering af prompt-lookup-drafting i llama.cpp giver op til 42x hastighedsforøgelse – en dramatisk forbedring for lokal inferens med spekulativ dekodning.
Opfølgning: Sådan bruger du enhver LLM som JEV – med logprobs og ét token
En simpel metode med llama.cpp og n_predict=1 kan replikere JEVs klassifikation ved at læse logprobs i stedet for fin-tuning (se …
Opfølgning: Optimeret llama.cpp giver 82 tokens/s på dual 7900 XTX
Brugeroptimering af llama.cpp til RDNA3 tredobler decode-hastighed på Qwen 3.8 med 60k kontekst. Se [briefingen 5. september](/archive/2026-09-05).
Lokal model tegner blomst i GIMP via MCP – med svingende resultat
En bruger kobler Qwen3.6-35B-A3B til GIMP via MCP-protokol og llama.cpp. Resultatet af kommandon ”tegn en blomst” er mindre imponerende …
llamAmpere: 90+ TPS på en RTX 3090 med specialiseret llama.cpp-fork
En custom fork af llama.cpp optimeret til Ampere-arkitekturen leverer API-hastigheder lokalt på en 3090 med op til 240K kontekst. Et kvantespring …
Opfølgning: Brugere søger pi.dev-plugin til konteksthåndtering
En Qwen3.8 27B-bruger på RTX 5080 kæmper med komprimering, der fejler og afslutter modellen tidligt. Se [briefingen 30. august](/archive/2026-08 …
Gammel GPU kan speede mmproj op til 10x med llama.cpp
Ét flag – `--mmdev CUDA1` – kan lade en sekundær, langsom GPU håndtere vision mmproj og frigøre VRAM til inferens. Praktisk hack til lokal multi-GPU.
MiniCPM5-2B: 2,5 mia. parametre med 131K kontekst til enheden
… GGUF fra 1,56 GB kører i vLLM, llama.cpp og MLX.
Strix Halo: Alternativer til llama.cpp giver op til 60 tok/s decode
Brugerbenchmarks viser, at officiel llama.cpp kun rammer 50 % af hardwarepotentialet på Strix Halo. Forks som halogen-flash-server og strix-llama.cpp når …
Opfølgning: ExLlamaV3 slår llama.cpp til CPU-offloadet Qwen Flash Next
Med to RTX 3080'ere og 128 GB RAM giver ExLlamaV3 2× decode og 3,2× prefill mod llama.cpp. Fordelen er dog model …
Opfølgning: Qwen3.5 0.8B kører 2,9× hurtigere på CPU med custom engine
… giver 2,9× prefill og 1,7× batch-16 throughput mod llama.cpp. Vægten er 425 MB. [Se briefingen fra 1. september](/archive/2026 …
ExLlamaV3: Bedre kvantisering og hastighed end llama.cpp
Brugere rapporterer højere kvalitet og lavere KLD med ExLlamaV3-kvanter, især på NVIDIA. CPU-MoE-offload er nyligt tilføjet og gør det mere tilgængeligt.
Opfølgning: Tips til draft acceptance med MTP i llama.cpp
Bruger deler konfiguration for at optimere speculative decoding med Qwen3.6-35B-A3B-MTP. [briefingen 30. august](/archive/2026-08-30).
Opfølgning: vllm med P2P-driver vs. llama.cpp til Qwen 3.8 27B
Bruger med fire RTX 4090'er overvejer om P2P-patch gør vllm bedre end llama.cpp til MoE-modeller. [briefingen 30. august](/archive/2026 …
Expert expansion med llama.cpp – ny branch til MoE-modeller
En bruger har bygget en custom branch af llama.cpp, der understøtter expert expansion, testet med GLM 5.3 Flash på Metal.
Opfølgning: Bland Ampere og Blackwell til lokale LLM'er?
Bruger overvejer 3090 FE for de ekstra 8 GB VRAM, men frygter TP-performancehit ved at blande Ampere og Blackwell i llama.cpp. [Briefingen …
Opfølgning: Base-3-pakning skærer 22 % VRAM fra ternære GGUFs
Q2_B3 gemmer -1/0/+1-vægte direkte i base 3 med 1,75 bit pr. vægt; en 27B ternær model falder fra 7 …
Opfølgning: Ollama ROCm matcher næsten llama.cpp Vulkan på RX 7900 XTX
Qwen3.8 27B Q4_K_M gav 34,4 tok/s i Ollama mod 35,8 i llama.cpp; Ollama var bedst til prompt …
Opfølgning: Formel for maksimal tokens/sekund ud fra VRAM-båndbredde
Decode-hastigheden kan estimeres som båndbredde divideret med vægt plus KV-cache; eksempel: 637 GB/s over 16,8 GB giver teoretisk 38 tok …
Opfølgning: Qwen3.8-Flash-Next rammer 37-41 t/s på to 3090'er med DDR4
llama.cpp-optimeringer med UD-Q4_K_XL, expert cache og MTP løfter decode-farten markant på gammel hardware. [Briefingen 31. august](/archive/2026 …
Quant-variation på 150% — community forvirret
Bruger på r/LocalLLaMA påpeger kæmpe forskel i størrelser for Q4KM-kvanter. Kalder det "æbler, appelsiner og mangoer".
MLX på Mac M5: Er det overflødigt?
Bruger finder llama.cpp nu matcher eller overgår MLX på prefill. M5 Pro når 300+ tok/s med Q8 GGUF.