Søgning
5 research-rapport(er) for »local-llm«
hvilke 120b modeller er der kommet og hvordan klarer de sig .... det er vist den range af modeller som er bedst til 128gb memory til lokal hosting
… Recommendations for a affordable prebuilt PC to run 120B LLM locally?](https://www.reddit.com/r/LocalLLaMA/comments/1rfui43/recommendations_for_a_affordable_prebuilt …
Qwen 3.8 27b
… reddit.com/r/LocalLLM/comments/1t3pjkn/qwen3627b_is_the_first_local_model_that_actually/) 13. [5 Bedste Open Source LLMs (juli 2026) – Unite.AI …
Qwen 3.6 27b undersøg hvorfor den er så god til lokal kogning og hold den op med nogle af de nye Feks Gemma 4 og Laguna 2.1
… The Sweet Spot for Local Dev (Guide) | QWE AI Academy](https://www.qwe.edu.pl/tutorial/qwen-3-6-27b-local-development-sweet-spot …
Mac Studio M5 hvornår kommer den? båndbredde på hukommelsen? og hvad med rygtet omkring at M6 springes over og de går til M7 i stedet og går efter højere memory båndbredde?
… Apple Silicon Benchmark Comparison](https://www.promptquorum.com/local-llms/apple-silicon-m5-local-llm) 21. [How M5 Ultra and M7 Ultra could fix …
elbiler i danmark med 270+ hk, ikke over 550K DKK, og ikke nogen Tesla eller SUV. Lav oversigt med links
… kun 3,9GB](https://www.reddit.com/r/LocalLLaMA/comments/1uyz9n2/bonsai_27b_runs_locally_on_an_iphone_a_27b_model/) (brief-arkiv) 30 …
50 briefing-resultat(er) for »local-llm«
Perplexity udgiver Decider v1.3 – open-weight klassifikationsmodeller
Decider 26B og Decider Flash 5B (Apache 2.0) kan klassificere, udtrække spans og håndtere op til 255 svarmuligheder; understøtter både tekst og billeder.
llama.cpp v1.0.0: Et stærkere fundament for lokalt AI-økosystem
Den populære open-source inferensmotor når version 1.0 og lover en mere stabil base for lokal LLM-kørsel.
Hvorfor er LLM'er stadig så dårlige til jokes?
En bruger bemærker, at sprogmodeller gør store fremskridt i matematik, men stort set ingen på humor – et vedvarende hul i generel kapabilitet.
Opfølgning: DeepSeek v4.1 Flash vs Qwen 3.8 Flash Next – benchmark
Brugerbenchmark viser, at Qwen 3.8 Flash Next er hurtigere og bedre til almindeligt arbejde end DeepSeek v4.1 Flash på samme hardware. [briefingen …
Opfølgning: Guide til at køre LLM'er lokalt i GitHub Copilot
… En ny guide viser, hvordan man bruger Ollama som lokal runtime til at køre LLM'er direkte i GitHub Copilot via app, CLI og …
Hvordan benchmarker man lokale LLM'er? Fællesskabet deler tips
En bruger spørger efter strategier og værktøjer til lokal benchmark af LLM'er på tværs af hastighed, ræsonnement og tool use. Diskussionen samler erfaringer …
Opfølgning: 4x Radeon R9700 giver 190 tok/s – $16K CAD build
En bruger bygger et system med 4x Radeon AI PRO R9700 og opnår 190 tok/s generation og 6.800 tok/s prefill. Systemet …
Mamba-1 på 2013 NVIDIA GPU'er: Open source-projekt genopliver e-waste
Et projekt porterer moderne LLM-træningsstack til legacy CUDA GPU'er (SM 3.5–7.5). Mamba-1 kører på Tesla K40c fra 2013 …
Opfølgning: Qwen3.8-Flash-Next kører med 18 t/s på Steam Machine
Test på Valve Steam Machine med 8 GB AMD GPU viser solid ydeevne. `resident-budget-gib=64` gav 20 % speedup.
Erfaringer søges: AI-agenter på 16 GB VRAM
Bruger spørger fællesskabet om råd til at køre agenter som Goose og Hermes Agent lokalt med 16 GB VRAM.
Lokal beslutningsmodel kan reducere latenstid for agenter
Bruger undersøger, om en lokal model som Needle 3 kan erstatte Jev for at sænke svartiden i OpenClaw-simulationer.
Opfølgning: Qwen Flash Next kører med 24 tok/s på M1 Max via Strata
Bruger rapporterer, at Strata og MoEShift gør det muligt at køre den store model på consumer-hardware ved at offloade til SSD. Kvaliteten overrasker …
Opfølgning: Fællesskabet erklærer Q4 2026 for local LLM’s guldalder
Qwen Flash Next, Unsloth Dynamic v3.1 og Strata gør frontier-lignende modeller kørbare på consumer-hardware. Qwen 4 forventes denne uge. [briefingen 26 …
iQuantize: Open source desktop-værktøj til kvantisering af LLM'er
Et nyt open source-skrivebordsværktøj understøtter guidet konvertering af LLM'er til GGUF, MLX og ONNX. Det visualiserer ændringer og tillader direkte publicering til …
Opfølgning: Eksplosion af nye inference-motorier gør det svært at følge med
En r/LocalLLaMA-bruger beskriver en eksplosion af nye inference-motorier som Strata, Basalt og Maya — ofte med kvalitetstab i bytte for fart. Mange …
LLM'er kan nativt læse og skrive neurale netværksvægte
Forskning viser, at frontlinje-LLM'er overraskende godt kan forstå og redigere rå modelvægte – langt bedre end mennesker eller konventionelle algoritmer.
Berth: Ny GPU-ressourcestyring til deling af VRAM mellem AI-arbejdsbyrder
Berth er en letvægts GPU-manager skrevet i Go, der styrer adgang til GPU via leases og prioriteter. Den muliggør problemfri deling af GPU …
En LLM kørende inde i en anden LLM – QwenPU er her
Udvikleren, der tidligere puttede en RISC-V-CPU i Qwen-vægte, har nu kompileret en NPU, der eksekverer Karpathys stories260k bit-eksakt inde i …
64 GB er ikke længere dødzone for lokale LLM'er – agenter ændrer reglerne
En bruger rapporterer, at Qwen3.8 27B kører agentiske kodningssessioner med 164k kontekst på en M4 Max med 64 GB takket være prompt-cache …
Tre RTX 3090'er købt på Facebook Marketplace – nu skal de bare samles
En bruger scorede to ekstra 3090 FE'er og har nu 72 GB VRAM, men intet kabinet. Spørger om billigste vej frem: mining-ramme …
Guide: Sådan vælger og opsætter du lokale LLM'er
En ny guide gennemgår værktøjer som Ollama, LM Studio og llama.cpp til lokal kørsel af sprogmodeller. Valget afhænger af dit workflow og hardware.
Opfølgning: Forudsigelser: Qwen4 HC kræver nye kvantiseringsstrategier
En r/LocalLLaMA-analyse forudser, at Qwen4's HC-arkitektur vil gøre kvantiseringsgabet mellem Q4 og Q6 større. NVFP4 kan forvrænge de følsomme residual …
Hvor skal man følge open-weight-nyheder i 2026?
daily.dev samler 12 kilder til open-weight- og lokal LLM-nyheder. Tjek licens, format og hukommelseskrav, før du downloader vægte.
Ubrugte GPUer i datacentret fanger LocalLLaMA-brugere
Et Reddit-billede viser hylder af ubrugte GPUer i et datacenter. Brugerne spøger med at hente dem hjem til lokal inferens.
Opfølgning: Qwen 3.8 går i selvsving efter MCP-forbindelse
Opfølgning på [briefingen 26. oktober](/archive/2026-10-26): Qwen 3.8 27B svarer hurtigt i LM Studio, men bruger minutter efter MCP-forbindelse …
Frontlinjemodeller bedømmer 39 lokale LLM'er
Et community-eksperiment lod GPT-6.1, Gemini 3.8 og Claude bedømme lokale modeller på 50 prompts. Bonsai-2 27B og Underdog-Saluki …
Hobbyist laver hurtig desktop-RAM af billige SODIMM-moduler
En elektronikhobbyist konverterede et $120 SODIMM-kit til DDR5-7800 desktop-moduler og skabte debat om, hvorvidt det kan sænke RAM-priserne til LLM …
Er du gået helt lokalt? Debat om at droppe frontier-modellerne
En bruger på r/LocalLLaMA spørger, om andre har droppet cloud-baserede frontier-modeller til fordel for lokale modeller. Tvivlen på kvaliteten af kodegenerering …
Opfølgning: 125B-model kører med 20 tok/s på 16 GB VRAM
Lean-QwenFlash kører Qwen3.8-Flash-Next via direkte NVMe-offloading og når ~20 tok/s ved 262k kontekst på almindelig hardware. [Se briefingen …
Sikkerhedskopier dine kvantiserede modeller
Fællesskabet opfordrer til at downloade og torrent-dele quant-filer, mens producenternes Hugging Face-repos risikerer at forsvinde.
CrowdGPT vil træne LLM med alles GPU-tid
Projektet vil træne en 1B-model uden datacentre, med 100 procent offentlige data og vægte. Største udfordring: incitamentet til at donere GPU-tid.
Opfølgning: Er Kimi K3.1 Pro reelt bedre end DeepSeek V4.1 Flash?
Flere i fællesskabet stiller spørgsmålstegn ved, om Kimi K3.1 Pro's resultater retfærdiggør dens langt større ressourceforbrug sammenlignet med DeepSeek V4.1 Flash …
Lokal AI-kammerat app på Gemma 4 26B kører på RTX 3070 Ti
Bruger byggede et fuldt lokalt system med 5 AI-karakterer i 3D-rum, stemme, hukommelse og Discord-integration – alt på et 8 GB-kort …
Opfølgning: ISTA-DASLab udgiver DeepSeek V4.1 Flash quant med GSQ-RCO
Smart kvantisering af 1017B-modellen er tilgængelig på HuggingFace. llama.cpp-understøttelse mangler stadig; Strata-forks som Xolotl kan være løsningen. [briefingen 18. oktober …
Mini-AGI: Et månedslangt eksperiment i dynamisk kontinuerlig læring på 8 GB
Open-source model trænet fra bunden på en RTX 3070 viser, at kontinuerlig læring giver markant bedre task-specialisering end frosne modeller.
Opfølgning: 128 GB RAM til lokale LLM'er – DeepSeek V4.1 på forbrugerhardware
Debatterer om 128 GB RAM kan køre store MoE-modeller som DeepSeek V4.1 og GLM 5.3 med acceptable hastigheder. Se [briefingen 19 …
Fællesskabet diskuterer optimering af lokale LLM'er på Apple M1 Max
Brugere deler erfaringer med at køre 32B-120B modeller offline på 64 GB RAM til følsom prototyping og forskning.
Opfølgning: Brugerbygget værktøj vælger Mac-konfiguration til lokale LLM'er
Modelfit.io viser i realtid, hvilke LLM'er der passer i en given Mac-konfiguration og estimerer hastighed. Værktøjet bruger data fra llama-bench …
NVIDIA's Nemotron 3.5 Bolt – den eneste nye model der passer i 24 GB
På en uge med Muse Spark Open (512 GB), Beam (294 GB) og DeepSeek V4.1 Flash (510 GB) var NVIDIA den eneste der …
Opfølgning: Lokal 27B-model kører på 16 GB GPU med 42 tok/s
En Reddit-bruger får Qwen 3.8 27B til at køre på 16 GB Radeon med 262K kontekst via en llama.cpp-fork. [Tidligere …
Muse Spark Open kører på Mac med 4 tok/s
Første succesfulde kørsel af 816B-A42B på en Mac med 256 GB gav kun 4 tok/s; brugeren håber på 4-5x mere.
Opfølgning: PS5LM v0.9.0 kører llama.cpp nativt på jailbroken PS5
Den nye version flytter llama.cpp til PS5's GPU som en selvstændig app med TV-grænseflade (se [briefingen 15. oktober](/archive/2026-10 …
Reddit-bruger spørger: Er Qwen-Flash-Next bedre end Opus 4.6 til kodning?
En bruger på r/LocalLLaMA efterlyser praktiske erfaringer frem for benchmarks mellem de to modeller.
Opfølgning: llama.cpp har udviklet sig enormt – bruger deler rejse
En bruger på r/LocalLLaMA beskriver sin rejse fra Mistral Nemo til dual RTX 3060 og llama.cpp (se [briefingen 10. oktober](/archive/2026 …
Opfølgning: Bruger tester Qwen 3.8 Flash Next – skuffet over kvalitet
En bruger sammenligner Qwen 3.8 Flash Next Q4 med 27B Q8 og finder den ringere til kodning (se [briefingen 16. oktober](/archive/2026 …
10 ting du måske ikke vidste, du kan gøre med Qwen 3.6 27B
En erfaren bruger deler tips til at lave apps, chat UI og mere med Qwen 3.6 og llama.cpp.
Muse Spark Open: Specs og lokal kørsel på Mac via MLX og SGLang
Community-opsummering af Metas nye model: 816B/42B, 1M kontekst, Helion-kernels giver 1.03–3.95x speedup. Vægte via HF, SageMaker, Google Cloud …
IBM Granite Switch 4.1: Én endpoint til chat, beslutninger og tale
Modulær LLM med base 30B eller 8B plus adapters til beslutninger og guardian, samt indbygget speech-to-text. Apache 2.0.
Opfølgning: Reddit samler de mærkeligste og sjoveste LLM-fine-tunes
Brugerne deler eksperimentelle modeller med særlige stilarter, fra 1800-tals militær jargon til andet. Mindre modeller får opmærksomhed. [Se briefingen 7. oktober](/archive/2026 …
Qwen 27B kører med 20 tokens i sekundet på en jailbroken PS5
En ny PS5LM Plus-fork kører Qwen 3.8 27B på konsollens GPU. Det understreger, hvor billigt lokal inferens kan blive – og hvor svært …