Søgning
3 research-rapport(er) for »apple-silicon«
Qwen 3.6 27b undersøg hvorfor den er så god til lokal kogning og hold den op med nogle af de nye Feks Gemma 4 og Laguna 2.1
… På DGX Spark måler fællesskabet 28–33 tokens per sekund med NVFP4 via vLLM 0.24.0, mens Apple Silicon med MTPLX v2 når …
Qwen 3.8 27b
… For Apple Silicon rapporteres 82,8 t/s på M3 Ultra med optimeret hastighedsbuild [9]. ## Åbne spørgsmål Der er betydelige huller i informationen om …
Mac Studio M5 hvornår kommer den? båndbredde på hukommelsen? og hvad med rygtet omkring at M6 springes over og de går til M7 i stedet og går efter højere memory båndbredde?
… Apple Silicon Benchmark Comparison](https://www.promptquorum.com/local-llms/apple-silicon-m5-local-llm) 21. [How M5 Ultra and M7 Ultra could fix …
14 briefing-resultat(er) for »apple-silicon«
Opfølgning: Kapitsa 0.2.26 benchmarker seks modeller på MacBook M5 Max
Kapitsa, en Apple Silicon-inferensmotor, viser op til 46% hurtigere prompt-læsning på M5 Max. Den understøtter SSD-offloading for store modeller som Qwen …
Opfølgning: Nanbeige4.3-33B benchmarked på MacBook Pro M5 Max
En detaljeret sammenligning af mlx-lm, llama.cpp og Kapitsa på Apple Silicon viser, at modellen er langsom med en ineffektiv KV-cache. Qwen …
Fællesskabet diskuterer optimering af lokale LLM'er på Apple M1 Max
Brugere deler erfaringer med at køre 32B-120B modeller offline på 64 GB RAM til følsom prototyping og forskning.
M5 Ultra Mac Studio: 64 eller 80 kerner – er ventetiden det værd?
Brugerne diskuterer, om de ekstra 16 kerner og 1.200 dollars er ventetiden værd, når hukommelsesbåndbredden er identisk. Reelle inferenstal for 64-kerners-udgaven …
Opfølgning: Kør Qwen3.8+Flash-Next og tiny modeller op til 3x hurtigere på Apple Silicon
En forbedret implementering giver markant hurtigere inferens på Apple Silicon. [Se tidligere briefing](/archive/2026-09-20)
Apple Foundation Models nu indbygget i macOS 27 – kør lokalt
… Modellen er hardwareoptimeret til Apple Silicon og markerer et stort skridt for lokal AI på Apple-enheder.
Opfølgning: 22 tokens/sek – Qwen3.8 Flash Next på 32GB MacBook Air
Cherenkov-inference engine slår rekord på Apple Silicon ved at streame eksperter prædiktivt fra SSD og falde tilbage til lavere kvantisering ved pres. [Se …
MLX på Mac M5: Er det overflødigt?
Bruger finder llama.cpp nu matcher eller overgår MLX på prefill. M5 Pro når 300+ tok/s med Q8 GGUF.
Perplexity open-sourcer Mac-inferens til Qwen 3.6
Perplexity udgiver "lily" – en inferensserver optimeret til Apple Silicon.
Opfølgning: Qwen3.8-27B når 45+ tps på M-series efter tuning
Bruger deler optimeringsargs, der giver 45+ tokens/sekund på Apple Silicon. [briefingen 17. august](/archive/2026-08-17).
Apple Silicon-inference: "Softwarestakken er et rod"
To ugers test viser, at ingen framework samler prefix-caching, spekulativ afkodning og paged KV-cache på Apple Silicon. vLLM-metal er tættest, mens …
Qwen 3.8-27B op til 3× hurtigere på Apple Silicon med mlx-dspark
Et nyt værktøj udnytter spekulativ dekodning til at accelerere modellen markant på M4 Pro. 8-bit kvalitet opnås med hastighed over 20 tok/s.
Opfølgning: Rust-baseret ML-sprog til læring og lokale agenter
En pensioneret platformingeniør udvikler et ML-programmeringssprog i Rust, der kan træne på CPU, Apple Silicon og NVIDIA. Målet er at skabe lokale kodningsagenter …
Logue: Open-source macOS-app til mødenoter KØRER 100% lokalt
Bitwize har open-sourcet Logue (MIT) – en privatlivsvenlig app til transskription og skrivning på Apple Silicon. Ingen data forlader din maskine som standard.