Søgning
2 research-rapport(er) for »unsloth«
Qwen 3.6 27b undersøg hvorfor den er så god til lokal kogning og hold den op med nogle af de nye Feks Gemma 4 og Laguna 2.1
… google/gemma-4-12B-it) 5. [unsloth/Laguna-S-2.1-GGUF · Hugging Face](https://huggingface.co/unsloth/Laguna-S-2.1-GGUF) 6 …
Qwen 3.8 27b
… Flagship-Level Coding in a 27B Dense Model](https://qwen.ai/blog?id=qwen3.6-27b) 6. [Qwen3.6 - How to Run Locally | Unsloth …
8 briefing-resultat(er) for »unsloth«
Bruger beder om benchmark: Qwen3.8-27B Q8 vs Flash Q4
En bruger vil have svar på, om Qwen3.8-Next-Flash er det ekstra kvantiseringsformat værd. Indtil videre ingen definitive tal.
Opfølgning: Qwen3.8 Flash Quants – 20-30 GB mindre end Unsloth Q4
En bruger frigav imatrix-quants til Qwen3.8-Flash-Next, der sparer 20-30 GB disk og RAM sammenlignet med Unsloth/AesSedai Q4, med …
Opfølgning: Qwen 3.8 27B i ekstreme quants – hvor lavt kan man gå?
En bruger på r/LocalLLaMA deler erfaringer med Qwen 3.8 27B i Unsloth Q3 XXS på en Mac mini M4 med 24 GB …
Opfølgning: Unsloth udgiver forbedrede GGUFs til Qwen3.8-27B
Dynamic v3 giver 10 % højere nøjagtighed for samme størrelse, og 1-bit quants bevarer 77 % nøjagtighed. Modellen kan nu køre på 8 GB RAM …
1-bit Qwen 3.8 2.4T kører på Mac Ultra – 508 GB RAM i brug
En bruger tester Unsloths 1-bit kvantisering af Qwen 3.8 2.4T på en Mac Ultra 512 GB. Modellen bruger 508 GB RAM …
Kimi K3 trimmet til 478 GB ved at fjerne flersproget "fedt"
En bruger fjernede kun de flersprogede komponenter i Kimi K3 og skar modellen fra 711 GB til 478 GB uden at miste intelligens – en …
Sammenligning af 4-bit kvanttyper på MLX i gang
Brugeren efterlyser erfaringer med OptiQ, Unsloth Dynamic 2.0, oQ og DWQ til Qwen3.6 og Gemma4 på MLX – hvilken kvant bevarer bedst kvalitet?
Bruger spørger: Bedste setup til lokal LLM på RTX 3090 og 48 GB RAM
Reddit-bruger søger stabilt OS og framework til coding og web-søgning på 24 GB VRAM. Ollama kørte langsomt, Unsloth var hurtigt men ustabilt.