Søgning
2 briefing-resultat(er) for »offline-inference«
Fællesskabet diskuterer optimering af lokale LLM'er på Apple M1 Max
Brugere deler erfaringer med at køre 32B-120B modeller offline på 64 GB RAM til følsom prototyping og forskning.
Ny hardware-roofline-kalkulator til LLM-inference
En ny online kalkulator beregner teoretiske grænser for decode og prefill baseret på model, kvant og GPU. Godt som step-0-tjek før hardwarekøb.