Søgning
4 briefing-resultat(er) for »inference-framework«
Opfølgning: llm-d 1.0 klar til produktion med 11,5x lavere inferensomkostning
IBM Research bekræfter $0,11 per million tokens i blandet produktionsdrift med llm-d 1.0, det open-source distributed inference framework. Se [briefingen …
DeepSeek open-sourcer DeepInfer – inferensrammen bag V4.1-Flash
DeepInfer understøtter NVIDIA SM100 og Huawei Ascend 950, og sætter fokus på open source-inferens i stor skala.
Apple Silicon-inference: "Softwarestakken er et rod"
To ugers test viser, at ingen framework samler prefix-caching, spekulativ afkodning og paged KV-cache på Apple Silicon. vLLM-metal er tættest, mens …
Kan Tensor-RT LLM køre fuld præcision uden nok VRAM?
En bruger på r/LocalLLaMA spørger, om frameworks som Tensor-RT LLM eller DeepSpeed kan streame vægte for store MoE-modeller som Hy3. Svarene …