Søgning
3 briefing-resultat(er) for »distributed-inference«
Opfølgning: llm-d 1.0 klar til produktion med 11,5x lavere inferensomkostning
IBM Research bekræfter $0,11 per million tokens i blandet produktionsdrift med llm-d 1.0, det open-source distributed inference framework. Se [briefingen …
Opfølgning: Fem enheder deler Qwen3.8 Flash Next over netværk
To PC'er, en MacBook og to iPhones kører MoE-modellen via pipelined speculation med 37-39 tok/s. [Tidligere briefing](/archive/2026-10 …
Tired of RAM prices, so I have been pooling spare RAM across old devices to run bigger local models
En open-source-løsning (ramdeck-core-public) lader dig køre en 30B-model på tværs af en mini PC og en Mac mini ved …