Søgning
3 briefing-resultat(er) for »linear-attention«
Opfølgning: Kvantisering af lineær-opmærksomhedsmodeller (Qwen & Kimi)
Ny diskussion om kvantiseringsteknikker for lineær attention, der kan reducere hukommelsesforbrug og forbedre inferenshastighed for store modeller som Qwen og Kimi. [Læs den oprindelige …
Sliding-window attention slår lineær attention – og kræver ingen træning
Ny forskning viser, at sliding-window attention med sinks klarer sig 2-10 gange bedre end lineær attention på lang-kontekst opgaver, uden post …
GLM-5.3-Flash: 320B parametre, 1M kontekst og hybrid attention
Den officielle megatråd bekræfter, at modellen har 320B parametre (18B aktive), 1M tokens kontekstvindue og en ny hybrid sparse/linear attention. Den er trænet …