Søgning
2 briefing-resultat(er) for »hierarchical-attention«
Zyphra introducerer hierarkisk attention med subkvadratisk skalering
ZHA bruger et træstruktureret indeks til at opnå subkvadratisk attention, der kan eftermonteres på eksisterende modeller med minimal KL-distillation. Et bud på long …
Ny teknik muliggør long-context finetuning med begrænset VRAM
Hierarchical Global Attention (HGA) kombinerer segment-wise backpropagation og tiered KV-lagring, så kun aktive segmenter forbliver differentiable i VRAM. På Qwin3-8B med …