Søgning
6 briefing-resultat(er) for »tensor-rt«
GPU-unlocks: Hvorfor RTX 50-serien ikke kan låses op som RTX 30 og 40
En teknisk gennemgang af, hvorfor Nvidias markedssegmentering via FP32-akkumulationshastighed ikke kan omgås på Blackwell (RTX 50), i modsætning til tidligere generationer.
Opfølgning: Qwen3.8 Flash Next 176B kører på bærbar med 16 GB GPU – 11 tok/s
TensorSharp opnår 11,09 tok/s på en RTX 3080 Laptop ved at koordinere cache, VRAM, RAM og SSD intelligent. [Se briefingen 28. september …
Opfølgning: Qwen 3.8 27B kører på to RTX-kort – 50 tok/s med MTP
En opsætning med RTX 5060 Ti og RTX 3060 opnår 50 tok/s på Qwen 3.8 27B via exllamav3 og MTP (se [briefingen …
Hvorfor ser vi ikke flere INT8 W8A8-modeller til RTX 3090?
RTX 3090 har native INT8-tensorcores, men de fleste vælger FP8 eller mindre kvanter – debatten om hvorfor fortsætter.
Opfølgning: Qwen 3.8 27B kører 1M kontekst på to RTX 5090'er via NInfer fork
En bruger forked NInfer og tilføjede tensor-parallel og YaRN ×4 rope scaling, så Qwen3.8-27B NVFP4 kører 1.048.576 tokens kontekst …
Kan Tensor-RT LLM køre fuld præcision uden nok VRAM?
En bruger på r/LocalLLaMA spørger, om frameworks som Tensor-RT LLM eller DeepSpeed kan streame vægte for store MoE-modeller som Hy3. Svarene …