Søgning
3 briefing-resultat(er) for »pretraining«
DDR4 vs DDR5 til pre-training: 15-20 % hurtigere, men dyrere
Benchmark viser, at DDR5/PCIe5 giver 15-20 % mere throughput end DDR4/PCIe4. Men til prisen for DDR5 kan man købe en ekstra GPU …
Sori-1B: Sprogmodel trænet fra bunden uden tekst alene
En 1B-parameter model trænet udelukkende på lyd-parret tekst – ingen tekst-only pretraining. Ideen er at tvinge modellen til at forankre svar i …
Shibai-700M: Hobbyist præ-træner 700M model på 18B tokens til Python og Wikitext
En uafhængig udvikler har præ-trænet en 700M parameter model optimeret til Python. Den siges at være en størrelsesorden bedre end GPT-2.