Søgning
2 briefing-resultat(er) for »pretraining«
Sori-1B: Sprogmodel trænet fra bunden uden tekst alene
En 1B-parameter model trænet udelukkende på lyd-parret tekst – ingen tekst-only pretraining. Ideen er at tvinge modellen til at forankre svar i …
Shibai-700M: Hobbyist præ-træner 700M model på 18B tokens til Python og Wikitext
En uafhængig udvikler har præ-trænet en 700M parameter model optimeret til Python. Den siges at være en størrelsesorden bedre end GPT-2.