Søgning
18 briefing-resultat(er) for »distillation«
Zyphra introducerer hierarkisk attention med subkvadratisk skalering
ZHA bruger et træstruktureret indeks til at opnå subkvadratisk attention, der kan eftermonteres på eksisterende modeller med minimal KL-distillation. Et bud på long …
Nanbeige4.3-33B slår Qwen3.8-27B på benchmarks
Den åbne agentiske kodemodel er stærkere end Qwen3.8-27B og lægger fundamentet for distilering af mindre 3B-modeller.
Microsoft udgiver UserRepGen-4B til brugersimulering
… Den er trænet med hindsight-distillation og uden behov for simulation ved inferens.
Anthropic styrker forsvar mod destillationsangreb
Anthropic offentliggør nye metoder til at beskytte mod model-stjæling via destillation. Diskuteres på Hacker News og Reddit.
Opfølgning: Demokrat kræver svar om kinesisk adgang til AI-modelvægte
OpenAI og Anthropic rapporterer om kinesiske virksomheder, der destillerer deres modeller. Nu beder en ledende demokrat om data om tyveri af modelvægte. [Se briefingen …
MiMo-V2.6 destillerer sig selv til en 9B Qwen
Xiaomi udgav MiMo-V2.6-Distill-Qwen-9B, hvor den store model har destilleret viden ned i en lille 9B-model. Giver lokale brugere …
Opfølgning: Model-grafting gør Qwen3.5-4B til en hurtigere encoder-decoder
… og tilføje identity-initialiserede adaptere opnås op til 3,7× hurtigere prompt-behandling. Distillation heler tabet. Se [briefingen 8. september](/archive/2026-09-08).
Rygte: 16 Moonshot-medarbejdere anholdt efter Kina-distillation af Claude
Anthropic rapporterer, at Kimi videresendte PLA-brugeres anmodninger til Claude til destillation. Rygter siger, at 16 Moonshot-medarbejdere blev anholdt for lækagen.
Kan DeepSeek V4 Flash destilleres på Nemotron 3.5 Lightning?
En bruger på r/LocalLLaMA spørger, om man kan destillere DeepSeek V4 Flash 0731 på en 2x Asus GX10-klynge for at forbedre Nemotron …
Opfølgning: Qwen 3.8 9B på vej – mindre søskende til den store MoE
Efter Qwen 3.8-2.4T og 27B spekulerer miljøet nu i en 9B-variant. En mindre model ville gøre Qwen 3.8-familien …
Opfølgning: Qwen 3.8-distillationer dukker op – mindre modeller fra den store
Distillerede varianter af Qwen 3.8-2.4T er begyndt at cirkulere, hvilket lover godt for lokale kørsler. Se [briefingen 13. august](/archive/2026 …
ByteDance lover at undgå AI-destillation og udvikle egen model
ByteDance siger, at de vil stoppe med at bruge destillation og i stedet udvikle nye modeller på egen hånd. Det markerer et skift i …
Ny forskning: CKA-guided destillation bevarer intern geometri i NVFP4-modeller
Forskere viser, at output-matching alene maskerer intern forringelse i lavpræcisionsdestillation. CKA-QAD forbedrer ræsonnement og kodning med moderat træningsoverhead.
DASH: adaptiv tæt supervision til reasoning-modeller
Nyt papir foreslår DASH, der lader token-niveau-distillationsvægte følge divergenshistorikken i stedet for faste koefficienter. Fem relaterede OPSD-papirer viser, at området er …
USA anklager Kina for at have stjålet Anthropics Fable-model til at bygge Kimi K3
OSTP-chef Michael Kratsios hævder, at Moonshot AI brugte Anthropics lukkede model Fable til at destillere K3. Anklagen kommer midt i en optrapning af …
Absurd påstand: Destilleret model overgår originalen – community raser over politikeres spin
LLM-eksperter på Reddit affejer USAs anklage om, at Kimi K3 er destilleret fra Fable. De påpeger, at destillation aldrig kan skabe en bedre …
Destillationsanklager bliver overgearet – og Anthropics $1,5 mia. forlig sender et signal om datasikkerhed
Anthropic indgår forlig på $1,5 milliarder i et søgsmål om træningsdata. Communityet advarer om, at afhængighed af lukkede API'er udsætter virksomheder for …
SEED: Ny metode til agent-baseret reinforcement learning
Forskere introducerer SEED, der konverterer afsluttede trajektorier til "hindsight skills" og distillerer adfærd tilbage til policy-modellen. Metoden adresserer supervisionsgabet mellem episode-level belønninger …