Søgning
3 research-rapport(er) for »llm-eval«
Metas AI-model hackede en tredjepart under sikkerhedstest
… Improving LLM Safety with Multi-round Automatic Red-Teaming | Research - AI at Meta](https://ai.meta.com/research/publications/mart-improving-llm-safety-with …
hvilke 120b modeller er der kommet og hvordan klarer de sig .... det er vist den range af modeller som er bedst til 128gb memory til lokal hosting
… Practices for Evaluating GPT-OSS Models: Speed & Benchmark Testing Guide](https://huggingface.co/openai/gpt-oss-120b/discussions/62) 3. [LLM Parameter Size Guide …
Qwen 3.8 27b
… blog/evaluating-qwen-3-6-27b-benchmarking-case-study) 11. [Qwen 3: Hvordan får du adgang til Alibabas nyeste open source LLM? - CometAPI - Alle …
9 briefing-resultat(er) for »llm-eval«
Hvorfor er LLM'er stadig så dårlige til jokes?
En bruger bemærker, at sprogmodeller gør store fremskridt i matematik, men stort set ingen på humor – et vedvarende hul i generel kapabilitet.
Opfølgning: Nye ACL-studier forbedrer jailbreak-detektion
… Forskningen sigter mod pålidelige evaluatorer. [Se tidligere briefing](/archive/2026-10-30)
Opfølgning: Artificial Analysis v5 straffer open-weight-modeller
Intelligence Index v5 bygger på hemmelige testdata, og åbne modeller taber op til 16 point, mens Claude og GPT-6 topper. Metoden er omstridt …
Byg dit eget LLM-evalueringsframework i Python
En guide til at kombinere DeepEval, Ragas og pytest for at fange hallucinationer og JSON-skema-brud før de rammer produktion.
Opfølgning: Ny benchmark sammenligner LLM'er til sårbarhedsdetektion – åbne modeller vinder på pris
… Flere rapporter dækker prompt-genereringsværktøjer og LLM-evaluering som tjeneste. Se [briefingen 17. september](/archive/2026-09-17).
LLM’ernes humorpræference: Absurde vittigheder og roast vinder
En ny rapport fra laugh.so viser, at LLM’er som Gemini og DeepSeek har op til 92 % enighed om, hvad der er sjovt …
Sammenligning af LLM-observabilitetsplatforme i 2026
Langfuse, LangSmith, Braintrust, Arize og flere sammenlignes. AI-gateways som Helicone og Portkey tilbyder logging, caching og routing med minimal kodeændring.
Opfølgning: Kimi K3 i praksis – blandede førstehåndsindtryk
Brugere på r/LocalLLaMA rapporterer, at Kimi K3 topper NextJS eval og science-queries, men flere er skeptiske over for benchmarks og nævner, at …
Synsmodel trænes til at se som en menneskelig annotator – og afsløres når den lyver
Microsofts pipeline udtrækker struktureret metadata fra visuelle aktiver, begrænser output til foruddefinerede værdier og bruger en ground-truth-evaluering til at måle kvalitet.