Søgning
5 briefing-resultat(er) for »cuda«
Mamba-1 på 2013 NVIDIA GPU'er: Open source-projekt genopliver e-waste
Et projekt porterer moderne LLM-træningsstack til legacy CUDA GPU'er (SM 3.5–7.5). Mamba-1 kører på Tesla K40c fra 2013 …
Berth: Ny GPU-ressourcestyring til deling af VRAM mellem AI-arbejdsbyrder
Berth er en letvægts GPU-manager skrevet i Go, der styrer adgang til GPU via leases og prioriteter. Den muliggør problemfri deling af GPU …
Decapybara: Open-source-rekonstruktion af MegaCapybara-serveren
Projektet genopbygger MegaCapybara-inferenceserveren i C++20/CUDA med åben kildekode. Det er et svar på fællesskabets skepsis mod prækompilerede binærfiler uden kilde.
Gammel GPU kan speede mmproj op til 10x med llama.cpp
Ét flag – `--mmdev CUDA1` – kan lade en sekundær, langsom GPU håndtere vision mmproj og frigøre VRAM til inferens. Praktisk hack til lokal multi-GPU.
Status på 1-bit og ternære modeller: Bonsai, Hy-MT1.5, Maple-Preview og flere
En omfattende opdatering dækker nye PRs for CUDA/Vulkan og optimeringer, der giver 15-40% hastighedsforøgelse.