Bosgame demonstreert lokale AI-cluster met zeven mini-pc’s voor DeepSeek-V3.1


Dit artikel is gebaseerd op een persbericht van Bosgame

Bosgame heeft laten zien hoe het AI-model DeepSeek-V3.1, met 671 miljard parameters, lokaal kan draaien op een cluster van zeven M5 AI Mini PC’s. De machines zijn onderling verbonden via USB4, zonder gebruik te maken van een traditionele serverarchitectuur. Het systeem toont een alternatieve aanpak voor het lokaal draaien van grote taalmodellen, zonder de kosten en complexiteit van gangbare AI-serverinfrastructuur.

Grote taalmodellen groeien in omvang, waardoor een enkele AI-pc vaak onvoldoende geheugen en rekenkracht biedt. Traditionele AI-servers kunnen dit wel leveren, maar brengen hoge kosten en complexe infrastructuur met zich mee. Bosgame presenteert het cluster als een modulair alternatief dat meegroeit met de behoefte van gebruikers.

Door de rekenlast te verdelen over meerdere nodes kan het cluster modellen draaien die de geheugencapaciteit van een enkel systeem zouden overschrijden. Samen bieden de zeven M5-machines 896 GB aan gedeeld werkgeheugen, waarvan tot 672 GB kan worden toegewezen als gedeeld videogeheugen. Dit maakt het mogelijk om geheugenintensieve AI-taken lokaal te verwerken.

De opzet is schaalbaar: gebruikers kunnen beginnen met één M5 Mini PC en het cluster later uitbreiden naarmate de behoefte groeit. Naast inference ondersteunt het platform ook lokale AI-ontwikkeling via een API-dienst op basis van Llama.cpp, en is het inzetbaar voor softwareontwikkeling, Kubernetes-beheer en edge AI-toepassingen. Doordat data en workloads lokaal blijven, houden organisaties meer controle over hun data.

Prijs en beschikbaarheid van het AI MAX+ 395 7-Node Cluster zijn niet vermeld.

Bronnen: Bosgame

Meer Techtesters? Vragen over de producten die we bespreken? Je kan ons vinden op:
– Techtesters YouTube
– Nadalina op Twitter (Chef de Video)
– Foritain op Twitter (Test Chef)
– Techtesters op Instagram

Van oppassen op de kinderen naar team Techtesters. Met jarenlange game-ervaring, een paar zelfgebouwde computers op de teller en Stephan als leermeester draagt David nu bij met nieuwsberichten, reviews en builds.