redactie
De modellen en AI-redeneringsagenten zijn bedoeld om de industrie te transformeren, maar de levering van hun volledige potentieel op een schaal vereist een enorme berekeningssoftware en optimalisatie. Het “redenering” -proces biedt meer modellen, genereert veel extra tokens en vereist infrastructuur met een combinatie van communicatie, geheugen en high-speed berekeningen om real-time en hoogwaardige resultaten te garanderen.
Om aan deze vraag te voldoen, heeft Coreweave instanties gelanceerd op basis van NVIDIA GB200 NVL72 en is hiermee de eerste cloudserviceprovider die het NVIDIA Blackwell-platform algemeen beschikbaar maakt.
Met NVIDIA NVLink op een rek met 72 GPU’s Blackwell Nvidia en 36 Nvidia Grace CPU, waardoor maximaal 110.000 GPU’s kunnen worden verminderd met NVIDIA QUANTUM-2 Infiniband-netwerken, bieden deze instanties de schaal en prestaties die nodig zijn om de volgende generatie redeneringsmodellen en AI-agenten te bouwen en te distribueren.
NVIDIA GB200 NVL72 op CoreWeave
Nvidia GB200 NVL72 is een oplossing op rekschaal met vloeistofkoeling met een 72 GPU NVLink-domein, waardoor de zes dozijn GPU’s kunnen fungeren als een enkele enorme GPU.
Nvidia Blackwell biedt veel technologische ontdekkingen die het genereren van inferentie-tokens versnellen, de prestaties verhogen en de servicekosten verlagen. De vijfde generatie NVLink maakt bijvoorbeeld 130 TB/s GPU-bandbreedte mogelijk in een 72 GPU NVLink-domein, en de tweede generatie Transformer-engine maakt snellere prestaties mogelijk dan het handhaven van hoge precisie.
De cloudserviceportfolio van Coreweave is speciaal gebouwd voor Blackwell. De CoreWeave Kubernetes-service optimaliseert de orchestratie van de werklast door NVLink-domein-ID’s bloot te leggen, waardoor een efficiënte planning binnen hetzelfde rek wordt gegarandeerd. Slurm op Kubernetes (SANK) ondersteunt de plug-in van het topologieblok, waardoor een intelligente werklastverdeling mogelijk is via Rack GB200 NVL72. Bovendien biedt het waarneembaarheidsplatform van Coreweave reële inzichten over NVLink-prestaties, het gebruik van de GPU en temperaturen.
Coreweave GB200 NVL72-instanties zijn uitgerust met NVIDIA AM Chemband Nvidia-netwerken die een bandbreedte van 400 GB/s voor GPU bieden voor clusters tot 110.000 GPU’s. NVIDIA Bluefield-3 DPU biedt ook versnelde multi-tenant cloud-netwerken, toegang tot krachtige gegevens en elasticiteit van de GPU-berekening voor deze gevallen.
Volledig geïntegreerd versnellingsplatform voor Enterprise AI
Het AI A Stack-platform, compleet met NVIDIA, combineert cutting-edge software met Blackwell-gebaseerde infrastructuur om bedrijven te helpen bij het bouwen van snelle, nauwkeurige en schaalbare agenten.
NVIDIA-projecten bieden vooraf gedefinieerde referentiewerkstromen, aanpasbaar en klaar om ontwikkelaars te helpen bij het creëren van applicaties voor echte wereld. NVIDIA NIM is een set gebruiksvriendelijke microservices die zijn ontworpen voor een veilige en betrouwbare distributie van kunstmatige intelligentiemodellen met hoge prestaties voor inferentie. Nvidia Nemo bevat tools voor training, aanpassing en voortdurende verbetering van kunstmatige intelligentiemodellen voor moderne bedrijfstoepassingen. Bedrijven kunnen NVIDIA-, NIM- en NIMO-projecten gebruiken om modellen te bouwen en te verfijnen voor hun gespecialiseerde kunstmatige intelligentie-agenten.
Deze softwarecomponenten, allemaal onderdeel van het NVIDIA-softwareplatform voor Enterprise, maken de sleutel mogelijk voor de levering van AI-agent op schaal en kunnen onmiddellijk worden gedistribueerd op Coreweave.
De volgende generatie kunstmatige intelligentie naar de cloud brengen
De algemene beschikbaarheid van instanties op basis van NVIDIA GB200 NVL72 op Coreweave onderstreept het laatste nieuws in de samenwerking van bedrijven, gericht op het aanbieden van de nieuwste versnelde rekencapaciteitsoplossingen naar de cloud. Met de lancering van deze instanties hebben bedrijven nu toegang tot de schaal en prestaties die nodig zijn om de volgende golf van redeneringsmodellen en AI-agenten te stimuleren.
Klanten kunnen beginnen met het implementeren van op NVL72 GB200 gebaseerde instanties via de Coreweave Kubernetes-service in de regio US-West-01 met behulp van de GB200-4X-toepassing. Neem contact op met Coreweave om aan de slag te gaan.
