Paul Arends
Deze week hebben we een golf van speciaal gebouwde datacenters en infrastructuurinvesteringen geïntroduceerd die we over de hele wereld doen om de wereldwijde adoptie van geavanceerde AI-workloads en cloudservices te ondersteunen.
Vandaag hebben we in Wisconsin Fairwater geïntroduceerd, ons nieuwste Amerikaanse AI-datacenter, de grootste en meest geavanceerde AI-fabriek die we tot nu toe hebben gebouwd. Naast ons Fairwater-datacenter in Wisconsin hebben we ook meerdere identieke Fairwater-datacenters in aanbouw op andere locaties in de Verenigde Staten.
In Narvik, Noorwegen, kondigde Microsoft plannen aan met nScale en Aker JV om een nieuw hyperscale AI-datacenter te ontwikkelen.
In Loughton, Verenigd Koninkrijk, hebben we aangekondigd dat we een partnerschap aangaan met nScale om de grootste supercomputer van het Verenigd Koninkrijk te bouwen ter ondersteuning van diensten in het Verenigd Koninkrijk.
Deze AI-datacenters zijn aanzienlijke kapitaalprojecten, met investeringen van tientallen miljarden dollars en honderdduizenden geavanceerde AI-chips, en zullen naadloos verbinding maken met onze wereldwijde Microsoft Cloud van meer dan 400 datacenters in 70 regio’s over de hele wereld. Door innovatie die ons in staat stelt deze AI-datacenters te verbinden in een gedistribueerd netwerk, vermenigvuldigen we de efficiëntie en rekenkracht op een exponentiële manier om de toegang tot AI-services wereldwijd verder te democratiseren.
Wat is dan een AI-datacenter?
Het AI-datacenter: de nieuwe fabriek van het AI-tijdperk
Een AI-datacenter is een unieke, speciaal gebouwde faciliteit die specifiek is ontworpen voor AI-training en het uitvoeren van grootschalige kunstmatige intelligentie-modellen en toepassingen. De AI-datacenters van Microsoft ondersteunen OpenAI, Microsoft AI, onze Copilot-mogelijkheden en vele andere toonaangevende AI-workloads.
Het nieuwe Fairwater AI-datacenter in Wisconsin staat bekend als een opmerkelijke technische prestatie, met een oppervlakte van 315 hectare en drie enorme gebouwen met een gecombineerde oppervlakte van 1,2 miljoen vierkante voet onder daken. Voor de bouw van deze faciliteit waren 46,6 mijl diepe funderingspalen, 26,5 miljoen pond constructiestaal, 120 mijl ondergrondse middenspanningskabel en 72,6 mijl mechanische leidingen nodig.
In tegenstelling tot typische cloud-datacenters, die zijn geoptimaliseerd om veel kleinere, onafhankelijke workloads uit te voeren, zoals het hosten van websites, e-mail of bedrijfstoepassingen, is dit datacenter gebouwd om te werken als één massieve AI-supercomputer met behulp van een enkel vlak netwerk dat honderdduizenden van de nieuwste NVIDIA GPU’s met elkaar verbindt. Sterker nog, het zal 10X de prestaties van ’s werelds snelste supercomputer van vandaag leveren, waardoor AI-training en inferentieworkloads op een niveau kunnen worden uitgevoerd dat nog nooit eerder is gezien.
De rol van onze AI-datacenters – het aandrijven van grensverleggende AI
Effectieve AI-modellen vertrouwen op duizenden computers die samenwerken, aangedreven door GPU’s of gespecialiseerde AI-versnellers, om massieve gelijktijdige wiskundige berekeningen te verwerken. Ze zijn verbonden met extreem snelle netwerken zodat ze resultaten onmiddellijk kunnen delen, en dit alles wordt ondersteund door enorme opslagsystemen die de gegevens (zoals tekst, afbeeldingen of video) bevatten die zijn opgesplitst in tokens, de kleine eenheden van informatie waarvan de AI leert. Het doel is om deze chips de hele tijd bezig te houden, want als de gegevens of het netwerk niet kunnen bijhouden, vertraagt alles.
De AI-training zelf is een cyclus: de AI verwerkt tokens in sequentie, maakt voorspellingen over de volgende, controleert ze tegen de juiste antwoorden en past zich aan. Dit herhaalt zich biljoenen keren totdat het systeem beter wordt in wat het wordt getraind om te doen. Denk aan een training van een professioneel voetbalteam. Elke GPU is een speler die een oefening uitvoert, de tokens zijn de spelen die stap voor stap worden uitgevoerd, en het netwerk is de coachstaf die instructies schreeuwt en iedereen synchroniseert. Het team herhaalt de spelen keer op keer, corrigeert fouten totdat ze ze perfect kunnen uitvoeren. Aan het einde heeft het AI-model, net als het team, zijn strategie onder de knie en is het klaar om te presteren onder echte wedstrijdomstandigheden.
AI-infrastructuur op grensschaal
Speciaal gebouwde infrastructuur is essentieel om AI efficiënt te kunnen aandrijven. Om de tokenwiskunde op deze triljoenparameter schaal van toonaangevende AI-modellen te berekenen, bestaat de kern van het AI-datacenter uit toegewijde AI-acceleratoren (zoals GPU’s) gemonteerd op serverboards naast CPU’s, geheugen en opslag. Een enkele server host meerdere GPU-versnellers, verbonden voor communicatie met hoge bandbreedte. Deze servers worden vervolgens geïnstalleerd in een rek, waarbij top-of-rack (ToR) switches zorgen voor een laag-latente netwerkverbinding tussen hen. Elk rek in het datacenter is met elkaar verbonden, waardoor een nauw gekoppelde cluster ontstaat. Van buitenaf ziet deze architectuur eruit als veel onafhankelijke servers, maar op schaal functioneert het als een enkele supercomputer waar honderdduizenden versnellers een enkel model parallel kunnen trainen.
Dit datacenter draait een enkele, massieve cluster van onderling verbonden NVIDIA GB200-servers en miljoenen rekenkernen en exabytes aan opslag, allemaal ontworpen voor de meest veeleisende AI-workloads. Azure was de eerste cloudprovider die de NVIDIA GB200-server, rek en volledige datacenterclusters online bracht. Elk rek bevat 72 NVIDIA Blackwell GPU’s, met elkaar verbonden in een enkel NVLink-domein dat 1,8 terabyte aan GPU-naar-GPU-bandbreedte levert en elke GPU toegang geeft tot 14 terabyte aan gedeeld geheugen. In plaats van te werken als tientallen afzonderlijke chips, werkt het rek als een enkele, gigantische versneller, in staat om verbazingwekkende 865.000 tokens per seconde te verwerken, de hoogste doorvoer van elk cloudplatform dat vandaag beschikbaar is. De AI-datacenters in Noorwegen en het Verenigd Koninkrijk zullen vergelijkbare clusters gebruiken en profiteren van NVIDIAs volgende AI-chipontwerp (GB300), dat nog meer gedeeld geheugen per rek biedt.
De uitdaging bij het opzetten van supercomputerschaal, met name omdat de AI-trainingsvereisten blijven vereisen doorbraakschalen van rekenkracht, is het optimaliseren van de netwerktopologie. Om communicatie met lage latentie over meerdere lagen in een cloudomgeving te waarborgen, moest Microsoft de prestaties uitbreiden naar een enkel rack. Voor de nieuwste NVIDIA GB200- en GB300-implementaties wereldwijd communiceren deze GPU’s op rackniveau via NVLink en NVSwitch met terabytes per seconde, waardoor geheugen- en bandbreedtebeperkingen worden opgeheven. Vervolgens worden om verbinding te maken over meerdere rekken in een pod zowel InfiniBand- als Ethernet-fabric gebruikt, die 800 Gbps leveren, in een volledige fat tree non-blocking-architectuur om ervoor te zorgen dat elke GPU met elke andere GPU kan praten met volledige lijnsnelheid zonder congestie. En over het datacenter zijn meerdere pods met rekken met elkaar verbonden om het aantal hops te verminderen en tienduizenden GPU’s te laten functioneren als één wereldwijde supercomputer op schaal.
Als het wordt uitgelegd in een traditionele datacentergang, introduceert de fysieke afstand tussen rekken latentie in het systeem. Om dit aan te pakken, zijn de rekken in het AI-datacenter in Wisconsin gerangschikt in een datacenterconfiguratie van twee verdiepingen, dus naast rekken die zijn verbonden met aangrenzende rekken, zijn ze ook verbonden met extra rekken erboven of eronder.
Deze gelaagde aanpak onderscheidt Azure. Microsoft Azure was niet alleen de eerste cloud die GB200 op rack- en datacenterschaal online bracht; we doen dit op enorme schaal met klanten van vandaag. Door de volledige stack samen met het beste van onze branche partners te co-engineeren, gekoppeld aan onze eigen speciaal gebouwde systemen, heeft Microsoft de krachtigste, nauw gekoppelde AI-supercomputer ter wereld gebouwd, speciaal ontworpen voor grensmodellen.
Het aanpakken van de milieu-impact: gesloten lus vloeistofkoeling op faciliteitsschaal
Traditionele luchtkoeling kan de dichtheid van moderne AI-hardware niet aan. Onze datacenters gebruiken geavanceerde vloeistofkoelsystemen – geïntegreerde leidingen circuleren koud water rechtstreeks in servers, halen efficiënt warmte af. Het gesloten lussysteem zorgt voor nul waterafval, waarbij water slechts één keer nodig is tijdens de bouw en vervolgens continu wordt hergebruikt.
Door vloeistofkoelinginfrastructuur rechtstreeks in de faciliteit te integreren, waren we in staat om met speciaal gebouwde AI-datacenters meer rack-dichtheid in het datacenter te krijgen. Fairwater wordt ondersteund door de op een na grootste watergekoelde chillersinstallatie ter wereld en zal continu water circuleren in zijn gesloten lus koelsysteem. Het warme water wordt vervolgens naar de koel “vinnen” aan elke kant van het datacenter geleid, waar 172 20-voet ventilatoren het water koelen en terugvoeren naar het datacenter. Dit systeem zorgt ervoor dat het AI-datacenter efficiënt blijft werken, zelfs bij piekbelastingen.
Meer dan 90% van onze datacentercapaciteit maakt gebruik van dit systeem, waarbij water slechts één keer nodig is tijdens de bouw en continu wordt hergebruikt zonder verdampingsverliezen. De overige 10% van de traditionele servers gebruikt buitenlucht voor koeling en schakelt over op water alleen tijdens de heetste dagen, een ontwerp dat het watergebruik aanzienlijk vermindert in vergelijking met traditionele datacenters.
We gebruiken ook vloeistofkoeling om AI-workloads in veel van onze bestaande datacenters te ondersteunen; deze vloeistofkoeling wordt bereikt met Heat Exchanger Units (HXU’s) die ook werken met nul operationeel watergebruik.
Opslag en berekening: gebouwd voor AI-snelheid
Moderne datacenters kunnen exabytes aan opslag en miljoenen CPU-rekenkernen bevatten. Om de AI-infrastructuurcluster te ondersteunen, is een volledig aparte datacenterinfrastructuur nodig om de gegevens op te slaan en te verwerken die worden gebruikt en gegenereerd door de AI-cluster. Om een idee te geven van de schaal – de opslagsystemen van het AI-datacenter in Wisconsin zijn vijf voetbalvelden lang!
We hebben Azure-opslag opnieuw ontworpen voor de meest veeleisende AI-workloads, over deze massale datacenterimplementaties voor echte supercomputingsschaal. Elke Azure Blob Storage-account kan meer dan 2 miljoen lees-/schrijftransacties per seconde ondersteunen, en met miljoenen accounts beschikbaar kunnen we elastisch schalen om vrijwel aan elke datavereiste te voldoen.
Achter deze mogelijkheid gaat een fundamenteel opnieuw ontworpen opslagbasis schuil die capaciteit en bandbreedte aggregreert over duizenden opslagknopen en honderdduizenden drives. Dit maakt schaal mogelijk naar exabyte-schaalopslag, waardoor de noodzaak voor handmatige sharding wordt geëlimineerd en de operaties worden vereenvoudigd voor zelfs de grootste AI- en analytische workloads.
Belangrijke innovaties zoals BlobFuse2 leveren hoge doorvoer, lage latentie toegang voor GPU-node-local training, waarbij wordt gegarandeerd dat rekbronnen nooit inactief zijn en dat enorme AI-trainingsdatasets altijd beschikbaar zijn wanneer dat nodig is. Multiprotocolondersteuning maakt naadloze integratie met diverse datapipelines mogelijk, terwijl diepe integratie met analytische engines en AI-tools data-voorbereiding en implementatie versnelt.
Automatisch schalen wijst dynamisch middelen toe naarmate de vraag groeit, gecombineerd met geavanceerde beveiliging, veerkracht en kosteneffectieve gelaagde opslag, zet het opslagplatform van Azure de toon voor workloads van de volgende generatie, met de vereiste prestaties, schaalbaarheid en betrouwbaarheid.
AI WAN: Verbinding van meerdere datacenters voor een nog grotere AI-supercomputer
Deze nieuwe AI-datacenters maken deel uit van een wereldwijd netwerk van Azure AI-datacenters, onderling verbonden via ons Wide Area Network (WAN). Dit gaat niet alleen over één gebouw, het gaat om een gedistribueerd, veerkrachtig en schaalbaar systeem dat functioneert als één krachtige AI-machine. Ons AI WAN is gebouwd met groeimogelijkheden in AI-native bandbreedteschalen om grootschalige gedistribueerde training over meerdere, geografisch diverse Azure-regio’s mogelijk te maken, waardoor klanten de kracht van een gigantische AI-supercomputer kunnen benutten.
Dit is een fundamentele verandering in hoe we denken over AI-supercomputers. In plaats van beperkt te worden door de muren van een enkele faciliteit, bouwen we een gedistribueerd systeem waarin rekenkracht, opslag en netwerkbronnen naadloos worden samengevoegd en georkestreerd over datacenterregio’s. Dit betekent meer veerkracht, schaalbaarheid en flexibiliteit voor klanten.
Alles bij elkaar brengen
Om te voldoen aan de kritieke behoeften van de grootste AI-uitdagingen, moesten we elk niveau van onze cloud-infrastructuurstapel opnieuw ontwerpen. Dit gaat niet alleen over geïsoleerde doorbraken, maar over het samenstellen van meerdere nieuwe benaderingen over silicium, servers, netwerken en datacenters, wat leidt tot vooruitgang waar software en hardware zijn geoptimaliseerd als één speciaal gebouwd systeem.
Het Wisconsin-datacenter van Microsoft zal een cruciale rol spelen in de toekomst van AI, gebouwd op echte technologie, echte investeringen en echte gemeenschapsimpact. Door deze faciliteit te verbinden met andere regionale datacenters, en doordat elke laag van onze infrastructuur als een compleet systeem wordt geharmoniseerd, ontketenen we een nieuw tijdperk van op de cloud gebaseerde intelligentie, veilig, adaptief en klaar voor wat er komt.
Om meer te weten te komen over de datacenterinnovaties van Microsoft, bekijk de virtuele datacentertour op datacenters.microsoft.com.
BRON
