AI-ontwikkeling op PC met AI RTX bij Microsoft Build

Generatieve kunstmatige intelligentie verandert de pc-software in revolutionaire ervaringen, van digitale mensen tot het schrijven van assistenten, intelligente agenten en creatieve tools.

NVIDIA RTX-pc’s voeden deze transformatie met technologie die het gemakkelijker maakt om te beginnen met experimenteren met kunstmatige intelligentie en grotere prestaties te ontgrendelen op Windows 11.

NVIDIA TensorRT is opnieuw uitgevonden voor pc’s met de RTX, waarbij de toonaangevende sectorprestaties van de industrie worden gecombineerd met een just-in-time motorgebouw en een kleinere pakketgrootte van 8x voor naadloze implementatie van AI-continuïteit tot meer dan 100 miljoen RTX-pc’s.

Aangekondigd op Microsoft Build, wordt TensorRT voor RTX native ondersteund door Windows ML, een nieuwe inferentiestapel die APP-ontwikkelaars zowel brede hardwarecompatibiliteit als snijkantprestaties biedt.

Voor ontwikkelaars die op zoek zijn naar kant-en-klare kunstmatige intelligentiefuncties, bieden de ontwikkelingskits van de NVIDIA-software (SDK) een breed scala aan opties, van NVIDIA DLSS tot multimedia-verbeteringen zoals NVIDIA RTX-video. Deze maand brengen de beste softwaretoepassingen van Autodesk, Bilibili, Chaos, LM Studio en Topaz Labs updates uit om de functionaliteit en versnelling van AI RTX te benutten.

Kunstmatige intelligentie-enthousiastelingen en ontwikkelaars kunnen gemakkelijk aan de slag met AI met behulp van NVIDIA NIM-modellen die voorverpakt en geoptimaliseerd zijn en kunnen werken in populaire apps zoals Microsoft Visual Studio Code en ComfyUI. Deze week wordt het model voor het genereren van flux.1-schnell-afbeeldingen beschikbaar gesteld als een NIM-microservice en de populaire stroom.

Degenen die op zoek zijn naar een eenvoudige code zonder code om zich te verdiepen in AI-ontwikkeling, kunnen profiteren van de Axis-aansprakelijkheidsassistent van de RTX PC-assistent in de NVIDIA-plug-in-app om apps en randapparatuur voor natuurlijke taal te bedienen. Nieuwe community-plug-ins zijn nu beschikbaar, waaronder Google Gemini Web Search, Spotify, Twitch, IFTTT en SignalRGB.

Inferentie versneld met TensorRT voor RTX

De pc-softwarestack van vandaag vereist dat ontwikkelaars een compromis sluiten over prestaties of investeren in op maat gemaakte optimalisaties voor specifieke hardware.

Windows ML is ontwikkeld om deze uitdagingen aan te gaan. Windows ML wordt aangedreven door de ONNX-runtime en is naadloos geïntegreerd met een geoptimaliseerde uitvoeringslaag voor kunstmatige intelligentie die wordt geleverd en onderhouden door elke hardwarefabrikant.

Voor GeForce RTX GPU’s maakt Windows ML automatisch gebruik van de TensorRT Inference Library voor RTX om hoge prestaties en snelle implementatie te bieden. In vergelijking met DirectML biedt TensorRT meer dan 50% snellere prestaties voor workloads op pc.

Windows ML biedt ook levenscycluskwaliteit voor ontwikkelaars. Het kan automatisch de juiste hardware selecteren – GPU, CPU of NPU – om elke AI-functie uit te voeren en de uitvoeringsprovider voor die hardware te downloaden, waardoor de noodzaak om deze bestanden in de app in te pakken wordt geëlimineerd. Hierdoor kunnen gebruikers profiteren van de nieuwste TensorRT-prestatieoptimalisaties zodra ze beschikbaar zijn.

TensorRT, oorspronkelijk ontwikkeld voor datacenters, is opnieuw ontworpen voor pc’s met de RTX. In plaats van vooraf gedefinieerde TensorRT-motoren en deze in te pakken met de app, maakt TensorRT voor RTX gebruik van just-in-time gemotoriseerde motoren om de manier waarop het AI-model wordt uitgevoerd voor de specifieke RTX GPU van de gebruiker in slechts enkele seconden te optimaliseren. En de verpakking van de bibliotheek is vereenvoudigd, waardoor de bestandsgrootte met 8x aanzienlijk wordt verkleind.

TensorRT voor RTX is vandaag beschikbaar voor ontwikkelaars via het Windows ML-voorbeeld en zal in juni beschikbaar zijn als zelfstandige SDK bij NVIDIA-ontwikkelaars.

Ontwikkelaars kunnen meer leren in de TensorRT-blog voor RTX-lancering of in de Windows ML-blog van Microsoft.

Uitbreiding van het AI-ecosysteem op Windows 11-pc

Ontwikkelaars die kunstmatige intelligentiefuncties willen toevoegen of de prestaties van hun app willen verbeteren, kunnen putten uit een breed scala aan NVIDIA SDK’s. Deze omvatten NVIDIA CUDA en TensorRT voor GPU-versnelling; NVIDIA DLSS en OPTIX voor 3D-graphics; NVIDIA RTX Video en Maxine voor multimedia; en NVIDIA Riva en Ace voor generatief.

De beste apps hebben deze maand updates uitgebracht om unieke functies mogelijk te maken met behulp van deze NVIDIA SDK’s, waaronder:

• LM Studio, die een update van hun app heeft uitgebracht om over te schakelen naar de nieuwste CUDA-versie, waardoor de prestaties met meer dan 30% toenemen.
• Topaz Labs, die een generatief videomodel voor kunstmatige intelligentie uitbrengt om de kwaliteit van video’s te verbeteren, versneld door CUDA.
• Chaos Enscape en Autodesk Vred, die DLSS 4 toevoegen voor snellere prestaties en betere beeldkwaliteit.
• Bilibili, die NVIDIA-transmissiekenmerken zoals virtuele achtergronden integreert om de kwaliteit van live streaming te verbeteren.

NVIDIA kijkt ernaar uit om te blijven samenwerken met Microsoft en de beste app-ontwikkelaars om hen te helpen hun kunstmatige intelligentiefuncties op RTX-machines te versnellen door de integratie van Windows ML en TensorRT.

Lokale AI met NIM-microservices maakt AI-projecten eenvoudig

Beginnen met de ontwikkeling van kunstmatige intelligentie op pc’s kan overweldigend zijn. Ontwikkelaars en AI-enthousiastelingen moeten kiezen uit meer dan 1,2 miljoen AI-modellen, deze optimaliseren voor pc-gebruik, alle benodigde bestanden vinden en installeren en meer.

NVIDIA NIM vereenvoudigt het starten door een selectie van AI-modellen aan te bieden die voorverpakt zijn met alle benodigde bestanden om ze uit te voeren en geoptimaliseerd zijn voor maximale prestaties op RTX GPU’s. Omdat ze zijn ingebouwd, kunnen NIM-microservices moeiteloos worden uitgevoerd op pc’s of in de cloud.

NIM-microservices zijn beschikbaar om te downloaden via build.nvidia.com of via populaire apps zoals Microsoft Visual Studio Code, ComfyUI en Toolkit voor Visual Studio Code.

Tijdens Computex zal NVIDIA de stroom vrijgeven.

Met deze NIM-microservices kunnen snellere prestaties worden behaald met TensorRT en gekwantiseerde modellen.

Op de Nvidia Blackwell GPU’s werden ze dankzij de optimalisaties van FP4 en RTX twee keer sneller dan op een native manier.

Kunstmatige intelligentieontwikkelaars kunnen nu aan de slag met AI Nvidia-projecten: monsters van workflows en projecten die NIM-microservices gebruiken.

NVIDIA heeft vorige maand het NVIDIA AI-project uitgebracht voor 3D-geleide generatieve generatieve, een krachtige manier om de compositie en hoeken van de camera te regelen die wordt gegenereerd door een 3D-scène als referentie te gebruiken. Ontwikkelaars kunnen het open source-project aanpassen of uitbreiden met extra functies naar hun behoeften.

Plug-in G-assist van het nieuwe project en voorbeeldprojecten zijn nu beschikbaar. Met G-Assist kunnen gebruikers hun GeForce RTX-systeem bedienen met eenvoudige spraak- en tekstbedieningselementen, wat handiger is dan handmatige bedieningselementen op legacy-bedieningspanelen. Ontwikkelaars kunnen gebruikmaken van het G-Assist-project om plug-ins te maken, testassistent-cases te ontwikkelen en deze te delen via Nvidia’s Discord en GitHub.

Nieuwe plug-in open source-monsters zijn beschikbaar op GitHub, waaronder functies zoals Twins, Ifttt en Meningsverschil die de workflows voor pc en gaming kunnen verbeteren.

Bedrijven omarmen kunstmatige intelligentie als een nieuwe pc-interface. SignalRGB werkt bijvoorbeeld aan een G-assist-plug-in die een uniforme verlichtingsregeling over meerdere fabrikanten mogelijk maakt.

Vanaf deze week kan de AI-gemeenschap G-Assist ook gebruiken als een gepersonaliseerde component in Langflow, waardoor gebruikers de functionaliteit van workflows met lage code of zonder code kunnen integreren.

Fans die geïnteresseerd zijn in de ontwikkeling en experimenten met de Project G-assist plug-in worden uitgenodigd om lid te worden van het NVIDIA Discordia Channel-ontwikkelaar om samen te werken, creaties te delen en ondersteuning te krijgen. Ik hou van het luisteren naar muziek en het lezen van boeken in mijn vrije tijd.https://www.youtube.com/watch?v=okmh3ft2ti0

BRON