NVIDIA-team wint Kaggle met redeneermodel

De laatste dagen van de laatste competitie van de wiskundige Olympische Spelen AI waren een transcontinentaal relais voor het NVIDIA -team.

Elke avond waren twee leden van het team aan de tegenovergestelde uiteinden van de Verenigde Staten een redeneermodel voor Kagger: de online Olympische Spelen van data science en automatisch leren. Ze zouden eenmaal vijf uur wachten voordat ze hoorden hoe goed het model te maken had met een reeks kampioenen van 50 complexe wiskundeproblemen.

Na de resultaten te hebben gezien, zou het team van de Verenigde Staten de getuige hebben doorgegeven aan de teamgenoten die wakker werden in Armenië, Finland, Duitsland en Ierland van het noorden, die de dag zouden doorbrengen door verschillende modelversies te testen, te wijzigen en te optimaliseren.

“Elke nacht zou ik zo teleurgesteld zijn over onze score, maar toen werd ik wakker en zag ik de berichten die tijdens de nacht van teamgenoten in Europa kwamen,” zei Igor Gitman, een wetenschapper die senior toepaste. “Mijn hoop zou zijn gestegen en we zouden het opnieuw proberen.”

Hoewel het team werd ontmoedigd door hun gebrek aan verbeteringen op de set van openbare gegevens tijdens de laatste dagen van de concurrentie, is de echte test van een kunstmatig intelligentiemodel hoe goed het kan generaliseren in onzichtbare gegevens. Het is hier dat hun redeneermodel naar de top van de ranglijst sprong en 34 vragen correct beantwoordde over 50 Olympische Spelen binnen een limiet van vijf uur met behulp van een NVIDIA L4 GPU -cluster.

“Uiteindelijk hebben we de magie verkregen,” zei Darragh Hanley, een teamlid gevestigd in Noord -Ierland, een grootmeester Kagger en de LLM (Senior Lange Language Model) technoloog.

Bouw een winnende vergelijking op

Het NVIDIA-team concurreerde met de naam Nemoskills-Unfire voor hun gebruik van de verzameling van Nemo-skills-pijpen voor training, evaluatie en inferentie versneld LLM. De zeven leden hebben elk bijgedragen aan verschillende competentiegebieden, die de LLM -training, de destillatie van het model en de optimalisatie van inferentie omarmen.

Voor de uitdaging van Kagger hebben meer dan 2.200 deelnemende teams kunstmatige intelligentiemodellen gepresenteerd die verantwoordelijk zijn voor het oplossen van 50 wiskundige vragen – complexe problemen op het nationale niveau van de Olympische Spelen, die algebra, geometrie, combinatie en theorie van cijfers omarmen – binnen vijf uur.

Het winnende model van het team gebruikt een combinatie van redeneren in natuurlijke taal en uitvoering van de Python -code.

Om deze inferentie -uitdaging op het kleine NVIDIA L4 GPU -cluster te voltooien dat beschikbaar is via Kagger, moest het Nemoskills -team creatief zijn.

Hun winnende model gebruikte Qwen2.5-14B-Base, een funderingsmodel met ketting redeneercapaciteit dat het team miljoenen oplossingen heeft ontwikkeld die kort zijn gegenereerd voor wiskundige problemen.

Deze synthetische oplossingen werden voornamelijk gegenereerd door twee groter-Large-Deepseek-R1 en QWQ-32B-E redeneermodellen die werden gebruikt om het Team Foundation-model te onderwijzen door een vorm van destillatie van kennis. Het eindresultaat was een kleiner, sneller en langstaand model dat complexe problemen kon ondervinden met behulp van een combinatie van redeneren in natuurlijke taal en uitvoering van de Python -code.

Om de prestaties verder te vergroten, de redenen voor de teamoplossing via meerdere langetermijnreacties parallel voordat een definitieve respons wordt bepaald. Om dit proces te optimaliseren en de tijdslimiet van de concurrentie te bevredigen, heeft het team ook een innovatieve vroege onderbrekingstechniek gebruikt.

Een redeneermodel zou bijvoorbeeld kunnen worden ingesteld om te reageren op een 12 -time ander wiskundig probleem voordat het meest voorkomende antwoord wordt gekozen. Met behulp van de asynchrone verwerkingsvaardigheden van de NEMO- en NVIDIA TENSORT -L -vaardigheden, kon het team van tevoren controleren en verlaten als het model al vier of meer keer was omgezet in de juiste reactie.

Tensorrt-LM heeft het team ook in staat gesteld om de FP8-kwantisatie te benutten, een compressiemethode die een versnelling van 1,5x had met behulp van het meest gebruikte FP16-formaat. Redrafter, een speculatieve decoderingstechniek ontwikkeld door Apple, werd gebruikt voor verdere versnelling van 1,8x.

Het uiteindelijke model verkreeg de onzichtbare definitieve gegevensset van de concurrentie nog beter in vergelijking met de openbare gegevensset: een teken dat het team met succes een generaliserend model heeft gecreëerd en de aanpassing van hun LLM aan de voorbeeldgegevens heeft vermeden.

“Zelfs zonder de Kaggle -competitie zouden we nog steeds werken om de redeneermodellen van de AI voor wiskunde te verbeteren,” zei Gitman. “Maar Kagger geeft ons de mogelijkheid om te vergelijken en te ontdekken hoe goed onze modellen gegeneraliseerd zijn naar een reeks gegevens van de derde partij.”

Rijkdom delen

Het team zal binnenkort een technisch rapport uitbrengen dat de technieken in hun winnende oplossing in detail beschrijft en van plan is om hun gegevensset te delen en een reeks modellen op het knuffelen. De voortgang en optimalisaties die ze tijdens de concurrentie hebben gemaakt, werden geïntegreerd in de Nemo-skills-pijpen die beschikbaar zijn op GitHub.

De belangrijkste gegevens, technologie en inzichten van deze pijplijn werden ook gebruikt om het ultra nemotron nvidia lama -model te vormen dat zojuist is uitgebracht.

“Tijdens deze samenwerking hebben we tools gebruikt via de NVIDIA Software Stack,” zei Christof Henkel, een lid van de Grandmasters Kaggle van Nvidia, bekend als KGMON. “Werken in nauw contact met onze LLM -onderzoeks- en ontwikkelingsteams, kunnen we dagelijks nemen wat we van de concurrentie leren en deze optimalisaties in NVIDIA open source -bibliotheken pushen.”

Na de overwinning van de competitie herwon Henkel de titel van Chaggle Wereldkampioen, rangorde n. 1 van de meer dan 23 miljoen gebruikers van het platform. Een andere teamgenoot, Ivan Sorokin, gevestigd in Finland, heeft de titel van grootmeester Kagger gewonnen, gehouden voor iets meer dan 350 mensen over de hele wereld.

Voor hun overwinning won de groep in de eerste plaats ook een prijs van $ 262.144 die op weg is naar de NVIDIA Foundation om liefdadigheidsorganisaties te ondersteunen.

Ontmoet het hele team – Igor Gitman, Darragh Hanley, Christof Henkel, Ivan Moshkov, Benedikt Schiffferer, Ivan Sorokin en Shubham Toshniwal – in de video hieronder:

Voorbeeld van wiskundige vragen in het visuele oogpunt op de voorgrond komt van het onderzoek van Wiskunde Invitational American American. Vind de volledige reeks vragen en oplossingen op Art of the Problem Resolution Wiki.