Paul Arends
De uitdaging van AI-infrastructuur: wanneer traditionele monitoring ontoereikend is
Terwijl AI de bedrijfsvoering transformeert, staat de netwerkinfrastructuur voor nieuwe uitdagingen. De prestaties van het netwerk zullen van invloed zijn op de AI-prestaties voor kritieke workloads, maar we blijven nog steeds vertrouwen op dezelfde traditionele benaderingen van netwerk- en servicemonitoring.
Traditioneel worden de prestaties van netwerkdiensten gemeten met behulp van Layer 3 (IP, zoals vertraging, pakketverlies en jitter) en Layer 4 (TCP) en zelfs Layer 7 (HTTP). Nu we de AI-tijdperk betreden met agenten, kan een enkel verzoek van een mens of een API honderden interacties genereren tussen AI-agenten en grote taalmodellen (LLM’s). Dit betekent dat we moeten kijken naar wat we meten om de netwerkprestaties te beoordelen en hoe we dit meten.
Bijna zeven op de tien (69%) bedrijven beschouwen AI als een topprioriteit voor het IT-budget, volgens het Cisco AI Readiness Index-onderzoek onder mondiale ondernemingen (De waarde van kunstmatige intelligentie realiseren: Cisco AI Readiness Index 2025). De toename van de AI-werklast zal de infrastructuur van iedereen onder druk zetten; 63% van de bedrijven verwacht dat de AI-werklast de komende twee tot drie jaar met meer dan 30% zal toenemen.
Omdat AI-verkeer aanpassing van netwerkgaranties vereist
Naarmate AI een grotere rol gaat spelen in het beheer van een organisatie, wordt het waarborgen van end-to-end serviceniveaus van AI-workflows van cruciaal belang. Dit omvat het uitvoeren van trainings- of inferentieclusters binnen een datacenter, of interacties via een WAN tussen inferentie en LLM, voor AI-agenten die samenwerken aan een autonoom proces.
Naarmate de adoptie van AI versnelt, wordt het transportnetwerk een essentiële basis voor de operatie. We moeten begrijpen welke rol het netwerk speelt bij de prestaties van AI-workloads en ervoor zorgen dat het netwerk de prestaties levert die nodig zijn om aan de verwachtingen van de klant te voldoen. Traditionele monitoringtools bieden niet voldoende details om problemen te detecteren die van invloed zijn op de prestatie-eisen van AI-verkeer, en meten niet de prestaties van de AI-agenten en LLM’s waarmee ze communiceren op het netwerk.
Vijf manieren om uw netwerkbeveiliging AI-ready te maken
Hoe klaar is uw netwerkgarantie om te voldoen aan de eisen van AI-verkeer? Hier zijn vijf manieren waarop proactieve zekerheidsoplossingen zich kunnen aanpassen om de prestaties van uw AI-workload te garanderen en ervoor te zorgen dat ander netwerkverkeer geen negatieve gevolgen ondervindt.
1. Stel AI-specifieke prestatiebaselines vast
Door continu proactieve zekerheid te bieden van traditionele netwerkstatistieken op Layer 3, kunt u latentie-, jitter-, doorvoer- en pakketverliesstatistieken gebruiken om de prestaties te evalueren voor gevolgtrekking, training en agentenverkeer. Rapporteer afwijkingen voordat de AI-verwerking wordt onderbroken. Ook moet worden begrepen hoe netwerkomstandigheden van invloed zijn op de prestaties van agenten en LLM’s in het netwerk. Nieuwe LLM-statistieken moeten worden ontwikkeld om ervoor te zorgen dat we de latentie van verzoeken, de tijd tot het eerste token en de tijd tot het uitvoeren van het token meten (dat wil zeggen de tijd die nodig is om elk token na het eerste token te genereren, of de latentie tussen tokens).
2. Zorg voor AI-gerichte WAN’s en padanalyses
Met realtime routezichtbaarheid en intelligente telemetrie kan zekerheid ervoor zorgen dat AI-verkeer tussen datacenters, edge-nodes en publieke of private clouds voldoet aan de Service Level Agreements (SLA’s). Dit is van cruciaal belang voor RAG-workflows (Retrieval-Augmented Generation), modelsynchronisatie en gedistribueerde AI-operaties.
Figuur 1. Naarmate AI-agenten en LLM’s evolueren, wordt de netwerklatentie steeds belangrijker
3. Correleer de prestaties van LLM-agenten met netwerkomstandigheden
Assurance-sensoren volgen het gedrag van interacties tussen agenten en LLM’s onder verschillende netwerkomstandigheden. Wanneer de prestaties worden beïnvloed, helpt zekerheidsanalyse om vast te stellen of het prestatieprobleem modelgerelateerd is of dat het netwerk de hoofdoorzaak is. Dit versnelt de Mean Time To Resolution (MTTR) en vermindert het verschuiven van de schuld tussen leveranciers of teams.
4. Optimaliseer middelen en handhaaf SLA’s dynamisch
Met behulp van op beleid gebaseerde automatisering kan assurance helpen bij het intelligent routeren van AI-workloads op basis van prestatiebehoeften. Dit vermindert microbursts, verbetert de kwaliteit van de dienstverlening en zorgt ervoor dat gevolgtrekkingsverkeer prioriteit krijgt. Optimalisatie omvat ook het slim routeren van verzoeken naar de LLM die het beste voldoen aan de prestatievereisten, zoals de tijd tot het eerste token, de latentie van verzoeken, tokens per seconde, foutenpercentage, enzovoort. Deze zichtbaarheid is essentieel, net zoals het garanderen van volledige zichtbaarheid van LLM-transacties, LLM-redundantie en -overdracht, taakverdeling, semantische en kostenoptimalisatie, naleving van regelgeving, vangrails en beveiliging.
5. Toekomstbestendige bedrijfsvoering met open en geautomatiseerd onderpand
Assurance-oplossingen zijn ontworpen met het oog op flexibiliteit en moeten adaptief zijn en openstaan voor de ondersteuning van nieuwe telemetriebronnen en assurance-modellen. Assurance AIOps, cloud-orkestrators en federatieve cross-domein data maken samen een gesloten lus, AI-bewuste netwerkautomatisering mogelijk. Opkomende raamwerken voor AI-agenten zullen autonome netwerken met minimaal menselijk toezicht verder aansturen. De sleutel tot de AI-architectuur van de agent is het vooraf trainen van grote datasets die LLM’s voor algemene doeleinden creëren die worden “verfijnd” met behulp van aanvullende domeinspecifieke gegevens om domein- of taakspecifieke LLM’s te creëren.
Het meten van de netwerkprestaties en de prestaties van LLM’s en agenten die op het netwerk draaien, biedt inzicht in de kritische factoren die van invloed zijn op de prestaties van AI-workloads.
Hoe Cisco Provider Connectivity Assurance AI-ready netwerken mogelijk maakt
Cisco Provider Connectivity Assurance helpt bij het beoordelen of netwerken ‘AI-ready’ zijn. De oplossing evolueert om AI-specifieke WAN-prestatietests te integreren voor inferentie-, RAG- en agent-gebaseerde operaties. Het introduceert ook LLM-agentprestatiesensoren die correlatie mogelijk maken tussen agentgedrag in grote taalmodellen en de prestaties van het onderliggende netwerk.
Provider Connectivity Assurance kan bijvoorbeeld helpen bij het identificeren, classificeren en lokaliseren van netwerkverkeer dat wordt gegenereerd door AI-workloads en -applicaties, en zekerheid bieden voor AI-gerichte services in het hele netwerk. Met providerconnectiviteitsgarantie kunt u ook het gedrag van gebruikers of agenten simuleren door de LLM-prestaties te testen en deze te correleren met de onderliggende netwerkprestaties.
Volledige zichtbaarheid van het transportnetwerk is belangrijk. Provider Connectivity Assurance AIOps biedt de noodzakelijke meerlaagse netwerkzichtbaarheid samen met correlatie van meerdere lagen: optisch, knooppunten, links en routes, samen met AI-gebruikerservaring.
Aan de slag: beoordeel uw AI-gereedheid
Evalueer de huidige status van uw netwerk voordat u uw checklist voor netwerkborging maakt:
- Kan uw monitoringoplossing verkeersafwijkingen in minder dan een seconde detecteren? AI-microbursts gebeuren in milliseconden – traditionele polling-intervallen van vijf minuten vangen ze niet op.
- Heeft u inzicht in LLM-specifieke prestatiestatistieken? Statistieken zoals de tijd tot het eerste token en de latentie tussen tokens zijn van cruciaal belang voor de prestaties van AI-applicaties, maar onzichtbaar voor conventionele tools.
- Kunnen applicatieprestaties worden gecorreleerd met realtime netwerkomstandigheden? Wanneer de LLM-prestaties verslechteren, moet u onmiddellijk weten of het een model- of netwerkprobleem is.
Als u op een van deze vragen ‘nee’ heeft geantwoord, is uw netwerkgarantie mogelijk niet klaar voor de behoeften van AI-workloads. Het goede nieuws? Gerichte oplossingen zoals Cisco Provider Connectivity Assurance kunnen deze hiaten opvullen en uw infrastructuur voorbereiden op AI op schaal.
Zie Cisco-providerconnectiviteitsgarantie in actie. Vraag een live demo aan om te zien hoe uw netwerk AI-ready wordt.
Gerelateerde blog: Betrouwbare AI-modellen bouwen voor het garanderen van netwerkprestaties
