Transformatie van netwerkobservatie bij Cisco IT

Van data-overload naar grotere digitale veerkracht. Cisco IT heeft telemetriegegevens over zijn uitgebreide netwerk samengebracht, waardoor automatisering 99,998% van de waarschuwingen kon afhandelen en nul grote incidenten kon realiseren – waardoor ingenieurs proactief de netwerkstatus op schaal kunnen beheren.

Het dataprobleem: overbelasting, beperkte inzichten en silo’s

Cisco IT beheert een grote en complexe omgeving met honderdduizenden resources – inclusief computers, schakelaars, toegangspunten, thuisapparaten, enz. – een breed scala aan toepassingen en diensten, evenals externe systemen zoals internetdiensten en cloudserviceproviders. Elk van deze middelen genereert telemetrie, wat een uitdaging vormt om grote hoeveelheden uiteenlopende gegevens in onze omgeving effectief te monitoren en te begrijpen.

In ons vorige netwerkoperatiemodel hebben we een functie uitbesteed die verantwoordelijk was voor het monitoren van de netwerkwaarneembaarheid, triageondersteuning op het tweede niveau en technische expertise. Deze uitbestede functie was gebaseerd op traditionele monitoringmethoden met handmatige processen en geïsoleerde dashboards.

Als gevolg hiervan hadden we niet de controle die nodig was om de manier aan te passen waarop telemetrie werd verwerkt, gerouteerd en gebruikt, wat leidde tot algemene statistieken en beperkte inzichten in kritieke gebieden zoals gebruikerservaring en applicatieprestaties. Hoewel we bijvoorbeeld konden zien dat het netwerk operationeel was, hadden we beperkt inzicht in kritieke gebieden zoals gebruikerservaring en applicatieprestaties.

Om dit gegevensprobleem aan te pakken, hebben we besloten de uitbestede netwerkbeheerfunctie te internaliseren. Dit gaf ons de volledige controle over het ontwerpen en implementeren van een gemoderniseerd netwerkobservatiestrategie, waardoor we onze rijkdom aan telemetrie beter kunnen benutten en uiteindelijk die van Cisco kunnen versterken digitale veerkracht.

Deze verandering ging echter niet alleen over het veranderen van de teamverantwoordelijkheden. Het betekende ook dat ons bestaande netwerkobservatiesysteem verloren ging en dat ons kleinere team de enorme hoeveelheid telemetriegegevens moest beheren.

Om de druk nog groter te maken, kregen we vanwege contractuele verplichtingen slechts 40 dagen de tijd om deze transitie te maken en een volledig nieuw netwerkobservatiesysteem te bouwen.

Binnen het project: bouw een modern observatiesysteem

De taak die voor ons lag, was niet alleen het vervangen en spiegelen van de uitbestede netwerkactiviteiten en het bestaande observatiesysteem, maar ook het bouwen van iets beters. We wilden een systeem creëren dat enorme hoeveelheden gegevens kon verwerken, diepere, bruikbare en proactieve inzichten kon bieden en een slanker team in staat zou stellen productiever te zijn.

Om dit te bereiken hebben we een netwerkobservatiemodel ontworpen dat zich richt op drie belangrijke gebieden:

1. Bijeenkomen: Verzamelt telemetrie- en metrische gegevens van duizenden apparaten, applicaties en platforms, zowel binnen eigen als niet-eigen externe omgevingen
2. Monitor: Het maakt gebruik van tools en algoritmen om de verzamelde gegevens te verwerken en analyseren, waardoor patronen, afwijkingen en potentiële problemen binnen het netwerk kunnen worden geïdentificeerd
3. Handeling: Initieert menselijke of geautomatiseerde reacties wanneer geïdentificeerde problemen voldoen aan vooraf gedefinieerde regelcriteria, waardoor tijdige oplossingen mogelijk zijn.

Figuur 1: Cisco IT-netwerkobservatiemodel

Hoewel dit systeem wordt beheerd door een gecentraliseerd netwerkteam, is het maken van gegevens en regels gedemocratiseerd, waardoor IT-ingenieurs en service-eigenaren hun eigen waarschuwingsregels kunnen definiëren en aanpassen via GitOps. Dit zorgt ervoor dat het systeem zich aanpast aan de unieke en evoluerende bedrijfsbehoeften.

Om deze netwerkbeheerstrategie te implementeren, gebruiken we een combinatie van Cisco-oplossingen:

• Netwerkbeheeroplossingen van Cisco, inclusief Catalyst Center, SD-WAN Manager, Meraki Dashboard en Nexus Dashboard, verzamelen en monitoren gedetailleerde telemetriegegevens, prestatiestatistieken en beveiligingsstatus op hun respectieve bronnen. Dit biedt volledige zichtbaarheid en zekerheid, naast andere kernmogelijkheden voor het beheren van netwerkapparaten.
• ThousandEyes biedt realtime, end-to-end inzicht in netwerk- en applicatieprestaties. Het breidt deze zichtbaarheid ook uit naar externe omgevingen die geen eigendom zijn, zoals het openbare internet en clouddiensten. Deze gedetailleerde informatie voedt het observatiesysteem en geeft ons een compleet beeld van de gebruikerservaring en connectiviteit, ongeacht waar werknemers werken.
• Splunk Cloud-platform dient als een uniform operationeel dashboard, dat telemetriegegevens van eerder geïsoleerde bovenstaande oplossingen samenvoegt en visualiseert. Het maakt realtime monitoring mogelijk, waardoor technici zich snel kunnen concentreren op de meest kritische waarschuwingen.

Samen stellen Splunk en ThousandEyes ons bij Cisco IT in staat om elke dag miljoenen gebeurtenissen te monitoren, analyseren en er proactief op te reageren.

Figuur 2: Cisco IT Observability-systeemtools en -integraties

Automatisering is een belangrijk onderdeel van onze netwerkobservatiestrategie. Dankzij onze Large Language Models (LLM) en automatiseringssystemen kunnen we miljoenen dagelijkse waarschuwingen efficiënt verwerken en prioriteren om de werklast voor technici te verminderen en de responstijden te versnellen, waardoor de eindgebruikerservaring wordt verbeterd.

Het resultaat: meer veerkracht, efficiëntie en meer

Vanaf het begin beseften we dat dit initiatief veel werk vooraf zou vergen. De resultaten overtroffen echter ruimschoots onze aanvankelijke verwachtingen.

Sinds de implementatie van deze nieuwe observatiestrategie en -systeem:

• 0 Er vonden ernstige ongevallen plaats, tegenover 3 à 4 per kwartaal voorheen.
• 10x Er worden meer telemetriegegevens gemonitord, waardoor bredere en diepere inzichten in de netwerkstatus, applicatieprestaties en gebruikerservaring op een hoger detailniveau mogelijk worden.
• 4 keer grotere zichtbaarheid, waarbij het dagelijkse waarschuwingsvolume toeneemt van honderdduizenden naar 4 miljoen, wat resulteert in vroege detectie en proactieve oplossing van potentiële problemen voordat ze escaleren.
• Automatisering verwerkt nu 99,998% van de 4 miljoen dagelijks gegenereerde waarschuwingen, het minimaliseren van de noodzaak voor handmatige interventie en het mogelijk maken van snellere identificatie en oplossing van problemen door middel van realtime geautomatiseerde triage- en responsworkflows.

Misschien wel het belangrijkste is dat deze inspanning de basis heeft gelegd die ons in staat stelt onze AI-gestuurde automatisering voortdurend aan te passen en AIOps-mogelijkheden uit te breiden over de gehele Cisco IT-omgeving.

Geleerde lessen: strategieën die een verschil hebben gemaakt

Het moderniseren van onze observatiestrategie en -systeem is een snelle reis geweest, vol waardevolle lessen. Hier volgen enkele belangrijke tips en strategieën om andere teams te helpen hetzelfde te proberen:

• Gezamenlijk eigendom: Betrek vakdeskundigen uit de hele organisatie, deel kennis breed en bouw een gedemocratiseerde cultuur op waarin iedereen belang heeft bij waarneembaarheid en operationeel succes.
• Verzamel overal telemetriegegevens: Uitgebreide monitoring begint met het vastleggen van gegevens in uw hele omgeving.
• Datanormalisatie en -verrijking: Het verenigen van ongelijksoortige gegevensbronnen is van cruciaal belang voor holistische zichtbaarheid. Investeer in een hoogwaardige, goed beheerde CMDB om uw inventaris en gegevens accuraat te houden. Gebruik uw CMDB om waarschuwingen te verrijken met zakelijke context, eigenaarschap en kriticiteit.
• Het testen van de regels: Moedig gedemocratiseerde teams aan om waarschuwings- en automatiseringsregels te ontwikkelen en te verfijnen om de waarschuwingsvolumes beheersbaar en relevant te houden.
• AI-gestuurde automatisering: Injecteer verrijkte gegevens in automatisering en LLM’s om corrigerende acties te stroomlijnen en stappen te zetten in de richting van zelfherstellende operaties.

We zijn enthousiast en trots op het werk en de resultaten die onze teams hebben bereikt, maar onze reis eindigt hier niet. We zullen onze AI-aangedreven automatiseringsmogelijkheden blijven herhalen, verbeteren en verbeteren.