Cisco Secure AI Factory leunt op Splunk-observatie

AI transformeert elke sector en om het volledige potentieel ervan te benutten is een robuuste, schaalbare, veilige en observeerbare infrastructuur nodig. Naarmate organisaties hun AI-initiatieven uitbreiden, wordt het beheren van complexe workloads en het garanderen van consistente prestaties van cruciaal belang.

Dit is waar Cisco AI POD’s, de bouwstenen van Cisco Secure AI Factory met NVIDIA, gecombineerd met de diepe zichtbaarheid van Splunk Observability Cloud, een krachtige oplossing bieden voor het bouwen en draaien van moderne AI-omgevingen.

Cisco AI POD: de basis voor innovatie op het gebied van kunstmatige intelligentie

Cisco AI POD’s zijn modulaire, flexibele en schaalbare AI-infrastructuren die zijn ontworpen om de time-to-value van AI-projecten te versnellen. Ze stellen organisaties in staat snel AI-omgevingen van productiekwaliteit te implementeren, maar om die omgevingen optimaal te laten draaien, hebben teams uitgebreide informatie nodig over prestaties en gezondheid.

Hoe kunt u problemen vroegtijdig opsporen, deze efficiënt oplossen en u concentreren op het leveren van bedrijfsresultaten in plaats van tijd te besteden aan het aanpakken van urgente productieproblemen? Dit is waar observatie onmisbaar wordt.

Splunk Observability: uw ogen en oren in AI-POD’s

Splunk Observability Cloud biedt end-to-end inzicht in elke laag van Cisco AI POD’s, van de fysieke infrastructuur tot Kubernetes tot de AI-applicatielaag.

Het gaat niet alleen om het verzamelen van gegevens. Splunk zet statistieken, traceringen en logboeken om in bruikbare inzichten, waardoor teams problemen binnen enkele seconden kunnen detecteren, oplossen en oplossen.

We zijn verheugd om een ​​nieuw Splunk-dashboard te introduceren dat speciaal is gebouwd voor zichtbaarheid in de hele AI POD-stack.

Wat het nieuwe Splunk-dashboard biedt voor Cisco AI POD’s

• Uniforme monitoring van Kubernetes-clusters – Krijg één overzicht van alle Kubernetes-clusters, inclusief Red Hat OpenShift draaiend op AI POD.
• Inzichten op hostniveau – Bewaak de prestaties van individuele Cisco UCS-servers, inclusief CPU-, geheugen-, schijf- en netwerkgebruik.
• AI POD-infrastructuurdashboard – Houd kritieke statistieken bij, zoals GPU-gebruik, GPU-geheugengebruik, netwerkvermogen en prestaties door gegevens van Cisco Intersight en Cisco Nexus te integreren.
• Voordeel van streaminganalyse – Maak gebruik van de realtime streamanalyse van Splunk voor snellere detectie en vrijwel onmiddellijke time-to-glass.

Hoewel Cisco AI POD’s een modulaire en schaalbare infrastructuur bieden voor zakelijke AI, kan elke AI POD ook afzonderlijk worden gemonitord. Hierdoor kunnen teams inzicht krijgen in de specifieke prestatieparameters en werklasten van een specifieke implementatie. Hieronder staan ​​enkele schermafbeeldingen van het Splunk-dashboard voor AI POD om de monitoringmogelijkheden te visualiseren. Door het aantal invoer- en uitvoertokens te verzamelen dat wordt verwerkt door het Large Language Model (LLM) dat op een AI POD draait, kan Splunk de geschatte kosten voor tokengebruik in de loop van de tijd berekenen:

Splunk haalt ook statistieken uit Cisco Intersight om inzicht te geven in actieve alarmen met betrekking tot de bewaakte AI POD, en belangrijke UCS-statistieken zoals UCS-hostvermogen, temperatuur en ventilatorsnelheid:

Het Nexus-dashboard biedt gedetailleerde informatie over de interfaces die op elke Nexus-switch zijn geconfigureerd, transmissiefouten en -uitval, en gegevens die worden overgedragen tussen opslag- en rekenknooppunten:

Een realistisch scenario: LLM-latentiediagnose

Stel je een applicatie voor die draait op een Cisco AI POD en die een LLM gebruikt voor gebruikersquery’s. Plotseling nemen de responstijden van applicaties toe. Hier leest u hoe Splunk Observability Cloud dit binnen enkele minuten helpt oplossen:

1. Waarschuwing geactiveerd – Splunk detecteert hoge responstijden en waarschuwt.
2. Sporenanalyse – De servicekaart benadrukt dat het grootste deel van de latentie plaatsvindt binnen /v1/chat/completions-aanroepen naar LLM.
3. Uitzicht op de infrastructuur – Op het AI POD-dashboard is te zien dat slechts één van de vier beschikbare GPU’s actief en volledig benut is.
4. Nuttige informatie – Configureer uw werklast opnieuw om alle GPU’s te gebruiken, waardoor de prestaties onmiddellijk worden hersteld.

De NVIDIA-verbinding: intelligente workloads mogelijk maken

Splunk Observability bewaakt ook de belangrijkste componenten van NVIDIA AI Enterprise, waaronder de NVIDIA NIM-operator en NVIDIA NIM-microservices voor LLM-inferentie, zodat de NVIDIA-softwarestack op zijn best presteert.

FedRAMP en paraatheid van de overheid: de huidige weg van Splunk naar het bereiken van een gematigd FedRAMP-niveau voor waarneembaarheid van Splunk

Splunk blijft een vertrouwde partner in de digitale transformatie van de overheid, waardoor instanties veilige, veerkrachtige en intelligente diensten kunnen leveren via cloud- en klantbeheerde oplossingen. Voortbouwend op het succes van Splunk Cloud Platform, geautoriseerd FedRAMP High en DoD Impact Level 5 en opgenomen in de StateRAMP Authorized Product Directory (dba GovRAMP), blijft Splunk investeren in de uitbreiding van ons FedRAMP-programma om tegemoet te komen aan de veranderende behoeften van de publieke sector. Zoals eerder aangekondigd heeft Splunk Observability Cloud al de aanduiding “In Process” gekregen en wacht het op volledige toestemming om op het gematigde niveau te opereren van het FedRAMP Program Management Office. Splunk blijft zich inzetten voor het ondersteunen van de veiligheid en het missiesucces van al onze overheidsklanten.

Waarneembaarheid: een hoeksteen van Cisco Secure AI Factory met NVIDIA

In Cisco Secure AI Factory met NVIDIA is observatie niet optioneel, maar

BRON