Paul Arends
Probleemloze LLM-toegang
DevNet Learning Labs biedt ontwikkelaars vooraf geconfigureerde in-browser-omgevingen voor praktijkgericht leren, zonder enige configuratie- of omgevingsproblemen. Start een laboratorium en je kunt binnen enkele seconden coderen.
We voegen nu LLM-toegang toe aan deze ervaring. Cisco-producten worden steeds meer AI-gestuurd en studenten moeten rechtstreeks met LLM’s werken en er niet alleen over lezen. Maar we kunnen niet zomaar API-sleutels uitdelen. Sleutels lekken, worden gedeeld buiten het laboratorium of budgetten worden verbrand. We hadden een manier nodig om dezelfde naadloze ervaring uit te breiden naar AI: studenten echte toegang geven tot de LLM zonder risico.
Vandaag lanceren we beheerde LLM-toegang voor Learning Labs, waardoor praktische ervaring met de nieuwste Cisco AI-producten mogelijk wordt en het leren en de adoptie van AI-technologieën worden versneld.
Start een laboratorium en krijg direct toegang tot LLM
De ervaring voor studenten is eenvoudig: start een LLM-compatibel laboratorium en de omgeving is klaar. Geen API-sleutels om te beheren, geen configuratie en geen registratie bij externe providers. Het platform regelt alles achter de schermen.
De snelste route vandaag de dag is de beveiliging van het A2A-protocol. In de configuratiemodule laadt het lab de LLM-instellingen die in de shell-omgeving zijn geïntegreerd. In de volgende praktische stap scannen leerlingen een kaart van een kwaadwillende agent terwijl de LLM-analysator is ingeschakeld.
source ./lab-env.sh
a2a-scanner scan-card examples/malicious-agent-card.json --analyzers llm
That lab-env.sh De belangrijkste stap is het punt: laad de LLM-configuratie van het beheerde lab vooraf in de terminalsessie, zodat de scanner het model onmiddellijk kan oproepen zonder enige handmatige providerconfiguratie. Vanuit het perspectief van de student voelt het bijna lokaal aan, omdat ze een bestand genereren en onmiddellijk de analyse gaan gebruiken die door LLM wordt ondersteund vanaf de opdrachtregel.
Hoe het werkt
Waarom een volmacht? De LLM-proxy abstraheert meerdere providers achter één enkel OpenAI-compatibel eindpunt. Studenten schrijven code tegen een API: de proxy verzorgt de routering naar Azure OpenAI of AWS Bedrock op basis van het gevraagde model. Dit betekent dat de lab-inhoud niet kapot gaat als we providers toevoegen of backends wijzigen.
De toepassing van quota gebeurt via delegatieniet de leverancier. Elk verzoek wordt gevalideerd aan de hand van het resterende budget van het token en het aantal verzoeken voordat het wordt doorgestuurd. Wanneer limieten worden bereikt, krijgen studenten een duidelijke foutmelding, geen verrassingsrekening of stille mislukking.
Elk verzoek wordt gevolgd met gebruikers-ID, lab-ID, model- en tokengebruik. Dit geeft laboratoriumauteurs inzicht in de manier waarop studenten omgaan met LLM’s en helpt ons in de loop van de tijd de juiste quota te bepalen.
Hands-on met AI-beveiliging
De eerste golf van labs op deze infrastructuur omvat de AI-beveiligingstools van Cisco:
- Beveiliging van het A2A-protocol — Ingebouwde LLM-instellingen worden tijdens de configuratie geladen en onmiddellijk gebruikt in de eerste scanworkflow van de agentkaart
- AI-verdediging — gebruikt dezelfde LLM-toegang als in de BarryBot-toepassingsoefeningen
- Vaardigheidsbeveiliging — gebruikt dezelfde LLM-aanmelding die wordt beheerd in de eerste vaardighedenscan-workflow
- MCP-beveiliging — voegt op LLM gebaseerde semantische analyse toe aan het scannen van MCP-servers en tools
- OpenClaw-beveiliging (spoedig) — valideert het ingebouwde LLM-lab tijdens de installatie en gebruikt het in de eerste echte ZeroClaw-rooktest
Dit zijn geen theoretische oefeningen. Studenten analyseren realistische kwaadaardige voorbeelden, testen beveiligingsworkflows in realtime en gebruiken dezelfde Cisco AI-beveiligingstools die door professionals in het veld worden gebruikt.
“We wilden dat de LLM-toegang vergelijkbaar zou zijn met de rest van de Learning Labs: start het lab, open de terminal en toegang tot het model is er al. Studenten krijgen real-world, praktische AI-workflows zonder achter API-sleutels aan te jagen, en we behouden nog steeds de controles die we nodig hebben op het gebied van kosten, beveiliging en misbruik. Ik bewaar mijn huidige verzameling van deze labs ook op cs.co/aj.” —Barry Yuan
Wat is het volgende
We breiden de Learning Labs uit om GPU-ondersteunde workloads te ondersteunen met behulp van NVIDIA time-slicing. Hierdoor kunnen studenten rechtstreeks met Cisco AI-modellen werken:Stichting-sec-8b voor de veiligheid en Diep netwerkmodel voor netwerken, lokaal uitgevoerd in uw laboratoriumomgeving. Voor technische details over hoe we dit mogelijk maken, bekijk onze serie over GPU-infrastructuur: deel 1 en deel 2.
Uw feedback bepaalt wat we vervolgens bouwen. Probeer de workshops en laat ons weten wat je graag zou willen zien.
