Paul Arends
Voor blinde en slechtziende atleten (BLV) is hardlopen traditioneel een fysieke uitdaging, waarbij een menselijke gids of een geschilderde traillijn nodig is om de weg te vinden. Vandaag willen we graag met u delen hoe we stappen ondernemen om dit te veranderen met Agent Running Guide, een toegankelijkheidsagent die real-time omgevingsinzicht gebruikt om visueel gehandicapte atleten te helpen met rennen. Dit is een grote stap vooruit van eenvoudig het volgen van paden naar geavanceerd ruimtelijk redeneren in realtime. Ons doel is simpel: onafhankelijke onafhankelijkheid voor elke hardloper.
Een hybride architectuur voor compromisloze beveiliging
Met behulp van ons eerdere werk met Project Guideline, maakt de Running Guide-agent gebruik van een op de borst gemonteerde Pixel 10 Pro-smartphone om de route weer te geven en de gebruiker te begeleiden met auditieve feedback. Om te zorgen voor hoge betrouwbaarheid bij taken met hoge snelheid, hebben we een hybride dual-path-architectuur ontwikkeld:
Segmentatie op het apparaat: Dit model werkt volledig offline op de aangepaste silicium van de Pixel 10 en biedt beveiliging met ultralage latentie. Het geeft directe “STOP”-waarschuwingen en richtingsignalen die te horen zijn als richtingaanwijzingen, zodat hardlopers een betrouwbaar gevoel van richting behouden, zelfs zonder mobiele verbinding.
Gemma’s geavanceerde redenering 4: Dit pad maakt gebruik van Gemma 4 E4B en verwerkt complexe multimodale invoer (afbeelding en tekst) voor een hoogwaardig begrip van scènes, volledig op het apparaat. Om de latentie laag te houden, maken we gebruik van slimmere frameselectie. Het model analyseert alleen frames met een hoge entropie, zoals plotselinge veranderingen in terrein of nieuwe obstakels, waardoor snellere en zeer relevante begeleiding wordt geboden.
BRON
