Paul Arends
Wat drijft dit soort visuele zoekreacties aan?
Onze geavanceerde Gemini-modellen maken de AI-modus mogelijk, en profiteren van de multimodale mogelijkheden ervan de visuele ervaring die we in de loop der jaren in Lens hebben opgebouwd. Wanneer u zoekt met een afbeelding, analyseert Gemini de afbeelding samen met uw zoekopdracht om te beslissen welke tools u wilt gebruiken. Stel dat u door uw telefoon aan het scrollen bent en een outfit op sociale media ziet die u leuk vindt. Als u hiernaar zoekt, weet het Lens-model te gebruiken om tegelijkertijd afbeeldingsresultaten op te halen voor de hoed, schoenen en jas van de outfit. Vervolgens verwerkt het deze individuele resultaten in één gemakkelijk leesbaar antwoord.
Zie het als volgt: het AI-model fungeert als het ‘brein’ dat de afbeelding kan ‘zien’, terwijl de visuele zoekbackend fungeert als een ‘bibliotheek’ met miljarden webresultaten. De AI voert multi-object redenering uit om te begrijpen waar u naar kijkt. Vervolgens wordt er gebruik gemaakt van een ‘fan-out’-techniek die meerdere zoekopdrachten tegelijk activeert, de resultaten leest en één samenhangend antwoord presenteert met nuttige links, allemaal binnen enkele seconden.
Kunt u de fan-out-techniek uitleggen?
De AI-modus voert in feite een tiental zoekopdrachten voor u uit in de tijd die nodig is om er één uit te voeren. Als u een foto uploadt van een tuin die u bewondert, heeft u mogelijk een aantal vragen: Zullen deze planten overleven in de schaduw? Zijn ze geschikt voor mijn klimaat? Hoeveel onderhoud hebben ze nodig?
Eerst vroeg u ze één voor één. Nu identificeert de AI-modus alle noodzakelijke “fan-out” -zoekopdrachten. Op deze manier worden de zorgvereisten voor elke afgebeelde plant samengesteld aan de hand van nuttige webresultaten, wordt de informatie opgesplitst en worden zelfs volgende stappen voorgesteld die u mogelijk wilt nemen. Omdat u met de AI-modus meerdere visuele resultaten uit één enkele zoekopdracht kunt ontdekken, is het gemakkelijker dan ooit om precies te vinden wat u zoekt en iets nieuws tegen te komen dat uw interesse wekt.
Moet u beginnen met een afbeelding om dit soort hulp te krijgen in de AI-modus?
Helemaal! U kunt beginnen met een eenvoudige tekstzoekopdracht in de AI-modus, zoals ‘visuele inspiratie voor werkkleding’. Als u een resultaat ziet dat u bevalt, kunt u eenvoudigweg zeggen: ‘Laat me meer opties zien, zoals de tweede rok.’ Het systeem neemt onmiddellijk dat specifieke beeld en start vanaf daar het fan-outproces.
Het ziet er zeker geweldig uit om te winkelen – waar zou u het nog meer voor kunnen gebruiken?
U kunt een foto maken van een museummuur en om uitleg vragen bij elk schilderij. Of maak een foto van de etalage van een bakkerij en vraag wat de verschillende gebakjes zijn. Het gaat over het gaan van “Wat is dit voor ding?” naar “Leg mij deze hele scène uit.”
Het lijkt erop dat ik een aantal foto’s moet maken en nog veel meer moet ontdekken. Ik ga deze tools op de proef stellen!
