Paul Arends
Vandaag introduceren we twee nieuwe servicelagen aan de Gemini API: Flex en Prioriteit. Deze nieuwe opties bieden gedetailleerde controle over kosten en betrouwbaarheid via een uniforme interface.
Terwijl AI evolueert van eenvoudige chat naar complexe, autonome agenten, hebben ontwikkelaars vaak te maken met twee soorten logica:
- Achtergrondtaken: Workflows met een hoog volume, zoals gegevensverrijking of processen die geen directe reacties vereisen.
- Interactieve taken: Gebruikersgerichte functies zoals chatbots en co-piloten waarbij hoge betrouwbaarheid nodig is.
Tot nu toe moesten ontwikkelaars de architectuur opsplitsen tussen synchrone provisioning en de asynchrone Batch API om beide soorten taken te ondersteunen. Flex en Prioriteit helpen deze kloof te overbruggen. U kunt nu achtergrondtaken naar Flex routeren en interactieve taken naar Prioriteit, beide via synchrone eindpunten. Dit maakt het beheer van asynchrone taken eenvoudiger en biedt tegelijkertijd economische en prestatievoordelen.
Flex Inference is onze nieuwe kostengeoptimaliseerde laag, ontworpen voor latentietolerante workloads zonder de overhead van batchverwerking. Met Flex krijgt u 50% korting op de prijs van de standaard API door de kriticiteit van uw verzoeken te verminderen. Het is een synchrone interface die ideaal is voor CRM-updates op de achtergrond, grootschalige zoeksimulaties en agent-workflows.
Begin snel door de
service_tierparameter in uw verzoek te gebruiken.
