Spraakbesturing waarop u kunt vertrouwen
Een herbruikbare engine en framework voor spraakgestuurde applicaties, waarbij de AI-interpretatie binnen vastgelegde workflows blijft.
- Sector
- AI, Voice Technology
2
Spraakinterpretaties afgestemd per commando
0
Herhaalde text-to-speech-aanroepen voor vooraf gegenereerde prompts
Samenvatting:
Wij ontwikkelden een herbruikbare engine en framework voor het bouwen van spraakgestuurde applicaties, met configureerbare workflows, AI-spraakinterpretatie en een audiopipeline die is ontworpen om de kosten van herhaalde spraakgeneratie te verlagen. Om te laten zien wat het framework kan, bouwden we ook een mobiele app die navigatie, het doorzoeken van content, het kiezen van opties en het bedienen van het afspelen met spraak demonstreert.
De uitdaging:
Een betrouwbare spraakapplicatie bouwen betekent een balans vinden tussen flexibiliteit en controle. Ons framework moest aan drie behoeften voldoen:
- Binnen het script blijven: door AI geïnterpreteerde spraak beperken tot de acties die een workflow daadwerkelijk toestaat.
- Betrouwbaar begrijpen: onduidelijke of tegenstrijdige interpretaties van dezelfde uiting oplossen.
- Spraakkosten beheersen: voorkomen dat er elke keer dat een bekende prompt wordt afgespeeld opnieuw voor een text-to-speech-aanroep wordt betaald.
De oplossing: flexibele workflows met gecontroleerde AI
Een configureerbare state machine legt elke stap vast, met de toegestane acties, overgangen en hulp. AI interpreteert de spraak van de gebruiker, en de engine valideert het resulterende commando tegen de huidige workflow voordat er iets gebeurt.
- Gerichte interactie: validatie beperkt interactie die buiten het onderwerp valt en verkleint de kans dat prompt injection de workflow buiten de vastgelegde acties stuurt.
- Automatische hulp: hulpprompts worden gegenereerd op basis van de beschikbare commando’s.
- Wijzigingsdetectie: configuratiecontroles signaleren wijzigingen waarvoor audio opnieuw moet worden gegenereerd.
Betrouwbare spraakinteractie
Het framework stemt twee interpretaties van dezelfde spraak op elkaar af: de voorgestelde actie van een Realtime-model en een afzonderlijk getranscribeerd bericht. Regels op basis van betrouwbaarheidsscores lossen verschillen op, met een fallback-classifier voor onduidelijke input.
- Spraakbediening: kiezen uit opties, semantisch zoeken, herhalen en contextuele hulp.
- Pauzegedrag: de bediening gaat van actief afspelen naar een luisterende pauze en vervolgens naar een stand waarin handmatig wordt hervat.
- Audiofeedback: geluidseffecten geven feedback en timingsignalen.
Herbruikbare spraak met geautomatiseerde kwaliteitscontroles
Volledige prompts en vaste onderdelen van antwoorden worden vooraf gegenereerd en hergebruikt, zodat niet elke keer dat ze worden afgespeeld een nieuwe TTS API-aanroep nodig is. De pipeline controleert ook zijn eigen werk:
- Geautomatiseerde QA: gegenereerde spraak wordt automatisch getranscribeerd en vergeleken met de bedoelde tekst; mislukte fragmenten worden opnieuw gegenereerd.
- Betere korte prompts: een eigen techniek genereert langere spraak en haalt de benodigde frase eruit met behulp van woordtijdstempels.
- Snelle levering: onze eigen WebRTC-streamingserver hergebruikt persistente verbindingen om audio direct af te leveren.
Oplevering en technologieën
De deploymenttooling omvat code-updates, data-imports, audio-assets, validatie, back-ups en rollback.
- Framework: Python en FastAPI, Node.js, OpenAI Realtime en spraakdiensten, Whisper, WebRTC en aiortc, en FFmpeg.
- Data en infrastructuur: MongoDB, Redis en Qdrant, met Docker Compose en GitHub Actions.
- Demo-app: React Native en Expo.
Conclusies
Goede spraakervaringen ontstaan door AI-flexibiliteit te combineren met stevige technische vangrails. Door elk commando te valideren tegen een vastgelegde workflow, spraakinterpretaties op elkaar af te stemmen en kwaliteitsgecontroleerde audio te hergebruiken, bouwden we een framework dat spraakapplicaties betrouwbaarder, goedkoper in gebruik en sneller te starten maakt.