01 / Завдання
Обмеження, що визначило архітектуру.
Голосова взаємодія може здаватися повільною, навіть якщо тести кожної моделі виглядають прийнятно. Визначення завершення репліки, мережеві затримки, формування контексту, запуск синтезу й буферизація відтворення разом збільшують час очікування.
02 / Архітектура
Рішення, які змінили систему.
- Розглядати затримку як наскрізний бюджет із вимірюванням кожного етапу.
- Починати корисну роботу на часткових вхідних даних, не чекаючи повної репліки.
- Зберігати контекст розмови, не перебудовуючи весь стан для кожної короткої генерації.
- Передбачити чіткі резервні сценарії для збоїв і невизначених результатів.
03 / Результат
Що вдалося створити.
Робота створює основу для голосових продуктів і систем перекладу з низькою затримкою, де якість залежить від усієї системи виконання, а не лише від моделі.