Sobes Docs

Запись звука

Режимы записи, модели расшифровки и настройки захвата звука

Copilot записывает разговор и превращает его в расшифровку. Она попадает в чат встречи, поэтому ассистент отвечает с учётом того, что сказал собеседник, и вопрос не нужно пересказывать. Запись включается кнопкой микрофона в панели встречи или Ctrl/Cmd + R и работает только во время встречи.

Режим записи, модель и язык расшифровки меняются прямо во встрече, в меню у кнопки микрофона. Настройки захвата: Настройки → Звук и запись → Запись звука.

Режимы записи

VAD

Основной режим для интервью. Включаете запись один раз, дальше приложение само находит речь, записывает фразу и после паузы отправляет её на расшифровку. Длинный монолог режется на куски, чтобы расшифровка и ответ начинались раньше.

Схема VAD: включение, определение речи, запись и расшифровка

Start / Stop

Запись идёт между двумя нажатиями. Приложение постоянно держит короткий фоновый буфер, поэтому если вы нажали чуть позже начала фразы, первые секунды всё равно попадут в запись. Подходит, когда нужно записывать только вопросы интервьюера или отдельные куски разговора.

Схема Start / Stop: буфер, старт, запись, стоп и расшифровка

One-Shot

Запись заранее не включается. Когда собеседник договорил, нажмите Ctrl/Cmd + R: приложение возьмёт последние секунды разговора из буфера и отправит их на расшифровку. Буфер начинает копиться, как только открыта встреча. Удобно, когда заранее неизвестно, какой момент окажется важным.

Схема One-Shot: фоновый буфер, последние секунды, хоткей и расшифровка

Для первой встречи выбирайте VAD. Если он ловит лишний шум или хочется контролировать каждую запись, переключитесь на Start / Stop.

Модель и язык расшифровки

По умолчанию речь распознаёт Parakeet. В меню записи можно выбрать другую модель, рядом с каждой показана её задержка. Если модель не ответила или вернула пустой текст, сервер сам пробует следующую, так что фраза не теряется. С собственной моделью (BYOK) запасных вариантов нет: аудио уходит только на ваш endpoint.

Язык расшифровки по умолчанию русский. Если собеседование идёт на другом языке, поменяйте его, иначе распознавание будет заметно хуже. Список языков зависит от модели, у части моделей есть автоопределение. Если модель распознаёт один язык, а контекст отвечает на другом, в меню записи появится подсказка переключить расшифровку на язык контекста. Сам язык не меняется: собеседование может идти на английском, а ответы нужны по-русски.

Если расшифровка путает названия технологий или компаний, впишите их в поле «Термины для распознавания» в контексте. Компания и ключевые навыки из вакансии встречи добавляются к терминам сами, но только у Deepgram, Soniox, Inworld и Grok STT.

Язык перевода включает перевод реплик собеседника на выбранный язык. Ваши реплики не переводятся.

Realtime-распознавание

С моделями Nova 3 (Deepgram), STT v5 (Soniox) и STT 1 (Inworld) можно включить realtime-распознавание в режимах VAD и Start / Stop. Текст появляется по ходу речи, а не после конца фразы, поэтому ответ приходит быстрее.

«Включить через прокси» сам подбирает самый быстрый маршрут до провайдера, этот вариант нужен, если провайдер недоступен напрямую. «Включить напрямую» подключается без прокси.

Если провайдер перестал отвечать, приложение переключается на запасного. В realtime паузы определяются автоматически, поэтому настройки чанков, триггеров остановки и проверки речи не действуют. Если в Настройки → Приложение → Сеть задан свой прокси, realtime идёт через него.

Автоответ на вопросы собеседника

Автоответ включается в меню записи или хоткеем Ctrl/Cmd + Shift + A и работает в режиме VAD и при realtime-распознавании. Приложение само понимает, что собеседник задал вопрос, и сразу запрашивает ответ, ничего нажимать не нужно. Проверяются только реплики из системного звука, то есть собеседника. Ответ генерируется той моделью и с теми настройками, которые выбраны в чате. Как именно отвечать в автоответе, задаёт поле «Инструкция для автоответа» в контексте.

Настройки захвата

НастройкаНа что влияет
Источник звука«Системный звук + микрофон» подходит для интервью: в расшифровку попадают и вы, и собеседник. «Только системный звук» пишет собеседника и звуки приложений, «Только микрофон» пишет только вас. На macOS для системного звука нужно разрешение «Запись экрана».
МикрофонС какого микрофона записывать ваш голос. Этот же микрофон используется в записи интервью.
Устройство вывода (Windows, Linux)Звук каких динамиков или наушников записывать как голос собеседника. Выбирайте то устройство, в которое идёт звук созвона. На macOS записывается весь системный звук.
Длина буфера (Start / Stop)Сколько секунд до нажатия добавить в начало записи. Увеличьте, если обрезается начало фраз.
Длина захвата (One-Shot)Сколько последних секунд брать при нажатии. Должно хватать на весь вопрос.
Очищать буфер после захвата (One-Shot)Следующее нажатие не отправит повторно кусок, который уже расшифрован.
Отправлять скриншоты с аудио (Start / Stop, One-Shot)Скриншоты, прикреплённые к полю ввода, уходят вместе с записью. В VAD не работает.
Проверять аудио на наличие речи (Start / Stop, One-Shot)Записи без речи отбрасываются и не тратят время на расшифровку. Выключите, если нужно отправлять всё подряд. Записи короче секунды отбрасываются в любом случае.
Разбивать на чанки и Длина чанка (VAD)Длинная речь режется на куски, чтобы расшифровка начиналась раньше. Разрез делается на паузе, если она есть.
Триггер остановки записи (VAD)Сколько тишины ждать, прежде чем закрыть фразу, отдельно для микрофона и системного звука. Увеличьте, если запись обрывает собеседника на паузах. Уменьшите, если расшифровка приходит с запозданием.

Частые проблемы

Не слышно собеседника. Проверьте, что источник звука включает системный звук. На Windows и Linux выберите устройство вывода, в которое идёт звук созвона. На macOS выдайте приложению разрешение «Запись экрана».

Запись срабатывает от шума. Фоновый шум иногда принимается за речь. Используйте гарнитуру или уменьшите чувствительность микрофона в системных настройках. В Start / Stop и One-Shot не выключайте проверку речи.

Обрезается начало фраз. В Start / Stop увеличьте длину буфера. В One-Shot увеличьте длину захвата.

Фраза режется посередине. В VAD увеличьте триггер остановки записи.

Записи отбрасываются как пустые. Приложение не нашло в записи речь. Проверьте, что выбран нужный микрофон и речь достаточно громкая.

Расшифровка с ошибками. Проверьте язык расшифровки: он должен совпадать с языком собеседования. Можно попробовать другую модель.

Содержание