We disabled voice activity detection to improve phone performance как исправить

Всегда при работе с речью встает несколько очень «простых» вопросов, для решения которых нет большого количества удобных, открытых и простых инструментов: детекция наличия голоса (или музыки), детекция наличия цифр и классификация языков.

Для решения задачи детекции голоса (Voice Activity Detector, VAD) существует довольно популярный инструмент от Google — webRTC VAD. Он нетребовательный по ресурсам и компактный, но его основной минус состоит в неустойчивости к шуму, большом числе ложноположительных срабатываний и невозможности тонкой настройки. Понятно, что если переформулировать задачу не в детекцию голоса, а в детекцию тишины (тишина — это отсутствие и голоса и шума), то она решается весьма тривиальными способами (порогом по энергии, например), но с теми же минусами и ограничениями. Что самое неприятное — зачастую такие решения являются хрупкими и какие-то хардкодные пороги не переносятся на другие домены.

Изначально мы хотели сделать простой и быстрый внутренний инструмент для себя и наших партнеров для детекции произнесенных чисел без привлечения полноценного STT (фишка изначально была именно в портативности засчет использования современных фреймворков типа PyTorch и ONNX), но в итоге оказалось, что можно сделать не только детектор чисел, но и качественный, быстрый и портативный VAD и классификатор языков, который и опубликовали бесплатно для всех желающих тут под лицензией MIT. За подробностями прошу под кат.

Основные фишки нашего решения

Что же умеет делать наш «VAD»?

• Именно сам VAD — находит в аудио участки, где люди говорят;
• Number detector — находит в аудио участки, где люди произносят цифры;
• Language classifier — классифицирует языки;
• Это все сейчас работает на 4 языках (Русский, Английский, Немецкий, Испанский), но с высокой степенью вероятности именно сам VAD будет работать и на других родственных им языках (небольшой квест для Хабра — если вы говорите на каком-то экзотическом языке, запишите свой голос, прогоните VAD и поделитесь результатом!);

Основные «фишки» на данный момент:

• Поддержка 4 языков;
• Именно VAD сильно выигрывает у WebRTC по качеству;
• Натренирован на огромных речевых и шумовых корпусах;
• Ест мало ресурсов и памяти, работает на 1 потоке процессора;
• Его скорости достаточно для edge и мобильных применений;
• Построен на базе современных и портативных технологий (PyTorch, ONNX);
• В отличие от WebRTC скорее является детектором голоса, а не детектором тишины;
• Мы выложили чекпойнты как для PyTorch (JIT), так и для ONNX;

Возможные применения

• Детекция конца фразы;
• Подготовка и очистка голосовых корпусов;
• Часть пайплайна для анонимизации речевых корпусов (по-хорошему еще надо уметь искать имена, но это совсем другая проблема, и она довольно специфична для решаемой задачи и требует наличия и тонкой настройки STT);
• Детекция наличия голоса для применения на мобильных и edge устройствах;
• Компактность и наличие ONNX позволяет запускать его с большим количеством доступных бекендов;
• VAD кушает данные с частотой дискретизации 16 kHz, но он научен не бояться и данных с 8 kHz;

Примеры

Вообще мы постарались привести основные примеры использования в интерактивном ноутбучке в colab и в самом репозитории. Все их выписывать в статью смысла нет, давайте просто перечислим самые важные и приведем самый простой пример:

• Все примеры есть как для PyTorch так и для ONNX;
• Для самого важного алгоритма — VAD — мы привели примеры как для работы с целыми отдельными файлами, так и для однопоточного / многопоточного стриминга;
• Для остальных — приведены только примеры по работе с отдельными файлами. Но имея VAD уже несложно длинные файлы разделить на короткие;
• Примеры специально приводятся в виде простейшего тулкита, который легко будет адаптировать на свой язык с минимальными усилиями (обработка целых файлов тривиальна, стриминг в 1 поток несложный, несколько потоков немного сложноват из-за механизма окон);

Самый просто пример, где мы натравливаем VAD на файл:

import torch
torch.set_num_threads(1)

model, utils = torch.hub.load(repo_or_dir='snakers4/silero-vad',
                              model='silero_vad',
                              force_reload=True)

(get_speech_ts,
 _, read_audio,
 _, _, _) = utils

files_dir = torch.hub.get_dir() + '/snakers4_silero-vad_master/files'

wav = read_audio(f'{files_dir}/en.wav')
speech_timestamps = get_speech_ts(wav, model,
                                  num_steps=4)
print(speech_timestamps)

Как работает VAD

Тут кратко опишем, как данные кормятся в VAD. Для остальных алгоритмов заинтересовавшиеся просто найдут информацию в коде.

• Аудио разделяется на кусочки длиной например 250 мс. Можно конечно порезать и короче, но по нашему опыту все паузы менее 100 мс являются малозначимыми и получается очень много шума, если пытаться поделить по 30-50мс. По просьбам интересующихся мы также привели график зависимости качества от длины кусочка тут (мы сравнили 100 мс и 250 мс);
• VAD держит в памяти прошлый кусочек (или нули в начале стрима);
• Эти кусочки по 500 мс (или по 200 мс) делятся на 4 или 8 окон внахлест и модель применяется к каждому такому окну;
• Вероятности выдаваемые моделью усредняются по всем таким окнам;
• Дальше эта вероятность используется, чтобы или «войти» в речь или из нее «выйти». Базовые оптимальные гипер-параметры приведены в коде примеров;

Скорость и задержка

Все замеры скорости мы делали на 1 потоке процессора AMD Ryzen Threadripper 3960X. Для этого мы использовали такие настройки:

torch.set_num_threads(1) # pytorch
ort_session.intra_op_num_threads = 1 # onnx
ort_session.inter_op_num_threads = 1 # onnx

Подробнее вы можете просто посмотреть в коде, но задежка зависит от следующих параметров:

• num_steps — число таких окон «внахлест»;
• number of audio streams — число одновременно обрабатываемых потоков аудио;
• По сути получается, что модель всегда видит батч длины равной num_steps * number of audio streams;

Получаются такие задержки:

Попробуем теперь измерить пропускную способность в секундах аудио, обрабатываемых за одну секунду на 1 потоке процессора:

Качество

По логике процесса, описанного выше, мы измеряли качество нашего VAD по сути просто присваивая некую усредненную вероятность каждому кусочку аудио и сравнивая ее с истинными метками. Но как добавить к сравнению WebRTС, он же выдает просто 0 или 1?

WebRTC принимает на вход фреймы аудио и отдает 0 или 1. По-умолчанию используется длина фрейма в 30 мс, то есть каждый кусочек аудио в 250 мс мы делится примерно на 8 таких фреймов. Это неидеально, но мы просто интерпретируем среднее из таких 0 и 1 как вероятность.

В итоге получается вот такой результат:

Тонкая настройка и остальные алгоритмы

Как упоминалось выше, наш VAD также обладает тем преимуществом, что его можно более тонко настраивать используя более очевидные параметры. Инструкцию по такой настройке, примеры и описания работы остальных алгоритмов вы можете найти в репозитории нашего проекта. Пропускная способность и задержка других алгоритмов примерно сравнима с VAD.

А вы когда-либо использовали VAD?

Проголосовали 39 пользователей.

Воздержались 4 пользователя.

А вы когда-либо использовали ONNX?

Проголосовали 34 пользователя.

Воздержались 3 пользователя.

Если вы использовали VAD, то где?

Проголосовали 29 пользователей.

Воздержались 6 пользователей.

Voice-Speech_Activity_Detection_Disabled.ac

Классические проблемы Voice-Speech_Activity_Detection_Disabled.ac

Вопросы, связанные с Voice-Speech_Activity_Detection_Disabled.ac и Making Networks and Appllications Perfomr OPNET:

• «Ошибка: Voice-Speech_Activity_Detection_Disabled.ac. «
• «Voice-Speech_Activity_Detection_Disabled.ac пропал без вести. «
• «Не найдено: Voice-Speech_Activity_Detection_Disabled.ac. «
• «Не удалось загрузить модуль для Voice-Speech_Activity_Detection_Disabled.ac. «
• «Отсутствует модуль: не удалось зарегистрировать Voice-Speech_Activity_Detection_Disabled.ac»
• «Ошибка времени выполнения — Voice-Speech_Activity_Detection_Disabled.ac. «
• «Не удается загрузить Voice-Speech_Activity_Detection_Disabled.ac. «

Проблемы Making Networks and Appllications Perfomr OPNET Voice-Speech_Activity_Detection_Disabled.ac возникают при установке, во время работы программного обеспечения, связанного с Voice-Speech_Activity_Detection_Disabled.ac, во время завершения работы или запуска или менее вероятно во время обновления операционной системы. Важно документировать, когда возникают проблемы Voice-Speech_Activity_Detection_Disabled.ac, так как это помогает устранять проблемы Making Networks and Appllications Perfomr OPNET (и сообщать в Unknown).

Истоки проблем Voice-Speech_Activity_Detection_Disabled.ac

Эти проблемы Voice-Speech_Activity_Detection_Disabled.ac создаются отсутствующими или поврежденными файлами Voice-Speech_Activity_Detection_Disabled.ac, недопустимыми записями реестра Making Networks and Appllications Perfomr OPNET или вредоносным программным обеспечением.

Особенно эти ошибки Voice-Speech_Activity_Detection_Disabled.ac проистекают из:

• Недопустимый Voice-Speech_Activity_Detection_Disabled.ac или поврежденный раздел реестра.
• Зазаражение вирусом повреждает файл Voice-Speech_Activity_Detection_Disabled.ac.
• Voice-Speech_Activity_Detection_Disabled.ac ошибочно удален или злонамеренно программным обеспечением, не связанным с приложением Making Networks and Appllications Perfomr OPNET.
• Другая программа, конфликтующая с Voice-Speech_Activity_Detection_Disabled.ac или другой общей ссылкой Making Networks and Appllications Perfomr OPNET.
• Поврежденная загрузка или неполная установка программного обеспечения Making Networks and Appllications Perfomr OPNET.

«Отключи этот режим, и твой смартфон Xiaomi будет жить вечно», — такое предложение не является фантастикой. Действительно, если деактивировать лишние опции и приложения, работоспособность гаджета улучшится. Каждая программа и функция расходует энергию. Для более экономного энергопотребления рекомендуется отключить несколько приложений и опций.

Важность отключения ненужных компонентов

Деактивация лишних режимов и приложений поможет продлить работу смартфона Xiaomi. Каждая программа расходует заряд аккумулятора. На устройстве есть функции, которые включены по умолчанию или работают в режиме автонастройки. Любая активность сказывается на заряде батареи. Если деактивировать ненужные функции и приложения, смартфон без подзарядки сможет проработать 2-3 дня.

Правда, Xiaomi ценят за то, что это устройство сравнимо с мини-компьютером. Владельцам гаджетов не нужно себя ограничивать. На смартфон можно загружать различные мессенджеры (Телеграм). С гаджета разрешается выходить в интернет и получать доступ к социальной сети (ВКонтакте, Фейсбук, Инстаграм, Твиттер).

Разработчики Xiaomi предоставляют пользователям возможность работать с любой программой и на какой угодно интернет-платформе. Активность браузера, мессенджера, любого приложения можно ограничить во времени, предварительно выставив таймер работы. Программы смогут самостоятельно отключаться спустя 5-30 минут. Возможность ограничивать работу приложений во времени сокращает расход аккумулятора, продлевает срок жизни смартфона.

Что стоит отключить и оптимизировать

Владельцы Xiaomi могут отключить или оптимизировать работу некоторых приложений. Чем меньше программ будет запускаться при включении смартфона, тем экономнее расходуется заряд батареи.

Фоновые подключения

Каждый пользователь Xiaomi имеет возможность выбрать приложения, которые будут работать в фоновом режиме. По умолчанию большинство из установленных на смартфон программ выключены. Активировать приложение очень просто — нужно лишь настроить автозапуск и дать разрешение на работу в фоновом режиме.

Активность выбранной программы рекомендуется ограничить, выбрав из предложенных вариантов стандартный уровень (мягкое ограничение). Каждый пользователь смартфона может управлять приложениями, имеющими доступ к фоновому интернету. Активность подключений тоже можно ограничить.

После загрузки ОС обычно появляются почтовые клиенты, облачные сервисы, мессенджеры. Чем меньше будет активировано приложений, тем быстрее запустится смартфон (после перезагрузки). Желательно, чтобы в фоновом режиме работали только самые нужные программы. Активность каждого приложения сказывается на заряде аккумулятора.

Отключение анимации

В смартфон Xiaomi встроены настройки, дающие возможность управлять анимацией (отключить, изменить, корректировать плавность). Для экономии энергии лучше эту опцию выключить. Для отключения функции нужно зайти в «Настройки», потом в раздел «Для разработчиков». Затем деактивировать «Анимацию окон», «Анимацию переходов», «Длительность анимации».

Оптимизация системной памяти

В настройках смартфона есть раздел «Для разработчиков». В нем находится подраздел «Оптимизация системной памяти». По умолчанию работает «средняя». Для снижения потребления энергии рекомендуется отключить оптимизацию и перезагрузить систему. Выключение этой функции не повлечет изменения настроек устройства.

Выключение лишних датчиков

По умолчанию на смартфоне Xiaomi работает несколько датчиков, дополнительно расходующих энергию аккумулятора. Некоторые из них можно без вреда для устройства отключить. Например, датчик, реагирующий на освещенность экрана. По умолчанию сенсор находится в режиме «Автонастройки». Если датчик деактивировать, яркость не будет изменяться в зависимости от освещенности экрана. Дополнительно можно выставить стандартный режим контрастности дисплея и отключить акселерометр (автоповорот).

Оптимизация разрешений для приложений

Для уменьшения расходования энергии желательно оптимизировать разрешения для приложений. Вначале рекомендуется активировать автозапуск, совпадающий с режимом работы смартфона, только для наиболее важных программ. Затем нужно посмотреть, какими разрешениями пользуются выбранные приложения, и оставить из всего списка только нужные.

Режим экономии энергии

Желательно для своего устройства Xiaomi активировать экономный режим потребления энергии. Сделать это можно несколькими способами. Например, настроить ежедневное автоматическое выключение смартфона в ночное время. Есть опция, позволяющая отключать устройство с 0.00 ночи до 8.00 утра. Можно воспользоваться функцией «Режим полета», которая деактивируют связь смартфона с внешним миром в ночное время. Эту опцию рекомендуется включать перед сном для более экономного расходования энергии аккумулятора.

Сэкономить заряд батареи можно, отключив самое прожорливое приложение. Вычислить наиболее энергоемкую программу позволяет опция «Потребление энергии». Приложения, расходующие много заряда, можно отключить, удалить или ограничить им активность (выставив таймер работы).

Желательно включить на своем смартфоне Xiaomi режим «Энергосбережение». Благодаря активации этой функции устройство будет контролировать фоновые процессы и отключит синхронизацию при низком заряде батареи.

Удаление или отключение ненужных прожорливых приложений

Сторонние программы, потребляющие много энергии, лучше удалить со смартфона. Остальным загруженным на устройство приложениям рекомендуется выставить таймер работы. Можно активировать режим, чтобы открытые приложения сами отключились через 1,5,10,30 минут. Предварительно выставив таймер, не потребуется контролировать число запущенных программ и закрывать их вручную. Приложения автоматически выгрузятся из памяти спустя установленное время.

Обычно программируют закрытие энергоемкого браузера, Ютуба, связи с банком. Важные приложения (мессенджеры, почта) на период пользования смартфоном лучше оставить включенными.

Пользователям смартфонов Xiaomi рекомендуется выставить минимальное время для блокировки экрана. Если гаджетом какое-то время не пользуются, то можно отключить лишние службы, расходующие трафик или заряд аккумулятора. Например, интернет. Лучше его выключить сразу после блокировки экрана.  Для этого нужно выставить время отключения интернета (через 5, 10, 30 минут или никогда). Смартфон в этом случае превратится в обычный телефон, способный принимать только входящие звонки. Сообщения в мессенджеры приходить не смогут. При разблокировке экрана интернет снова восстановится.

Убираем постоянный поиск сетей Wi-fi

Еще перед началом работы нужно выбрать тип сети. Xiaomi предоставляет такие варианты: 4G, 3G и 2G. Самый быстрый вид связи — это четверка. Зато 4G быстро расходует заряд батареи. Можно выбрать более экономичный, но медленный вид связи, то есть 2G. Пользоваться двойкой постоянно некомфортно. Абоненты могут установить 4G, но при случае перейти на 2G, когда возникнет необходимость в продлении работы смартфона.

Выбрав какой-то один тип связи, рекомендуется отключить сканирование сетей, а заодно поиск Wi-Fi и Bluetooth. Отключение лишних режимов улучшит работу устройства. Если абонент активировал на смартфоне точку доступа Wi-Fi и отправляет интернет на другие гаджеты, то после окончания работы эту функцию лучше отключить.

Отключение вибрации

«Вибрацию при звонке», «Виброотклик», «Вибрацию в режиме без звука» лучше отключить. Эти опции активно расходуют заряд аккумулятора. Правда, вибрацию можно опять включить в беззвучном режиме, если возникнет такая потребность.

Настройка уведомлений

Рекомендуется установить минимальное время до отключения экрана и блокировки смартфона. Функцию «Пробуждать при получении уведомлений» можно отключить. Нежелательные оповещения от развлекательных приложений лучше деактивировать. Важные уведомления от служб, абонентов и операторов можно перевести в беззвучный режим.

Настройка подсветки экрана

Рекомендуется отрегулировать яркость, цветовой фон и контрастность экрана. Желательно не выставлять эти режимы на максимум. Можно выбрать стандартные (средние) значения. Автонастройку лучше отключить.

Отключаем лишние службы

В разделе «Специальные возможности» находятся службы, которые можно отключить. Без вреда для устройства разрешается деактивировать субтитры, жесты для увеличения, высококонтрастный текст, озвучивание при нажатии и другие.

Можно также отключить «Дату и время сети» и «Часовой пояс сети». Деактивация этих режимов позволит не осуществлять постоянную синхронизацию с сервером и сэкономить заряд батареи.

Пользователи смартфонов могут отключить опцию «Доступ к местоположению». Эта функция находится в разделе «Конфиденциальность». Правда, при отключении местоположения найти смартфон по GPS не получится.

Наглядные примеры эффективности манипуляций со смартфоном

Отключение приходящих уведомлений:

• зайти в «Настройки»;
• найти «Приложения»;
• настроить уведомления (отключить) или отложить их прочтение на время.

Способ, помогающий отключить рекламу:

• зайти в «Настройки»;
• найти «Доступ к личным данным»;
• нажатием на переключатель отозвать разрешения для выбранных приложений;
• затем зайти в «Безопасность», найти «Получать рекомендации» и деактивировать эту опцию.