ПОПУЛЯРНЫЕ НАНОТЕХНОЛОГИИ

Кадры

Фотогалерея

Новости

Сурдоперевод в исполнении нейросети / 02.12.2020

Бринанские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук.

 

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

 

Разработчики из Университета Суррея под руководством Ричарда Боудена (Richard Bowden) создали алгоритм, который более качественно производит сурдоперевод, в том числе отдельно обучается для качественного синтеза кистей — они крайне важны в жестовых языках. Изначально алгоритм принимает речь в виде текста. Затем текст проходит через кодировщик и декодировщик и превращается в скелетную модель тела, иллюстрирующую жест говорящего. После этого полученная последовательность поз кодируется в вектор. Он объединяется с вектором, полученным от стилевого изображения — фотографии человека, которую необходимо анимировать. Наконец, после этого последовательность поз подается на сверточную нейросеть U-Net, которая производит перенос движений с поз на реалистичное видео.

  

Во время обучения дискриминатор работал как со всем сгенерированным человеком в целом, так и отдельно с его кистями. Результат работы нейросети размечался алгоритмом OpenPose, который размечает на человеке его скелетную модель тела. Сравнивая сгенерированную алгоритмом модель тела с той, которая была размечена людьми, алгоритм по ходу обучения совершенствовал свой навык синтеза качественных кадров, на которых хорошо различимы детали.

Авторы обучили алгоритм на датасете PHOENIX14T, состоящем из 386 аннотированных записей работы сурдопереводчиков на немецком телеканале. Они проверили работу алгоритма, использовав несколько метрик, в том числе индекс структурного сходства, показывающий схожесть двух изображений. Индекс рассчитывался для исходного изображения из датасета и синтетического, созданного нейросетью, причем как для всей верхней части тела, так и отдельно для кистей. Сравнение с другими алгоритмами на одинаковых данных показало, что по всем четырем используемым метрикам новый алгоритм превосходит аналоги.

  

Также разработчики провели тест на 46 добровольцах (28 процентов из них — носители жестового языка), попросив их оценить реалистичность видео, сгенерированного разными алгоритмами. В этом сравнении также в абсолютном большинстве случаев добровольцы выбирали новый алгоритм.

 

Доля добровольцев, которые назвали результаты работы нового алгоритма более качественными по сравнению с аналогами  

Есть и другой подход к автоматизации сурдоперевода. Бельгийские инженеры предложили использовать для этого роборуку, которая умеет показывать различные жесты – пишет nplus1.

 


Другие новости по теме:
27.01.21 - ИИ дрессирует собак
26.01.21 - ИИ распознает политические взгляды людей по фотографиям
13.01.21 - ИИ научился рисовать изображения по их текстовому описанию
31.12.20 - Новое устройство ИИ понимает жесты
28.12.20 - ИИ решил уравнение Шредингера
TOP100 самых популярных
новостей
за месяц
Место Наименование Показов
1

Нанотехнологи из США и Японии разделили премию Испании

2 японских и 3 американских ученых стали лауреатами престижной премии принца Астурийского за научные и технические разработки в области нанотехнологий. Испания присудила награды японским ученым Сум

854
2

Одноколесный велосипед с электромотором (видео)

Enicycle - это моторизованный одноколесный велосипед, сконструированный изобретателем из Словении Александером Полутником (Aleksander Polutnik). Научиться ездить на этом необычном средстве передвижени

174
3

Лунный камень стал источником кислорода

Исследователи из Кембриджа создали небольшой химический реактор, способный проводить процессы окисления и производство кислорода из лунного камня. В основе работы реактора лежит просто электромеханиче

170
4

Ученые ФТИ им.Иоффе разработали метод "сухой" литографии

В применении к нанолитографии слова мокрая и грязная – это скорее не эпитеты, а термины. Впрочем, уже в самое ближайшее время она, возможно, будет сухой, а главное - и чистой. Способ придумали п

165
5

Роснано заинтересовалась британскими пластиковыми чипами

Госкорпорация "Роснано" ведет переговоры о покупке доли компании Plastic Logic, британского производителя чипов и электроники на полимерной основе. Сделка уже одобрена наблюдательным советом.

157

Анонсы событий