Ученым удалось научить нейросеть превращать текст в видео с жестами
30.11.2020 15:44

Ученым удалось научить нейросеть превращать текст в видео с жестами

Британские ученые из Университета Суррея представили нейросеть, которая может превратить текст в видео с человеком, который будет показывать текст языком жестов. Статья появилась на ресурсе препринтов arXiv.

По информации, разработчики создали алгоритм, который может переводить текст на язык жестов. 

Текст проходит через кодирование и превращается в скелетную модель тела, которая показывает текст жестами. После этого последовательность поз кодируется в вектор, а он объединяется с изображением человека, которого нужно анимировать.

Тогда последовательность поз передается на нейросеть U-Net, которая превращает изменение поз в реалистичное видео. Созданный британцами алгоритм также совершенствует свои навыки.

Он анализирует, насколько удачно создал скелетную модель тела, и делает ее лучшей в следующий раз.

Отмечается, что работу нейросети проверили на записях работы переводчиков жестового немецкого языка. Оказалось, что алгоритм достиг значительного сходства с изображением жестов сурдопереводчиками, в частности он точно воспроизводил движения кистей.

Как сообщал MIGnews.com.ua ранее, житель американского штата Джорджия Калеб Андерсон в 11 лет поступил в колледж Чаттахучи на факультет аэрокосмической инженерии.


Оцените материал: 1 2 3 4 5 6 7 8 9 10 [0] всего оценили 0

Статьи по теме

Новости партнеров
Другие новости

Спецтемы

Вопрос дня

А вы уже болели коронавирусом?
  Покупка Продажа
USD 28.2000 28.6000
EUR 34.4500 35.1000
RUR 0.3600 0.4000
BTC 30,298.7930 33,488.1406
Яндекс.Метрика