Masterok (Валерий) (masterok) wrote,
Masterok (Валерий)
masterok

Category:

Нейросеть научили превращать размытые картинки в качественное видео



Создание алгоритмов по работе с изображением всегда было довольно сложной, но перспективной задачей. Я когда еще писал дипломный проект в 1999 году, то тема "распознавания образов" была очень актуальна в системах автоматического контроля и управления.

Вот что могут сегодня. Индийские разработчики представили систему, которая умеет создавать короткие видео из размытых изображений. Алгоритм работает на основе сверточных и рекуррентных нейросетей и позволяет превращать артефакты движения на снимках в короткие (до десяти кадров) видео.

Вот подробнее...

При просмотре размытого изображения человек может мысленно достроить картину происходящего. Например, видя фотографию птицы с нечеткими крыльями, можно предположить, что размытие изображения обусловлено артефактами движения крыльев во время получения снимка. Для систем компьютерного зрения эта задача, однако, представляет бóльшую сложность, и большинство известных методов направлены только на удаление артефактов движения и сглаживание кадров.

Ученые из Индийского технологического института под руководством А. Н. Раджагопалана (A. N. Rajagopalan) предположили, что на основе одного размытого изображения можно создать целое короткое видео: то есть восстановить изначальное движение из его артефактов на снимке. Для этого они разработали алгоритм на основе сверточных нейросетей, которые активно применяют для задач, связанных с автоматическим распознаванием изображений, а также рекуррентных нейросетей.





Модель обучается на большом количестве видео, которые разбиваются на кадры. После этого нейросеть ищет такой кадр, артефакты на котором наиболее соответствуют артефактам кадра тренировочной выборки. После этого декодер «восстанавливает» артефакты кадра тренировочной выборки в движение, запечатленное на видео. Внутри модели, таким образом, хранятся данные о возможных восстановленных движениях из каждого доступного в обучающей выборке размытого кадра.

В результате работы нейросеть выдает восстановленные из размытого изображения видео, состоящие из десяти кадров. Разработанный алгоритм, по мнению создателей, сможет в дальнейшем помочь улучшать не только восстановление размытых изображений, но и самих видео.
Избавление от артефактов движения в отдельных кадрах может также улучшить стриминг видео. Пока что для этого используются, в основном, алгоритмы адаптации битрейта в зависимости от скорости видео и его буферизации.

Елизавета Ивтушок

[источники]источники
https://nplus1.ru/news/2018/04/10/blurred-image-reconstruction


Tags: Технологии
Subscribe

Posts from This Journal “Технологии” Tag

promo masterok january 2, 2018 12:00 47
Buy for 300 tokens
Вот так выглядит трафик в блоге 2020 год по месяцам. Это более ТРЕХ МИЛЛИОНОВ просмотров в месяц, среди которых не только залогиненные в ЖЖ , но и любые просмотры из поисковых систем. При этом за месяц приходит около МИЛЛИОНА посетителей. Статистика Google Analytics за месяц 2020 года (…
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your IP address will be recorded 

  • 1 comment