Нейросеть Nvidia научили менять погоду на видео

Исследователи компании Nvidia опубликовали технологическое решение, позволяющее нейросети представить солнечную погоду, когда на улице идёт дождь или снег — и наоборот

Технология позволит беспилотным автомобилям адаптироваться к поездкам с более низкой видимостью.

Учёные использовали генеративно-состязательную сеть (GAN), которая применяется для создания реалистичных изображений. GAN объединяет две отдельные нейросети: одна из них генерирует данные, а другая оценивает их, отклоняя неточные образцы.

Генеративно-состязательную сеть использовалась при создании фотореалистичных портретов вымышленных голливудских звёзд и персонализированных цифровых нарядов.  Исследование Nvidia имеет большое преимущество — алгоритм учится с гораздо меньшим контролем.

Для оптимального результата необходимо скормить ИИ как минимум два изображения, сделанных в одной локации при разных условиях. После этого алгоритм изучает разницу между снимками и генерирует новые примеры.

Новый метод Nvidia не нуждается в подготовительной работе — всё работает без маркированных наборов данных, что позволяет экономить время, которое понадобилось бы на сортировку данных для обучения.