А вы замечали, что в сгенерированных нейросетями видео люди часто двигаются так, будто они либо застряли в густом киселе, либо отчаянно опаздывают на последнюю электричку, перебирая ногами со скоростью света? ️ До недавнего времени искусственный интеллект, при всем его технологическом великолепии, совершенно не чувствовал ритма. Но, как гласит народная мудрость, делу время, а потехе — качественный, плавный видеоконтент!
Конец эпохи немого кино на максималках
Команда талантливых разработчиков Kandinskу из Сбера решила положить конец этой хронологической вакханалии. Наши светлые умы создали Time Adapter — изящную надстройку к генеративным моделям, которая наконец-то объяснила бездушной машине, что такое динамика событий и частота кадров.
Для того чтобы привить нейросети чувство такта, ее усадили за просмотр 40 тысяч видеороликов с самой разной скоростью происходящего. В процессе этого увлекательного киномарафона ИИ научился блестяще отличать реальную скорость бегущего за сосиской кота от искусственно замедленной съемки полета пули.
Мал золотник, да дорог
В итоге получился эдакий электронный дирижер, состоящий из двух независимых блоков. Самое забавное и поразительное, что этот модуль занимает меньше 1% от размера основной модели! Один блок теперь работает как строгий метроном, отвечая за частоту кадров, а второй — как гениальный режиссер, виртуозно управляя динамикой каждой отдельной сцены.
У этой чудо-примочки есть два режима работы. Можно прикрутить адаптер к уже готовой модели, а можно обучать их вместе, словно двух неразлучных друзей. Во втором случае ИИ начинает понимать такие сложные физические процессы, которые раньше ему даже не снились.
Естественность превыше всего
Результаты говорят сами за себя: обновленная модель Kandinsky 5.0 Video Lite стала генерировать видео с людьми и природой на 29% естественнее. Деревья теперь плавно качаются на ветру, а не бьются в конвульсиях, пугая зрителей.
«Раньше скорость происходящего задавали только слова, и повлиять на реальную динамику было сродни попытке управлять погодой силой мысли. С Time Adapter модель не просто заучивает шаблоны, она понимает, как процессы разворачиваются во времени, задавая нужный ритм», — мудро заметил Денис Димитров, управляющий директор по исследованию данных.
Кстати, разработчики оказались людьми щедрыми с широкой душой и выложили код в открытый доступ под лицензией MIT. Берите, пользуйтесь, творите! А научная статья об этом прорыве уже покоряет умы на престижной конференции ICML.
В конце концов, время — это единственное, чего нам всегда не хватает. И если уж мы смогли научить машины ценить каждую секунду и двигаться в такт с этой удивительной Вселенной, значит, человечество определенно на верном пути. Возможно, однажды искусственный интеллект научит и нас никуда не спешить, с улыбкой наслаждаясь красотой каждого прожитого мгновения. ✨
