Рисунок в мультик: как оживить детский рисунок нейросетью
Ребёнок нарисовал дракона — покажите ему, как дракон летает. Нейросеть превращает фотографию рисунка в короткий мультфильм за минуту, не трогая детскую манеру. Разбираем, что для этого нужно и что из этого работает из России.
Что происходит, когда рисунок «оживает»
Раньше это делали покадрово: рисунок сканировали, резали героя на части в графическом редакторе, собирали скелет и двигали его по ключевым кадрам. На один пятисекундный ролик уходил вечер, и результат зависел от того, умеете ли вы обращаться с анимационной программой.
Сейчас вся эта работа сведена к одной фразе. Вы загружаете фотографию рисунка и пишете, что должно происходить, — нейросеть сама достраивает промежуточные кадры, дорисовывая то, чего на листе не было: как повернётся голова, где окажется рука на середине взмаха, что покажется из-за спины героя. Именно поэтому получается мультик, а не подрагивающая картинка.
Технология называется image-to-video: исходная картинка становится первым кадром, остальные модель достраивает сама. Её же используют, когда оживляют старые фотографии, — но с рисунками она работает свободнее, см. вопросы ниже.
Как сделать мультик из рисунка за три шага
Лист на стол, свет из окна, телефон строго сверху. Тень от руки и блик от лампы нейросеть примет за часть рисунка и заставит их двигаться вместе с героем.
«Дракон машет крыльями и медленно взлетает». Одно действие и один герой: за несколько секунд большего не поместится, и модель начнёт выбирать сама.
Несколько секунд движения. Рисунок не перерисовывается — остаются те же линии и цвета, поэтому ребёнок узнаёт свою работу.
Что написать, чтобы получилось с первого раза
Описание работает лучше всего, когда в нём одно действие и один герой. «Дракон машет крыльями и медленно взлетает» — хорошая фраза. «Дракон взлетает, потом садится, а рядом бежит собака» — плохая: за несколько секунд столько не помещается.
Помогают слова про темп и направление: «медленно», «идёт слева направо», «поворачивается к нам». Мешают слова про стиль и качество — «красиво», «как в Диснее», «4K»: рисунок ребёнка от них лучше не станет, зато модель может увести картинку от исходной манеры.
Если ребёнок рядом — спросите у него, что делает его герой, и напишите ответ дословно. Это не только точнее: мультик получается по его сценарию, и смотреть его он будет иначе.
Какие нейросети это умеют и что из них работает из России
Задачу закрывают видеомодели с режимом «из картинки в видео». Из распространённых это Kling, Seedance, Runway, Luma и Hailuo — качество у них сопоставимое, разница в длительности ролика и в цене за секунду. Проблема не в выборе модели, а в доступе: почти все они зарубежные, российские карты не принимают, а часть закрывает вход с российского IP.
Обходной путь через VPN и посредников работает ненадёжно и стоит дороже, чем кажется: посредник берёт комиссию, а резкая смена страны для сервиса выглядит как нарушение и заканчивается блокировкой аккаунта вместе с балансом.