Google продемонстрировала VideoPoet – новый инструмент ИИ для создания видео. Эта нейросеть предназначена для выполнения ряда задач, включая преобразование текста в видео, изображение в видео, стилизацию видео, закрашивание видео, а также преобразование видео в аудио.
Особенности
VideoPoet может создавать различные типы видеороликов, включая короткометражные фильмы, музыкальные клипы и даже поясняющие видеоролики. VideoPoet основана на большой языковой модели (LLM), обученной на огромном наборе данных текстовых и видеоданных. Для обучения использовались 270 млн видео и более чем 1 млрд пар текста и изображения из Интернета и других источников.
В результате модель способна понимать взаимосвязь между текстом и видео и создавать связные и визуально привлекательные видеоролики. Google адаптировал VideoPoet для создания видео в портретной ориентации по умолчанию или «вертикального видео», которое используется в различных социальных сетях.
Одна из самых впечатляющих особенностей VideoPoet – это способность создавать длинные видеоролики. Модель может создавать видеоролики длительностью в несколько минут, объединяя короткие клипы. Это позволяет использовать VideoPoet для создания более сложных и тонких видеороликов. VideoPoet также можно использовать для редактирования существующих видео.
Например, можно использовать этот инструмент, чтобы добавить анимацию к статическому изображению или изменить стиль видео. Это делает VideoPoet мощным инструментом для редактирования видео даже для людей, не имеющих большого опыта.
Доступность
На данный момент VideoPoet ещё не доступен в качестве коммерческого продукта.
