Можно ли получить доступ к Vidu, новой китайской нейросети преобразования текста в видео?

Знакомьтесь, нейросеть Vidu, инновационная модель искусственного интеллекта преобразования текста в видео из Китая, предназначенная для создания видеороликов! Давайте изучим ее возможности и определим, доступна ли она в настоящее время пользователям.

Что такое Vidu?

Vidu - новая революционная модель искусственного интеллекта для создания видео из тектосвого описания, была недавно представлена на форуме 2024 Zhongguancun в Пекине. Нейросеть является результатом сотрудничества Университета Цинхуа и китайского стартапа ShengShu Technology. Китайский продукт отличается увеличенной продолжительностью видео, исключительной последовательностью и возможностями динамического создания видеороликов.

Продукт отлично справляется с обработкой и созданием контента, включающего такие культурно значимые элементы, как панды и китайский дракон, отметил Чжу Цзюнь, заместитель директора Института искусственного интеллекта Цинхуа.

По словам представителей компании, основополагающая архитектура Vidu была предложена еще в 2022 году. Судя по всему, архитектура модели основана на U-ViT, которая похожа на диффузионный трансформатор, используемый в SORA от OpenAI.

Возможности Vidu

Vidu, новый конкурент Sora от OpenAI, способен генерировать 16-секундное видео в разрешении 1080p. Он предназначен для преобразования текстовых описаний в динамичные высококачественные видеоролики. Эта модель искусственного интеллекта для преобразования текста в видео делает больше, чем просто визуальная интерпретация контента на базовом уровне. Она может создавать видео из текста с полным набором сцен, персонажей и действий, основанных на введенном тексте, что делает видео впечатляюще реалистичным. Нейросеть может генерировать видеопоследовательности, иллюстрирующие историю или инструкции, описанные в тексте, с соответствующими настройками, взаимодействиями и движениями, соответствующими сюжетной линии.

Во время живой демонстрации Vidu смог имитировать реальный физический мир, создавая сцены, которые следуют реальным физическим законам, включая реалистичные эффекты освещения и тени, а также детальные выражения лиц. Кроме того, он может создавать сложные движущиеся кадры, а не просто статичные.

Как пользоваться Vidu?

Главный вопрос - смогут ли пользователи получить доступ к Vidu и протестировать его возможности? Если говорить коротко, то и да, и нет. Новая китайская модель не находится в свободном доступе просто по ссылке, однако любой желающий может подать заявку на рассмотрение доступа к новой платформе.

Чтобы подать заявку на доступ к Vidu:

1. Перейдите на официальный сайт.

2. Нажмите на синюю кнопку в правом верхнем углу.

3. Вы увидите простую форму с несколькими полями. Заполните ее.

4. Ждите звонка.

Преимущества и недостатки

Плюсы:

• Плавно смешивает кадры для связного повествования.
• Эффективно моделирует физику реального мира.
• Создает креативные визуальные эффекты.
• Уже производит контент, близкий по качеству к Sora, и постоянно совершенствуется.

Недостатки:

• Иногда упускает из виду мелкие, но важные детали.
• Может испытывать трудности при работе со сложными динамическими сценами.
• Требует значительных вычислительных ресурсов, что ограничивает более широкое использование.