Знакомьтесь, нейросеть Vidu, инновационная модель искусственного интеллекта преобразования текста в видео из Китая, предназначенная для создания видеороликов! Давайте изучим ее возможности и определим, доступна ли она в настоящее время пользователям.
Что такое Vidu?
Vidu - новая революционная модель искусственного интеллекта для создания видео из тектосвого описания, была недавно представлена на форуме 2024 Zhongguancun в Пекине. Нейросеть является результатом сотрудничества Университета Цинхуа и китайского стартапа ShengShu Technology. Китайский продукт отличается увеличенной продолжительностью видео, исключительной последовательностью и возможностями динамического создания видеороликов.
Продукт отлично справляется с обработкой и созданием контента, включающего такие культурно значимые элементы, как панды и китайский дракон, отметил Чжу Цзюнь, заместитель директора Института искусственного интеллекта Цинхуа.
По словам представителей компании, основополагающая архитектура Vidu была предложена еще в 2022 году. Судя по всему, архитектура модели основана на U-ViT, которая похожа на диффузионный трансформатор, используемый в SORA от OpenAI.
Возможности Vidu
Vidu, новый конкурент Sora от OpenAI, способен генерировать 16-секундное видео в разрешении 1080p. Он предназначен для преобразования текстовых описаний в динамичные высококачественные видеоролики. Эта модель искусственного интеллекта для преобразования текста в видео делает больше, чем просто визуальная интерпретация контента на базовом уровне. Она может создавать видео из текста с полным набором сцен, персонажей и действий, основанных на введенном тексте, что делает видео впечатляюще реалистичным. Нейросеть может генерировать видеопоследовательности, иллюстрирующие историю или инструкции, описанные в тексте, с соответствующими настройками, взаимодействиями и движениями, соответствующими сюжетной линии.
Во время живой демонстрации Vidu смог имитировать реальный физический мир, создавая сцены, которые следуют реальным физическим законам, включая реалистичные эффекты освещения и тени, а также детальные выражения лиц. Кроме того, он может создавать сложные движущиеся кадры, а не просто статичные.
Как пользоваться Vidu?
Главный вопрос - смогут ли пользователи получить доступ к Vidu и протестировать его возможности? Если говорить коротко, то и да, и нет. Новая китайская модель не находится в свободном доступе просто по ссылке, однако любой желающий может подать заявку на рассмотрение доступа к новой платформе.
Чтобы подать заявку на доступ к Vidu:
1. Перейдите на официальный сайт.
2. Нажмите на синюю кнопку в правом верхнем углу.
3. Вы увидите простую форму с несколькими полями. Заполните ее.
4. Ждите звонка.
Преимущества и недостатки
Плюсы:
- Плавно смешивает кадры для связного повествования.
- Эффективно моделирует физику реального мира.
- Создает креативные визуальные эффекты.
- Уже производит контент, близкий по качеству к Sora, и постоянно совершенствуется.
Недостатки:
- Иногда упускает из виду мелкие, но важные детали.
- Может испытывать трудности при работе со сложными динамическими сценами.
- Требует значительных вычислительных ресурсов, что ограничивает более широкое использование.
Будьте первым — оставьте комментарий.