Wan 2.1 от Alibaba: новая нейросеть для создания видео

Мир искусственного интеллекта постоянно эволюционирует, и в феврале 2025 года компания Alibaba через свою лабораторию TongyiLab представила очередное инновационное решение - Wan 2.1. Эта нейросеть с открытым исходным кодом полностью меняет представление о возможностях генеративного ИИ в создании видео. Давайте разберемся, что делает эту нейросеть особенной и почему она заслуживает вашего внимания.

Что такое Wan 2.1 и как она работает?

Wan 2.1 - это комплексная модель искусственного интеллекта, предназначенная для генерации видео. В основе её работы лежит парадигма трансформации диффузии, дополненная инновационным пространственно-временным вариационным автокодировщиком (VAE).

Основные возможности модели:

• Преобразование текста в видео (Text-to-Video, T2V)
• Создание видео из статичных изображений (Image-to-Video, I2V)
• Редактирование существующих видеофрагментов
• Генерация аудиосопровождения
• Создание изображений на основе текстовых описаний (Text-to-Image, T2I)

Ключевая особенность Wan 2.1 заключается в её открытости - модель распространяется под лицензией Apache 2.0, что делает её доступной для широкого круга разработчиков и энтузиастов.

Доступные версии Wan 2.1

Alibaba выпустила несколько вариантов модели, каждый из которых оптимизирован для определенных задач:

1. T2V-1.3B- легкая версия с 1,3 миллиардами параметров для базовой генерации видео из текста
2. T2V-14B- усовершенствованная модель с 14 миллиардами параметров для создания высококачественного видеоконтента
3. I2V-14B-480P- специализированная модель для преобразования изображений в видео с разрешением 480p
4. I2V-14B-720P- продвинутая версия для создания более качественного видео с разрешением 720p

Такое разнообразие моделей позволяет пользователям выбирать оптимальное соотношение между качеством, скоростью и требованиями к вычислительным ресурсам.

Стоимость и доступность Wan 2.1

Одним из главных преимуществ Wan 2.1 является гибкая модель распространения:

• Бесплатный доступ: исходный код моделей доступны на популярных платформах GitHub и HuggingFace
• Freemium-модель: некоторые платформы, например официальный сайт, предлагают 50 бесплатных кредитов ежедневно

Платные API:

• Wan 2.1 (1.3B) TexttoVideo: $0.12 за одну генерацию
• Wanx 2.1 (14B) Text/Image to Video: $0.28 за одну генерацию

Такой подход делает технологию доступной как для любителей нейросетей, так и для коммерческих пользователей с высокими требованиями к производительности.

Преимущества и недостатки

Плюсы

• Качество контента, создаваемого Wan 2.1, не только сопоставимо с коммерческими решениями, включая Veo 2 от Google, но в некоторых аспектах даже превосходит их.
• Модель превосходно справляется с моделированием движения воды и других природных элементов, что придает видео естественность и реалистичность.
• В отличие от многих конкурентов, Wan 2.1 предлагает полный доступ к своему коду, что обеспечивает легкую интеграцию в существующие проекты и возможность кастомизации.
• Нейросеть для генерации видео понимает запросы на русском языке и способна генерировать текстовый контент на китайском и английском языках, что расширяет её применимость в международных проектах.
• Модель демонстрирует высокую эффективность при обработке сложных сцен с множеством взаимодействующих объектов, сохраняя логику их взаимодействия.
• Особенно впечатляющие результаты достигаются при создании анимации людей и животных, передавая естественность движений.
• При трансформации исходных изображений в видео Wan 2.1 отлично сохраняет текстуры и мелкие детали, обеспечивая высокую визуальную точность.

Минусы

При всех своих достоинствах, Wan 2.1 не лишена определенных ограничений:

• По скорости создания видеоконтента модель уступает некоторым конкурентам, например, Hunyuan.
• Модель T2V-1.3B позволяет создавать только 5-секундные видеоролики с разрешением 480p, что может быть недостаточно для профессиональных задач.
• При работе со стилизованными или необычными изображениями могут возникать трудности с сохранением стиля или уникальных особенностей оригинала.
• Официальный сайт модели может испытывать высокую нагрузку, приводящую к длительному ожиданию в очереди на генерацию.
• Даже легкая версия модели (T2V-1.3B) требует не менее 8 ГБ видеопамяти, что ограничивает возможности её использования на слабых компьютерах.
• В некоторых случаях в сгенерированных видео могут появляться незначительные размытости или визуальные искажения.

Кому подойдет Wan 2.1?

Модель Wan 2.1 представляет значительную ценность для самого широкого круга пользователей:

• Разработчикам и исследователям - благодаря открытому исходному коду и гибкости настройки.
• Креативным специалистам - для быстрого прототипирования идей и создания визуального контента.
• Маркетологам и SMM-специалистам - для генерации привлекательных материалов для социальных сетей.
• Стартапам - как доступное решение для внедрения ИИ-функциональности в свои продукты.
• Любителям технологий - для экспериментов и создания уникального контента без специального оборудования.

Заключение

Wan 2.1 от Alibaba представляет собой значительный шаг вперед в развитии генеративного ИИ для мультимедийного контента. Сочетание открытого исходного кода, высокого качества генерации и разнообразия функциональных возможностей делает эту модель привлекательным инструментом как для профессионалов, так и для обычных пользователей, интересующихся новейшими технологиями искусственного интеллекта.