Open-Sora 2.0作为新一代开源视频生成模型，凭借突破性技术架构和高效训练方案，在生成质量和成本控制方面树立了行业新标杆。

Open-Sora 2.0是什么

这款创新性的开源视频生成模型采用前沿技术架构，仅用224张GPU就完成了11B参数模型的训练。其训练成本控制在20万美元以内，大幅降低了商业级视频模型的开发门槛。通过3D自编码器与全注意力机制的创新组合，配合MMDiT架构设计，在VBench等专业评测中展现出超越主流闭源模型的卓越性能。

Open-Sora 2.0的主要功能

1. 高质量视频生成：支持720p分辨率24FPS流畅输出，无论是自然景观还是复杂动态场景都能精准呈现。
2. 动作幅度可控：提供动作幅度调节功能，让用户能够精确控制视频中人物或物体的动态表现。
3. 文本到视频生成：直接根据文字描述生成对应视频内容，满足各类创意视频制作需求。
4. 图像到视频生成：结合开源图像模型，实现基于静态图像的动态视频生成。

Open-Sora 2.0的技术原理

1. 模型架构：三维自编码器处理视频数据，全注意力机制确保时空一致性，MMDiT架构强化文本视频关联。
2. 高压缩比自编码器：采用4×32×32压缩方案，显著降低推理成本。
3. 高效训练方法：多阶段数据筛选确保质量，低分辨率优先训练策略大幅减少计算开销。
4. 并行训练与优化：整合ColossalAI系统优化，通过序列并行等技术实现资源最大化利用。
5. 模型初始化与蒸馏：借助FLUX模型初始化，采用蒸馏策略提升特征表达能力。

Open-Sora 2.0的性能表现

1. 媲美主流闭源模型：11B参数规模下，性能达到HunyuanVideo等商业模型的同等水平。
2. 用户偏好评测：在视觉表现和文本一致性等关键指标上超越多个开源和商业模型。
3. VBench指标强势：与OpenAI Sora的性能差距从4.52%缩减至0.69%，评测分数超越腾讯HunyuanVideo。

Open-Sora 2.0的项目地址

1. GitHub仓库：https://github.com/hpcaitech/Open-Sora
2. 技术论文：https://github.com/hpcaitech/Open-Sora-Demo/blob/main/paper/Open_Sora_2

Open-Sora 2.0的生成效果

1. 提示词：A tomato surfing on a piece of lettuce down a waterfall of ranch dressing, with exaggerated surfing moves and creamy wave effects to highlight the 3D animated fun.

1. 提示词：A drone camera circles a historic church on a rocky outcrop along the Amalfi Coast, highlighting its stunning architecture, tiered patios, and the dramatic coastal views with waves crashing below and people enjoying the scene in the warm afternoon light.

1. 提示词：A scene from disaster movie.

1. 提示词：Chinese ancient style, realism. A young woman, dressed in an embroidered red qipao, walks along the ancient streets of a bustling Chinese town. The red lanterns hanging above her sway gently in the evening breeze, and her calm, confident stride contrasts with the lively atmosphere of merchants and performers around her.

如何使用Open-Sora 2.0

1. 从源代码安装：
   1. 创建虚拟环境：

conda create -n opensora python=3.9
conda activate opensora

1. 1. 克隆仓库：

git clone https://github.com/hpcaitech/Open-Sora
cd Open-Sora

pip install -r requirements/requirements-cu121.txt

1. 1. 1. 安装项目：

pip install -v .

1. 1. 1. 安装加速依赖：

pip install git+https://github.com/hpcaitech/TensorNVMe.git
pip install git+https://github.com/hpcaitech/ColossalAI.git
pip install packaging ninja
pip install flash-attn --no-build-isolation
pip install -v --disable-pip-version-check --no-cache-dir --no-build-isolation --config-settings "--build-option=--cpp_ext" --config-settings "--build-option=--cuda_ext" git+https://github.com/NVIDIA/apex.git

1. 使用Docker安装：
   1. 构建Docker镜像：

docker build -t opensora .