浙江大学与阿里巴巴联合研发的EliGen框架，开创性地实现了实体级可控图像生成，通过创新技术赋予用户前所未有的图像编辑自由度。

EliGen的核心优势

1. 实体级精确控制：基于区域注意力机制的技术突破，使EliGen能够精准调控图像中每个实体的空间位置、几何外形及语义特征。
2. 复合修复能力：独创的修复融合管道技术，支持在单次运算中同时处理多个实体修复任务，且确保未修改区域保持原始画质。
3. 艺术风格迁移：结合IP-Adapter技术，可将参考图像的美学风格完整迁移至目标图像，实现风格化实体控制。
4. 智能交互设计：整合多模态语言模型后，用户通过自然语言指令即可完成专业级图像创作与修改。
5. 模块化扩展能力：采用开放架构设计，可与IP-Adapter、In-Context LoRA等主流模型无缝对接，持续拓展创作边界。
6. 卓越的稳定性：在不同随机种子、动态位置调整及非常规布局场景下，始终保持稳定的高质量输出。

EliGen的技术架构

1. 智能注意力系统：改进的扩散变换器架构中，区域注意力模块通过联合处理全局提示与局部提示序列，配合三维空间条件掩码（实体-潜在/实体间/实体内），实现零参数增加的精细控制。
2. 数据支撑体系：基于Flux生成的50万张专业标注样本，配合Qwen2-VL视觉模型的多维度标注，构建出行业领先的训练数据集。
3. 高效训练方案：采用LoRA微调策略，将低秩适配权重精准部署于DiT各模块的线性层，包括注意力投影层及自适应LayerNorm组件。
4. 创新修复流程：多实体修复任务采用区域噪声融合算法，通过单次前向传播同步处理多个编辑指令，显著提升运算效率。

技术文献

1. 研究论文：https://arxiv.org/pdf/2501.01097

应用领域

1. 数字场景构建：支持复杂掩码控制的特性，使其成为虚拟现实环境与游戏场景设计的理想工具。
2. 数字资产创作：为角色建模、道具设计等数字内容生产提供像素级控制能力。
3. 智能数据工厂：可批量生成符合特定需求的训练数据，大幅提升机器学习效率。
4. 商业视觉设计：满足广告创意、产品可视化等专业领域的高标准图像需求。

EliGen通过突破性的技术架构重新定义了图像生成范式，为各领域专业人员提供了前所未有的创作控制能力。