MOSS-Image（MOSS 图像生成模型系列）是一款采用 Apache-2.0 许可的开源文生图模型，从写实摄影、插画动漫到海报信息图都能生成。训练文生图模型，常见的做法是在现成的底座上继续训练，或者为特定能力外挂控制模块；MOSS-Image 走的是另一条路：团队从零预训练了一个 5B 的单流扩散 Transformer 作为通用文生图底座。它的训练数据只用真实图片，布局信息也不另开通道，而是和普通描述一样以文本形式输入。

这套方案由 OpenMOSS 团队提出，技术报告于 2026 年 10 月发布在 arXiv 上。OpenMOSS 团队由复旦大学计算机学院邱锡鹏教授带领，是上海创智学院、复旦大学 NLP 实验室和模思智能三方共建的研究团队。在通用生图能力之外，这套底座在两项专项评测中表现突出：长文本渲染基准 LongLongTextBench（LLTB）的平均文本覆盖率 96.3%，布局控制基准 7Bench 的已检测目标平均交并比 0.88。

一、整体架构：两个冻结组件，加一个从零训练的 5B 主干

MOSS-Image 的三个组成部分

MOSS-Image 由三个组件协同工作。第一个是 Qwen3.5-9B 文本编码器，负责把提示词转成文本特征；第二个是 FLUX.2 VAE，负责在像素空间和潜空间之间来回转换图像，这两个组件在训练中都保持冻结。第三个是团队从零预训练的扩散 Transformer（DiT），由 42 个联合 Transformer block 组成，负责在潜空间里一步步去噪，把图像生成出来。

官网所说的“5B 主干”就是这个扩散 Transformer，不包括文本编码器和 VAE。主干的隐层维度为 3072，注意力为 24 个头、每头 128 维。文本特征先经过一个线性投影和两层只处理文本的 Transformer，再与图像 token 一起进入主干。

图像怎样变成 token

VAE 先把图片的宽和高各压缩 8 倍，得到潜空间特征，再把每 2×2 个潜空间位置打包成一个 token，相当于原图每 16×16 像素的区域对应一个 token。一张 1024×1024 的图因此对应 4096 个图像 token，这也是 MOSS-Image 要求出图宽高都是 16 的整数倍的原因。

二、单流结构下的四项 block 设计

MOSS-Image 采用单流结构，文本 token 和图像 token 拼成一条序列，在每个 block 里共同计算注意力。技术报告列出的 block 设计有四项。

联合自注意力

文本和图像在同一组注意力里建模，生成每个图像区域时，都能直接关注提示词中的全部描述，无论描述的是光线、材质、人物动作还是要写进画面的文字。

共享调制

模型内部共用一套调制参数来注入时间步等条件信息，减少了调制层的冗余参数。

SiTU-GLU 前馈层

这是一种带平滑上限的门控前馈结构，作用是提升长期训练时的数值稳定性。

4D RoPE

位置编码分成参考图索引、序列位置、宽、高四个轴。其中参考图这一轴，为后续的参考图条件生成预留了位置。

三、训练数据：只用真实图片，把瑕疵写进描述

约 30 亿张真实图片

预训练语料来自 ReLAION、OmniCorpus、DataComp 等 16 个公开图文数据源。团队先去重，再用自研检测器剔除 AI 生成的图片，从约 50 亿张中最终保留约 30 亿张。社区开发者也认为，去掉 AI 生成的训练图，是 MOSS-Image 观感更自然的一个原因。

标注而非过滤

此后团队没有再做额外的质量过滤。水印、模糊、压缩痕迹这类问题不作为删图的理由，而是写进图片描述，让模型知道它们是什么。技术报告把这种做法概括为“标注而非过滤”，目的是尽量保留真实世界的数据分布；附录中的消融实验也提示，加上额外的启发式过滤后，模型的整体生成质量和文字渲染能力都有下降的趋势。

三种粒度的描述

图片描述分短、中、长三个粒度：一句话概括、一段话描述，以及详细交代构图、主体、场景属性和可见文字的长描述。训练时在原始描述和这三类重写描述之间按比例采样，模型因此既能理解一句话的简短需求，也能读懂很长的详细说明。

四、训练过程：渐进式训练、混合优化器与国产算力

分阶段提高分辨率和文本长度

MOSS-Image 采用渐进式多阶段训练，从低分辨率、短文本开始，逐步提高图像分辨率和文本条件长度，最终阶段的文本上限达到 4096 tokens，对应官网所说的“最长 4K tokens 提示词”。

Muon 与 AdamW 混合优化

团队全程使用 Muon 与 AdamW 混合的优化方案。在 1B 参数规模的对比实验中，要达到同样的去噪损失，混合优化器需要的训练步数比只用 AdamW 更少：以训练早期的损失水平计少 33.2%，以训练后期的损失水平计少 28.6%。

算力与团队

算力方面，MOSS-Image 采用国产 PPU 算力平台进行模型训练，核心开发工作由 4 人团队完成。

五、文字和布局怎样接入同一条文本通道

结构化标注：把边界框写成文字

训练时，团队为一部分图片额外制作了结构化标注，包含整体描述和逐个元素的类别、边界框，以及逐字转写的可见文字和字体属性，再把这些标注序列化成文本，和普通描述一样送进文本条件通道。

推理时，用户写的 JSON 布局也是同样的格式：summary 写整体场景，items 写每个元素，坐标以画布中心为原点、用绝对像素表示，顺序为 [y_min, x_min, y_max, x_max]。

官网的布局示例直观展示了这种布局输入，图片底部的英文说明大意是：MOSS-Image 用布局输入控制复杂画面中的文字摆放和物体排布。

左半部分相当于一份可视化的 JSON 布局：顶部是标题框和副标题框，中间并排三个卡片框，底部是页脚框；第一张卡片里是提示词文本框，第二、三张卡片里则用更小的边界框圈出机器人、方块、盆栽和桌子的位置。

右半部分是模型读入这份布局后的生成结果。顶部是标题“Layout Control”和一行副标题；第一张卡片 Text Intent 写着一段英文提示词，大意是蓝色机器人在左、橙色小方块居中、绿色盆栽在右，都放在桌子上。

第二张卡片 Layout Sketch 是带 robot、cube、plant、table 标签的框图，第三张卡片 Layout-Guided Image 是按框生成的成图，机器人、方块和盆栽从左到右排在桌面上；页脚写着 Position、Relative Size、Spatial Relations 三个标签。

文字框和物体框在同一份布局里同时生效，直观体现了文字摆放和物体排布可以一并控制。

图注：官网布局示例，左为文字框与物体框组成的布局输入，右为按布局生成的说明图

为什么用中心原点的绝对坐标

不少布局控制方案使用归一化到 0–1000 的相对坐标。技术报告观察到，以画布中心为原点的绝对像素坐标，在训练时没见过的分辨率上泛化得更好，因此 MOSS-Image 选择了后者。

换行也是一种布局

标注时，图中文字逐字转写，并保留原有的换行位置。团队认为换行本身就是一种版面信息：提示词里写明换行，模型在去噪早期就能更快确定每一行写什么，最终的文字渲染也更好。

官网的动漫课堂示例展示了这种标注方式的效果。画面里，一位穿着 MOSI 字样 T 恤的动漫少女手拿粉笔站在黑板前，身后的中文板书分三条。第一条一行写完，介绍 MOSS-Image 的技术路线是“5B 的单流 DiT 模型，基于 Muon 训练”；第二条介绍模型特色，后面接“1、”“2、”两个子项，讲复杂文字渲染、中英渲染与自动布局，以及用 Layout 精准控制图像；第三条讲后续发展，提到将继续探索参考生图和少步蒸馏等工作，句子较长，自然折成两行。

编号、分项和折行都清楚有序，中文里夹带的 MOSS-Image、DiT、Muon、Layout 等英文词清晰可辨，板书和人物、教室背景一起生成出来。

图注：黑板上分行书写的三条中英混排板书，编号与行序清晰

六、推理期规划：Prompt Enhancer 的作用

从一句话需求到完整规划

用户常常只给一个主题，比如“做一张介绍蜜蜂身体结构的信息图”，至于标题写什么、分几个板块、每块放哪里，都没有交代。为此，MOSS-Image 在推理阶段可以搭配一个意图感知的提示词增强模块 Prompt Enhancer（技术报告里叫 Layout PE）：先判断需求属于海报、信息图还是用户界面，按需检索知识和视觉参考，再输出详细描述或 JSON 布局，交给生成器执行。技术报告评测时以 GPT-6 作为它的规划器；相应的 Prompt Enhancer Skill 也已随模型开源。

提示词写法对效果的影响

技术报告用同一个 MOSS-Image 生成器、五种提示词写法做了人工盲评。“直接扩写”指不经智能体路由和参考检索，直接把简短需求扩写成长描述；“详细描述”是基准自带的详细说明；“JSON 布局”和“规划后改写为自然语言”用的是同一份 Prompt Enhancer 规划，前者以 JSON 输入，后者改写成一段文字输入。

按 Elo 从高到低，五种写法依次是：经规划的 JSON 布局 1622.9，直接扩写 1541.5，详细描述 1509.2，规划后改写为自然语言 1506.2，原始简短需求 1081.7。

四种详细写法都比原始简短需求高出 400 分以上，可见把需求写细是用好 MOSS-Image 的关键；同一份规划以 JSON 形式输入时得分最高，比改写成一段文字高出 116.7 分，结构化的布局信息更能发挥 Prompt Enhancer 的规划价值。这组 Elo 单独拟合，只用于比较 MOSS-Image 自身的几种写法。

七、LLTB 与 7Bench 两项专项评测成绩

以下成绩的评测对象都是预训练阶段的生成器。

逐字转写标注与 LLTB 长文本成绩

保留换行的逐字转写标注，在设计上主要服务于长文本渲染。LLTB 的成绩表分为闭源和开源两组，共列出 12 个模型，每个模型都有英文、中文各短、中、长三档的文本覆盖率，以及六档平均值 Mean-6。

在开源组的 8 个模型中，MOSS-Image 的 Mean-6 为 96.3%，排在首位；其后依次为 Qwen Image 2512 的 64.9% 和 Ideogram 4.0 的 63.5%，ERNIE Image、SenseNova U1、Z-Image Base、Krea 2 Raw 和 FLUX.2 依次为 55.7%、43.9%、40.8%、31.8% 和 11.8%。MOSS-Image 六档成绩落在 92.4% 到 98.0% 之间，中英文、长短文本的表现都很均衡。

在中文文本上，文本越长，MOSS-Image 的领先越明显：短文本档 MOSS-Image 为 96.3%，比开源组其他模型中的最高分（Qwen Image 2512 的 89.9%）高出 6.4 个百分点；到了中档，其他模型的最高分降到 59.9%（Ideogram 4.0），MOSS-Image 仍有 96.7%；到了长档，其他模型最高只有 31.8%（同为 Ideogram 4.0），MOSS-Image 则保持在 92.4%，约为后者的 2.9 倍。

图注：LLTB 各模型在中英文短、中、长六档文本上的覆盖率（%），越高越好

结构化布局标注与 7Bench 定位精度

以画布中心为原点的结构化布局标注，在设计上主要服务于布局控制。7Bench 考察的是按目标框摆放物体，成绩表列出了六个参评模型的两项指标：衡量物体落点与目标框重合程度的 mIoU_det，以及在多档重合阈值下综合评估布局准确率的 Layout AUC。

MOSS-Image 的两项指标分别为 0.88 和 0.70，均为表中最高。排在它之后的是 Ideogram 4.0，两项指标为 0.44 和 0.20；Seedream 5.0 Pro 为 0.33 和 0.18，Nano Banana Pro 为 0.33 和 0.16，Qwen Image 3.0 Pro 为 0.31 和 0.18，GPT Image 2 为 0.30 和 0.16。按 mIoU_det 计，MOSS-Image 是第二名 Ideogram 4.0 的 2 倍；按 Layout AUC 计，则达到它的 3.5 倍。

图注：7Bench 各模型的 mIoU_det 与 Layout AUC，两项均为越高越好；Ideogram 4.0 使用公开 FP8 权重测试，与 Ideogram 官方自报的口径不同

八、MOSS-Image 架构的看点与后续空间

MOSS-Image 的架构思路可以概括为两步：先用约 30 亿张真实图片和多粒度描述，从零训练出一个通用的 5B 文生图底座；再把文字和布局都当作文本来读，用保留换行的逐字标注和结构化布局数据，让这个底座多出写字和排版两项长板。对研究者来说，“标注而非过滤”的数据策略、单流结构和中心原点坐标的选择，都是值得关注的设计。

这套架构也为后续扩展留好了接口：4D RoPE 中预留的参考图轴，为参考图条件生成等能力留出了空间；Prompt Enhancer 可以接入不同的大语言模型，规划能力有望随着大模型的进步一起提升。

关于 MOSS-Image 技术架构的常见问题

MOSS-Image 是基于 FLUX 或 Qwen 开发的吗？

生成主干不是。MOSS-Image 的 5B 扩散生成器由团队从零预训练，并非在 FLUX 或 Qwen 的生成模型上继续训练；文本编码器和 VAE 分别沿用冻结的 Qwen3.5-9B 和 FLUX.2 VAE，训练中不更新参数。

为什么 MOSS-Image 的画面观感比较自然？

技术报告披露，MOSS-Image 预训练只用剔除了 AI 生成图的真实图片，也不做额外的质量过滤，尽量保留真实世界的数据分布；社区开发者也认为，这是它观感更自然的原因之一。

为什么 MOSS-Image 出图的宽高必须是 16 的倍数？

因为图像经 VAE 压缩 8 倍后，再按 2×2 打包成 token，原图每 16×16 像素对应一个 token，宽高不是 16 的倍数就无法完整切分。

Prompt Enhancer 是模型的一部分吗？

不是。它是推理阶段可选的规划模块，依赖外部大语言模型生成详细描述或 JSON 布局；MOSS-Image 本身可以直接接受用户写好的提示词。

责任编辑：kj005

文章投诉热线:157 3889 8464  投诉邮箱:7983347 16@qq.com