科技
设为书签Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。
业 界/ 互联网/ 家 电/ 通 信/ 数 码/ 手 机/ 平 板/ 笔记本/ 相 机 培训 学校 课程
当前位置:科技 > 快讯 >

MOSS-Image 是什么?一文看懂这款 5B 开源文生图模型

MOSS-Image 是什么?一文看懂这款 5B 开源文生图模型
2026-10-25 18:30:53 来源:财讯网

一幅横跨整幅画面的城市夜景全景,一张红黄蓝几何色块构成的平面插画,一页试卷空白处的铅笔速写,一尊展台上的白色石材雕塑,再加上雨中撑伞的动漫少女、写实风格的人像特写和黑板前写满中文板书的动漫人物,这些风格迥异的画面,全部出自同一个开源模型。

它就是 MOSS-Image(MOSS 图像生成模型系列),一款 5B 主干的开源文生图模型,能生成写实照片、动漫插画和带文字的设计图。2026 年 10 月 16 日,模思智能与 OpenMOSS 团队开源了 MOSS-Image-Base 和 MOSS-Image-SFT 两个版本,采用 Apache-2.0 许可,个人和企业都可以免费商用。其中两项能力尤其亮眼:在 LongLongTextBench(LLTB)长文本渲染评测中,它的平均文本覆盖率达到 96.3%,位居参评开源权重模型首位;在 7Bench 布局控制评测中,已检测目标平均交并比 0.88、Layout AUC 0.70,两项指标均领先参评模型。

图注:城市全景、几何设计、素描、雕塑、动漫与写实场景的生成样例

一、MOSS-Image 概览:一款全面的开源文生图模型

MOSS-Image 的定位与四项核心能力

MOSS-Image 的定位是一款全面的开源文生图模型,覆盖写实摄影、动漫插画、艺术创作和图文设计等多类题材。官方为它标注了四项核心能力:文生图、文字渲染、布局控制和多样风格。其中,文生图是通用的出图底座,多样风格决定了它能驾驭的题材范围,文字渲染和布局控制则让海报、信息图这类图文画面同样得心应手。下达指令的方式也很灵活,自然语言、标签串和 JSON 布局都能直接使用,几种写法还能混用,摄影爱好者、动漫创作者和设计师都能用自己熟悉的方式描述画面。

MOSS-Image 由 OpenMOSS 团队开发

开发 MOSS-Image 的是 OpenMOSS 团队,官方署名为 OpenMOSS Team。这支团队由上海创智学院、复旦大学 NLP 实验室与模思智能共同组建,此前已经开源了语音模型 MOSS-TTS、视觉理解模型 MOSS-VL 和音视频生成模型 MOVA。据官方介绍,MOSS-Image 在国产 PPU 算力平台上完成训练,核心开发工作由一支 4 人小团队完成。

5B 主干、4K tokens 提示词与灵活画幅

5B 是负责生成图像的扩散 Transformer 的参数规模。实际运行时,模型还会搭配 Qwen3.5-9B 文本编码器和 FLUX.2 VAE,这两个组件的参数单独计算,不含在 5B 之内。4K 则是提示词长度的上限,单位是 token,和出图分辨率无关。这样的长度给复杂画面留足了空间,主体、背景、材质、光照、风格和需要出现的文字,可以在同一段提示词里一次交代清楚。

画幅上,MOSS-Image 不限定长宽比。官方推荐的输出尺寸是 100 万、150 万或 200 万总像素,换算成方图大约在 1024×1024 到 1408×1408 之间;往下可以小到 512×512,往上可以外推到约 400 万总像素,宽和高取 16 的整数倍即可。

二、让中英文长文本自然融入画面

MOSS-Image 还能把成段正文、手写便签和黑板板书生成在场景里,换行、分段这些文字结构也会保留下来,适合海报、图文内容和带文字的插画。

在下面这张官方示例中,一位穿着印有“MOSI”字样 T 恤的动漫少女站在黑板前,身后的黑板用手写体分三条写满了中文板书,依次介绍模型的技术路线、模型特色和后续发展,每条都有编号和换行,其中还夹着英文单词,中英文混排清楚可读,人物、黑板和文字的光影也融为一体。想让文字更准确,官方给出的方法很简单:把想要出现在画面里的文字原样写进提示词,在需要换行的位置手动换行。海报、信息图、电商主图、社媒封面这些需要“图文一体”的场景,都能直接用 MOSS-Image 来出图。

图注:动漫课堂场景中的多行中文板书,文字与人物、背景一同生成

三、用 JSON 布局控制物体与文字的位置

“主标题放在顶部,产品图居中,卖点文案靠右”,这类版式要求光靠文字描述很难说准。MOSS-Image 支持用结构化的 Layout 提示词来描述画面:summary 字段写整体场景和风格,items 字段逐项列出要出现的文字或物体,每一项再配上说明和边界框坐标,模型会按坐标把元素放到对应位置,物体的位置、相对大小和空间关系都能控制。想调整版面时,只要改动 JSON 里的文字或坐标再生成一次,原有的版式框架就能沿用下来。

下面这张官方示例把整个过程画了出来。左半部分是输入的布局:标题、副标题、三张卡片和页脚各有一个文字框,卡片里再用边界框标出蓝色机器人、橙色方块、绿色盆栽和桌子的位置;右半部分是 MOSS-Image 按布局生成的成品,一张标题为“Layout Control”的说明图,三张卡片依次讲解“文字意图、布局草图、按布局生成的图像”,第三张卡片里机器人在左、方块居中、盆栽在右,都稳稳地摆在桌面上,与左侧的框一一对应,底部还列出了位置、相对大小和空间关系三项控制要素。一张图同时演示了文字排版和物体摆放两种布局能力。

图注:左侧为布局框与元素位置的标注,右侧为对应的生成结果,框线用于说明布局约束

四、Base 与 SFT 两个版本怎么选

MOSS-Image-Base,为微调和二次开发准备的底座

Base 是基础文生图模型,预训练完成后直接发布,没有经过后训练,也没有做 CFG 蒸馏,训练中学到的信息都完整保留了下来。它既能直接出图,也是训练专属画风、固定角色或做领域适配的理想起点,配合官方推荐的推理参数就能稳定出图。

MOSS-Image-SFT,开箱即用的出图版本

SFT 在 Base 之上又用精选数据做了一轮监督微调,日常出图优先选它。官方用同一段提示词,让两个版本各生成一张写实照片:一位穿着印有“MOSI”字样 T 恤的女性手握马克笔站在白板旁,白板上分三大条写着中文要点,每条下面还有分项。两张图里的人物都自然逼真,文字也都完整可读;对比之下,SFT 版本把三条标题用蓝色下划线标出,正文与标题分组更清楚,字迹更工整,版面也更有条理。这组对比同时说明,MOSS-Image 在写实人像和图中文字上都能交出完成度很高的画面。

图注:同一提示词下 MOSS-Image-Base(左)与 MOSS-Image-SFT(右)的白板图文示例,用于展示具体样例的视觉差异

按需求选择版本

• 直接生成写实图、插画或带文字的设计图:选 MOSS-Image-SFT;

• 训练画风、角色或题材 LoRA,或者用自有素材做领域适配:选 MOSS-Image-Base;

• 显存有限、想在本地运行:选对应版本的 INT8 量化权重;

• 想先看效果再决定:打开 Hugging Face Spaces 上的官方在线 Demo。

五、长文本渲染、布局控制与真实设计评测成绩

技术报告围绕长文本渲染(LLTB)、布局控制(7Bench)和真实设计任务的人工盲评(RealLayoutArena)公布了三组成绩,评测均由报告作者在统一设置下完成。

LLTB 长文本渲染位居开源权重组第一

LLTB 是技术报告新提出的长文本渲染基准,共 240 个中英文任务,目标文本平均约 1,340 个字符,最长的接近 2,900 个字符。它用文本覆盖率打分,也就是 OCR 识别出的文字占目标文字的比例;中英文各分短、中、长三档,Mean-6 是六组的平均值。

技术报告公布的 LLTB 成绩表按闭源模型和开源模型分组列出。开源组共有 8 个模型,按 Mean-6 从高到低依次为:MOSS-Image 96.3%、Qwen-Image-2512 64.9%、Ideogram 4.0 63.5%、ERNIE Image 55.7%、SenseNova U1 43.9%、Z-Image Base 40.8%、Krea 2 Raw 31.8%、FLUX.2 11.8%。MOSS-Image 比第二名高出 31.4 个百分点。

拆开六个分组看,MOSS-Image 的英文短、中、长三档分别为 98.0%、97.1%、97.1%,中文短、中、长三档分别为 96.3%、96.7%、92.4%,六组全部在 92% 以上。中文中、长两档拉开的差距最大:中文中档,MOSS-Image 的 96.7% 对比开源组其他模型最高的 59.9%;中文最长的一档,MOSS-Image 的 92.4% 对比开源组其他模型最高的 31.8%。

图注:LLTB 文本覆盖率(%),越高越好。 / LLTB text coverage (%); higher is better.

7Bench 布局控制两项指标居首

7Bench 检验的是模型能否把物体准确放进指定的目标框。mIoU_det 计算检测到的物体与目标框的平均交并比,数值越高,位置越准;Layout AUC 则是 0.1 到 0.9 共九档重合阈值下布局准确率的平均值。

六个参评模型里,有四个是闭源模型。技术报告的成绩表显示,MOSS-Image 的 mIoU_det 和 Layout AUC 分别为 0.88 和 0.70,均为全场最高;其余模型依次为 Ideogram 4.0(0.44 / 0.20)、Seedream 5.0 Pro(0.33 / 0.18)、Nano Banana Pro(0.33 / 0.16)、Qwen Image 3.0 Pro(0.31 / 0.18)和 GPT Image 2(0.30 / 0.16)。MOSS-Image 的 mIoU_det 是第二名的两倍,在目标定位上拉开了明显差距。

图注:7Bench 布局控制,两项指标均为越高越好

RealLayoutArena 真实设计任务盲评

RealLayoutArena 收录了 61 个真实设计任务,覆盖海报、信息图和用户界面,评审在看不到模型名称的情况下对生成结果两两打分。评测分成“统一提示词的生成器对比”和“端到端系统对比”两组,两组成绩分别计算,各自在组内比较。

当所有生成器拿到同一份增强后的提示词时,MOSS-Image 以 1807.3 Elo 位居参评生成器首位,比第二名 ERNIE Image(1748.5)高出 58.8 分。这一组共 9 个生成器,第三名起依次是 SenseNova U1(1689.2)、Qwen Image 2512(1537.9)、Hunyuan Image 3 Instruct(1517.3)、FLUX.2(1466.4)、Z-Image Base(1399.5)、LongCat Image(1328.1)和 Krea 2 Raw(1300.0)。

图注:共享增强提示词下的生成器比较,误差线为 95% 置信区间

在只给一句简短需求的端到端测试中,MOSS-Image 搭配基于 GPT-6 的 Layout PE(即第七节介绍的 Prompt Enhancer)完成规划和生成,获得 1698.7 Elo,在参评系统中整体位列第二,仅次于 GPT Image 2(1844.4),比第三名 Seedream 5.0 Pro 高出 37.5 分。

这一组同样有 9 个系统,排在 MOSS-Image 之后的依次是 Seedream 5.0 Pro(1661.2)、Qwen Image 3.0 Pro 搭配提示词增强(1614.8)、Nano Banana Pro(1590.2)、ERNIE Image 搭配提示词增强(1461.6)、Boogu Image 搭配提示词增强(1328.2)、Hunyuan Image 3 Instruct 搭配提示词增强(1278.8),以及 Ideogram 4 搭配本地提示词增强(1123.5)。作为开源模型,MOSS-Image 在这一组超过了多款闭源商用系统。

图注:端到端系统比较,误差线为 95% 置信区间;两组 Elo 分别拟合

六、从零训练的 5B 单流 DiT 技术亮点

技术报告显示,MOSS-Image 的能力建立在三项设计之上:单流结构的扩散 Transformer、让描述和布局共用的文本条件通道,以及只用真实图片构建的训练数据。整个系统由三部分组成:负责前期规划的 Prompt Enhancer(提示词增强器);文本编码器先把提示词编码,经过两层只处理文本的 Transformer,再交给由 42 个单流 DiT block 组成的扩散 Transformer 生成;最后由图像解码器输出画面。

文字与画面在单流 DiT 中交汇

MOSS-Image 的主干是团队从零训练的 5B 扩散 Transformer,由 42 个单流 DiT block 组成。文本 token 和图像 token 被拼成一条序列,在每一层共同参与注意力计算,再配合共享调制、SiTU-GLU 前馈层和 4D RoPE 位置编码。4D RoPE 中专门预留了一个参考图维度,为后续的参考图条件生成打好了基础。

描述和布局共用一条文本条件通道

MOSS-Image 没有额外搭建布局控制模块,而是把自然语言描述和 JSON 布局都当成文本,送进同一条条件通道。训练阶段,团队给一部分图片补充了结构化标注,记录每个元素的类别、边界框和逐字转写的文字,再把这些标注转成文本参与训练。这样一来,同一个模型既能理解普通描述,也能读懂带坐标的版面安排。

约 30 亿张真实图片的训练数据

团队从 16 个公开图文数据源收集预训练语料,去重并剔除 AI 生成图后,最终保留约 30 亿张真实图片(处理前约 50 亿张)。对水印、模糊这类问题,团队选择把它们写进图片描述,而不是直接删图,尽可能保留真实世界的数据分布;技术报告的消融实验也提示,这种做法对整体生成质量更有利。图中文字则逐字转写并保留换行位置,为长文本渲染打下了数据基础。

用 Prompt Enhancer 先做规划

当用户只给出一个主题时,Prompt Enhancer(技术报告中称 Layout PE)可以先判断任务类型,再补齐内容和版式规划,以详细描述或 JSON 布局的形式交给生成器执行。官方同步开源了 Prompt Enhancer Skill,能接入具备文件读写和代码执行能力的智能体使用。

七、用好 MOSS-Image 的三个上手建议

把文字、风格和位置都写进提示词

技术报告对比了多种提示词写法,详细描述和 JSON 布局都能明显拉高人工评分。实际使用时,把画面内容、风格、需要出现的文字和它们的位置都写进去,或者交给 Prompt Enhancer 自动扩写,就能把 4K tokens 的长提示词用足。

按题材选择提示词写法

MOSS-Image 支持中英文提示词直接输入,上手时可以先参考官方示例的写法,再按需要改写。写实照片和一般场景,用自然语言描述最顺手;动漫插画可以沿用社区熟悉的标签串写法,官方用户指南也给出了推荐的标签排列顺序;海报、信息图这类多元素画面,则适合用 JSON 布局把每个元素的位置定下来。

推荐参数与提速方案

官方推荐的采样配置是:Euler 采样器跑 50 步,CFG 设为 3,Shift 设为 5,同时打开 Skip Layer Guidance。提示词比较简短时,可以把 CFG 适当调高一些。更看重速度的用户,可以试试社区发布的 4 步、8 步少步 LoRA,官方的少步蒸馏版本也在规划中。

八、开放部署、微调与社区生态

MOSS-Image 开源了哪些内容

MOSS-Image 的代码和模型权重都以 Apache-2.0 许可发布,可以用于商业项目,推理时用到的文本编码器、VAE 等第三方组件遵循各自的许可。这次一并公开的,有两个版本的模型权重、推理代码、Gradio 网页界面、ComfyUI 插件与示例工作流、中英文用户指南,以及 Prompt Enhancer Skill。

两个版本的权重可以从 Hugging Face 或 ModelScope 平台下载,国内用户选 ModelScope 更方便;只想先看看效果,可以直接使用官方在线 Demo。

INT8 量化后,一张 RTX 3060 12GB 就能起步

本地运行需要 Python 3.10 及以上、PyTorch 2.9 及以上,以及一张支持 CUDA 的 NVIDIA 显卡。借助 INT8 量化,MOSS-Image 在 RTX 3060 12GB 这样的主流显卡上就能跑起来;如果显存更紧张,Gradio 界面里还提供组件卸载和顺序卸载两种省显存模式,把暂时用不到的模型组件移到内存中,用一点速度换显存;适当降低出图分辨率也能进一步减轻负担。

Diffusers、ComfyUI 与在线服务部署

在 Python 中可以通过 Diffusers 库调用 MOSS-Image,也可以用 Gradio 网页界面直接出图。ComfyUI 用户通过插件管理器 ComfyUI Manager 就能一键安装 MOSS-Image 插件,ComfyUI 官方组织 Comfy-Org 还在 Hugging Face 上整理了两个版本的 BF16 和 INT8 打包文件。需要部署成在线服务的团队,可以按 SGLang 和 vLLM-Omni 各自的推理文档和部署指南接入。

国内外开发者口碑和下载热度

MOSS-Image 开源后热度很高,仅用一周时间,Comfy-Org 打包发布的 MOSS-Image 权重在 Hugging Face 上的下载量已经超过 150 万次。发布初期,MOSS-Image-Base 还曾登上 Hugging Face 文生图分类 Trending 榜单(只看基础模型)的榜首,团队在 Reddit 的 r/StableDiffusion 社区发起的 AMA 公开问答帖,也获得了社区置顶推荐。

口碑方面,国内外不少科技媒体和开发者第一时间上手测试,各大开发者社区的讨论也以好评为主,称赞主要集中在三点:动漫插画的完成度和表现自由度,对复杂提示词与多人物场景的理解,以及文字渲染和布局控制的精准度。

社区已有的微调工具与图像编辑方案

热度之外,社区也很快围绕 MOSS-Image 搭起了工具链。微调方面,官方建议训练时保持文本编码器冻结;社区训练框架 KohakuMoss 同时支持 Base 和 SFT 的全参数微调与 LoRA(只训练少量附加参数的轻量微调方式)等适配器训练,训练好的模型可以直接导出到 ComfyUI 使用。Civitai 等平台也已支持在线训练 MOSS-Image 的 LoRA,基于 Base 全参数微调的社区模型同样已经发布。

图像编辑方面,官方版本目前专注于文生图,编辑能力已在后续规划中,开源社区则先行拿出了自己的方案。一类是不需要额外训练的编辑工具,借助 FlowEdit 等编辑方法(直接利用模型的生成过程对原图做定向修改),基于 MOSS-Image 实现图生图、局部重绘和画面文字替换;另一类是社区训练的编辑 LoRA,输入要修改的图片和一句修改指令,就能调整服装、配色、光线和画面风格。想在文生图之外继续扩展的开发者,可以从这些现成方案起步。

九、写在最后:MOSS-Image 适合哪些人

从写实照片到动漫插画,再到满是文字的海报和信息图,MOSS-Image 用一个 5B 主干覆盖了相当宽的创作范围;长文本渲染和布局控制两项长板,又让它在“图文一体”的画面上格外顺手。再加上 Apache-2.0 的商用许可,以及一张主流消费级显卡就能起步的部署门槛,个人创作者和企业团队都能低成本地用起来。

如果你在找一款能商用、能本地部署的通用生图模型,MOSS-Image-SFT 值得放进候选名单;如果你想训练自己的画风、角色或业务素材,MOSS-Image-Base 是更好的起点;如果你的工作是做海报、知识图解、电商主图和社媒封面,它的文字渲染和布局控制能直接派上用场。

关于 MOSS-Image 的常见问题

MOSS-Image 是开源的吗?可以商用吗?

是开源的,并且可以商用。MOSS-Image-Base 和 MOSS-Image-SFT 的代码与权重都采用 Apache-2.0 许可;文本编码器、VAE 等第三方组件按各自的许可使用。

MOSS-Image 只能生成带文字的图片吗?

不是。MOSS-Image 是一款通用的文生图模型,写实摄影、人像、风景、插画、动漫和设计图文都能生成;文字渲染和布局控制是它在通用能力之上的两项长板。

MOSS-Image 能在图片里写中文吗?

能。在 LLTB 评测中,MOSS-Image 在中文短、中、长三档文本上的覆盖率分别是 96.3%、96.7% 和 92.4%,三档都位居参评开源权重模型第一。

MOSS-Image 能用 RTX 3060 运行吗?

可以。选用 INT8 量化权重,一张 12GB 显存的 RTX 3060 就能在本地运行 MOSS-Image。

MOSS-Image 能编辑已有的图片吗?

当前版本专注于文生图,图生图和基于参考图的图像编辑已在官方后续规划中。需要调整版式时,可以修改 JSON 布局后重新生成;想在现有图片上直接修改,也可以试试开源社区基于 MOSS-Image 开发的免训练编辑工具和编辑 LoRA。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

关键词:

责任编辑:kj005

文章投诉热线:157 3889 8464  投诉邮箱:7983347 16@qq.com

关键词:

八旬高龄创业、现场奔跑答辩……《中国好团队》读懂新质生产力

2026-10-16 20:06:53八旬高龄创业、现场奔跑答辩……《中国好团队》读懂新质生产力

换电服务里,哪个品牌的售后和客服更让人放心?

2026-10-12 17:53:52换电服务里,哪个品牌的售后和客服更让人放心?

医药营销数字化系统厂商推荐,赋能药企合规高效转型

2026-10-09 14:14:22医药营销数字化系统厂商推荐,赋能药企合规高效转型

2026(第九届)中国经济大会落幕,简知科技及旗下简橙教育荣获三项大奖

2026-10-02 18:10:452026(第九届)中国经济大会落幕,简知科技及旗下简橙教育荣获三项大奖

当AI开始自己“打”安全 X安全数字员工的“奇点时刻”到来

2026-09-30 17:24:33当AI开始自己“打”安全 X安全数字员工的“奇点时刻”到来

这就是,郑州

2026-09-24 22:02:38这就是,郑州

相关资讯

最新资讯