随着人工智能技术加速融入互联网平台治理实践,AI正成为提升内容识别效率、风险研判能力和生态治理精细化水平的重要支撑。与此同时,社交平台面临的风险形态也在持续演变,黑灰产作弊、虚假人设、诱导消费、私聊骚扰等问题呈现出更强的隐蔽性和链路化特征,对平台治理的及时性、准确性与系统性提出更高要求。

近日,Soul App发布《2026年第二季度生态安全报告》。报告显示,二季度,Soul进一步将AI技术应用于反诈、违规内容处置、群聊与私聊治理、未成年人保护等环节,推动风险识别从单一内容审核向账号、行为和社交链路的综合研判延伸。

AI风控持续前移

针对黑灰产账号批量注册、快速发布和频繁变换内容等特点,Soul在原有安全审核能力基础上,进一步增强了对批量作弊行为的识别能力,将更多风险内容拦截在进入社区传播链路之前。经过持续优化,相关策略的风险内容处置率由上线初期的约30%提升至60%,进一步缩短了黑灰产账号在平台内的活动周期。

在诈骗风险治理方面,Soul重点加强对“杀猪盘”相关账号和行为的识别。相较于依赖固定关键词的传统审核方式,新能力能够结合账号特征、互动行为和内容语义进行综合判断。目前,相关Agent能力准确率已达到93%以上,为高风险账号的前置发现提供新的技术支撑。

与此同时,平台继续治理盗用他人图片、虚构身份以及批量搬运人设内容等问题。二季度,Soul累计处置假人设违规账号3万余个,识别并处理相关帖子8万余条,减少虚假身份内容对真实社交体验的干扰。

社交场景精细治理

在二季度,Soul继续围绕广场、群聊和私聊等主要互动场景完善治理策略,重点处置低俗擦边、有偿交友、攻击辱骂及违规引流等内容。报告显示,平台二季度通过机审直接拦截违规内容400万条,处置相关跟帖评论726万条,累计拉黑违规设备3723个。与此同时,平台日均向2533名用户进行社区规范和文明表达提醒。

对于影响社区内容质量的低俗、攻击性和引流信息,平台通过识别、审核和流量限制等方式进行综合处置,日均处理相关低质内容超过13万条;针对以虚假邀约、诱导线下消费为主要特征的“消费托”风险,Soul在二季度上线专项自动化治理策略,累计处置相关风险账号约3.2万个,降低用户因虚假社交关系遭遇诱导消费的可能性。

私聊保护机制升级

与公开内容相比,私聊中的骚扰和不友善行为通常更加隐蔽,也更容易给用户带来持续性的负面体验。二季度,Soul重点优化了面向女性用户的私聊保护机制。

平台根据消息内容、互动频率和账号行为,对疑似骚扰信息进行风险隔离,减少低质信息直接触达用户。对于在不同社交链路中反复接触女性用户的不友善账号,平台则通过多场景联动策略限制其持续触达,在尽量不影响正常沟通的前提下,降低骚扰风险。

二季度,Soul日均帮助用户隔绝网暴和频繁骚扰3099次,日均处置存在私聊不文明行为的用户1737个,并通过产品提示日均引导用户文明发言19.9万次。

完善AI生成内容提示

在将AI用于生态治理的同时,Soul也在完善社区内AI生成内容的识别和提示机制。针对AI人像、虚假生活场景以及疑似盗图内容,平台综合分析图片元数据、外显标识、人像和图像特征,对可能影响真实社交判断的内容进行分层识别。在识别到相关特征后,平台将通过中性提示帮助用户了解内容属性。

相关识别过程在后台完成,不影响用户正常发帖和内容展示,重点在于提升用户对内容来源的知情度,而非限制正常使用AI辅助表达。

社交规范协同建设

除技术治理外,Soul还通过处罚公示、安全科普和社交礼仪倡议等方式,提升平台治理规则的透明度。二季度,Soul官方账号“风纪球长”持续发布生态安全相关内容,围绕低俗内容、不实信息、恶意引战等问题公开典型案例,并开展安全规范、社交礼仪和网络辟谣宣导,累计触达用户47万人。

通过技术识别、产品干预和用户教育相结合,平台在处置违规行为的同时,也进一步推动友善表达和文明互动成为社区共识。

未成年人保护进一步强化

二季度,Soul进一步强化未成年人保护机制,Soul新增了针对未成年人发帖内容的AI审核能力。系统在内容发布环节辅助判断账号是否可能属于未成年人,并结合未成年人安全标准识别相关风险,提升平台主动发现问题的效率。

目前,平台主动识别未成年人的比例已超过99%,在此基础上,Soul将持续完善未成年人身份识别、内容审核与风险干预之间的协同机制,根据不同风险场景采取相应保护措施,推动未成年人治理由事后处置进一步向主动识别、提前防范延伸。

未来,Soul将继续推动AI能力与人工审核、产品机制和用户教育深度结合,不断提升风险识别的及时性、治理处置的准确性和平台管理的精细化水平。同时,平台也将持续关注新技术、新场景带来的风险变化,完善覆盖内容、账号、设备及互动链路的全流程治理体系,并通过规则引导、功能优化和安全教育,进一步增强用户的风险防范意识。

面对不断变化的网络生态,Soul将始终坚持安全与体验并重,为用户营造更加安全、真实、友善、有序的社交环境。

责任编辑：kj005

文章投诉热线:157 3889 8464  投诉邮箱:7983347 16@qq.com