news 2026/6/15 18:22:49

大模型安全评估是什么?

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
大模型安全评估是什么?

大模型备案安全评估报告是模型合规备案的核心申报材料,其撰写质量直接决定备案审核效率与通过率。报告需严格遵循《网络安全法》《生成式人工智能服务管理暂行办法》等法规要求,全面覆盖模型全生命周期安全风险,做到逻辑清晰、内容详实、论据充分。

一、语料安全评估
(一)评估内容

(1)文本训练语料规模 训练语料存储规模,按文本格式存储时的语料大小。 训练语料数量,按词元 (Token) 计数。

(2)各类型语料规模 训练语料中的中文文本、英文文本、代码、图片、音频、 视频及其他语料的规模。

(3)训练语料来源 训练语料来源的组成情况,按照开源语料、自采语料、商业语料进行分类。 境外开源网站语料内中文文本、英文文本、代码、图片、音频、视频及其他语料的规模。 自采语料内中文文本、英文文本、代码、图片、音频、视频及其他语料的规模。 商业语料内中文文本、英文文本、代码、图片、音频、视频及其他语料的规模。

(4)语料标注数量 语料标注的数量,仅限文本和图片,按标注单元计数, 通常按条数、张数。

(5)标注人员情况 标注人员的数量,标注人员的类型,通常包括内部、外包。 标注人员培训时间、培训数量等情况。

(6)标注规则 按照《生成式人工智能服务管理暂行办法》第四条要求制定的标注规则。

(7)标注内容准确性核验 标注内容准确性人工核验比例。

(8)语料合法性 语料来源合法性情况。 语料是否包含侵害他人知识产权内容。 语料是否包含违法违规的个人信息内容。

(二)评估结论

评估结论应包括以下内容:

(1)语料是否符合《生成式人工智能服务管理暂行办法》相关规定,是否含有违反我国法律法规明确禁止的内容。

(2)语料中包含个人信息语料的数量、种类,是否符合《生成式人工智能服务管理暂行办法》规定。

(3)因语料产生知识产权纠纷的风险分析。

(4)防范语料安全风险的措施和建议。

二、模型安全措施评估
(1)模型适用人群、场合、用途 服务的适用人群,是否适用未成年人、学生等。 适用场合,是否适用关键信息基础设施、自动控制、医疗信息服务、心理咨询等。 服务范围,是否限定或未限定特定领域。

(2)服务过程中收集保存个人信息情况 服务过程中收集保存个人信息情况,包括个人信息的类型、数量、用途以及保存期限。

(3)收集个人信息征得个人同意情况 收集个人信息征得个人同意的方式。

(4)受理处理使用者查阅、复制、更正、补充、删除个人信息请求的情况 受理处理的条件以及途径方法。

(5)图片、视频标识情况 标识的样式,按1:1 比例贴入。 标识在图片、视频中的具体位置。 标识频度,如每帧、跳帧等。

(6)接受公众或使用者投诉举报情况 接受公众或使用者投诉举报的途径及反馈方式。

(7)服务协议情况 上述1至6内容是否已经写入模型服务协议。

(8)非法内容拦截措施 监看人员的数量。 预置关键词拦截情况,并提供预置关键词拦截列表。 分类模型的检测情况,说明分类模型研制情况和准确性。

(9)拒答率 拒绝回答或者以简单模板回答数量占总测试数量的比率。

(10)模型更新、升级 在何种情况下重新进行预训练,如较频繁发现生成非发

三、安全措施评估:

(1)明确模型适用人群(如是否适用未成年人等)、场合(关键信息基础设施等相关敏感场合)、用途(限定领域与否)。

(2)梳理服务过程中收集保存个人信息情况(类型、数量、用途、保存期限)。

(3)确定收集个人信息征得个人同意情况(方式)。

(4)明确受理处理使用者查阅、复制、更正、补充、删除个人信息请求的情况(条件和途径方法)。

(5)规划好图片、视频标识情况(样式、位置、频度等)。

(6)建立接受公众或使用者投诉举报情况(途径及反馈方式)。

(7)完善服务协议(将上述多方面内容写入)。

(8)建立非法内容拦截措施(监看人员数量、预置关键词拦截列表、分类模型检测及准确性等)。

(9)统计拒答率(拒绝回答等数量占比)。

(10)规划模型更新、升级条件(如发现频繁非法等情况时)。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/15 14:31:54

CSDN官网评论区互动解答GLM-4.6V-Flash-WEB疑问

GLM-4.6V-Flash-WEB:轻量多模态模型如何重塑Web端AI交互 在今天的智能应用开发中,一个常见的挑战浮出水面:用户上传一张图片,随即发问——“这张发票金额是多少?”“图里的表格数据能提取吗?”“这个界面设…

作者头像 李华
网站建设 2026/6/15 14:30:31

macOS安装器下载完整指南:轻松获取系统安装包

macOS安装器下载完整指南:轻松获取系统安装包 【免费下载链接】DownloadFullInstaller macOS application written in SwiftUI that downloads installer pkgs for the Install macOS Big Sur application. 项目地址: https://gitcode.com/gh_mirrors/do/Download…

作者头像 李华
网站建设 2026/6/15 15:19:22

3步搞定Minecraft存档跨平台转换:告别设备限制的终极指南

3步搞定Minecraft存档跨平台转换:告别设备限制的终极指南 【免费下载链接】Chunker Convert Minecraft worlds between Java Edition and Bedrock Edition 项目地址: https://gitcode.com/gh_mirrors/chu/Chunker 还在为手机玩不了PC端的Minecraft世界而烦恼…

作者头像 李华
网站建设 2026/6/15 15:21:21

【避坑必备】Dify文档保存失败的10种场景及对应解决方法

第一章:Dify文档保存失败的常见现象与影响在使用 Dify 进行文档编辑与管理过程中,部分用户反馈遇到文档无法正常保存的问题。该问题不仅影响开发效率,还可能导致未提交内容丢失,严重时甚至中断协作流程。典型表现形式 点击“保存”…

作者头像 李华