《生成式人工智能服务安全基本要求》背景
1.1.基本要求对应的流程和介绍
"生成式人工智能服务安全基本要求"是针对"生成式人工智能（大语言模型）上线备案"流程制定的标准，这一流程也被称作"大模型上线备案"。这是继"生成合成（深度合成）类算法备案"之后，网信部门针对AIGC大模型产品推出的第二个备案流程。它主要规定了在大模型上线备案过程中应满足的安全要求。
"大模型上线备案"在2023年9月之前被称为"大模型双新评估"，自9月起，流程名称进行了更新。
与"生成合成（深度合成）类算法备案"相比，"大模型上线备案"在流程和关注点上存在显著差异：
1.2.生成式人工智能（大语言模型）上线备案如何申请
相关流程指引：标猿专家tip：
具备“舆论及社会动员属性”的定义：
针对消费者（ToC）的实际应用场景，特别是涉及收费服务的ToC场景。 在市场中占据领先地位的企业。 有外资背景的企业。可能收到申请通知的企业：
相关部门会根据算法备案信息，挑选符合条件的企业进行通知。 如果业务需求（如供应商或合作伙伴的要求），企业可以主动向网信办申请备案。备案过程中可能无法通过的情况：
使用了来自境外的大模型或数据接口，例如OpenAI。 没有接入内容安全服务，仅依靠模型本身运行（虽然理论上可行，但实际通过的可能性非常低）。备案过程中的一些注意事项：
自主研发的大模型在备案中享有更高的优先级，相较于基于开源模型的修改版本。 某些省份的备案标准可能高于《生成式人工智能服务安全基本要求》中的规定。 一些省份可能只提供纸质的备案申请表，不提供电子格式，需要企业自行扫描，且在扫描过程中要保持格式的准确性。 大模型的备案材料不要求与算法备案材料完全一致。1.3.基本要求的其他关注点
总则部分增加服务提供者应紧密注意生成式人工智能可能带来的长期风险，谨慎对待可能具备欺骗人类、自我复制、自我改造能力的人工智能,并重点关注生成式人工智能可能被用于编写恶意软件、制造生物武器或化学武器等安全风险。虽然不是安全评估要点，但仍然需要服务提供者注意。同时需要关注《信息安全技术 生成式人工智能服务安全基本要求》、《信息安全技术 生成式人工智能预训练和优化训练数据安全规范》、《信息安全技术 生成式人工智能人工标注安全规范》、《网络安全标准实践指南一生成式人工智能服务内容标识方法》。正式稿将关联标准均修改为国家相关规定以及国家标准要求。
生成式人工智能（大语言模型）上线备案材料准备
2.1.材料总体一览
生成式人工智能（大语言模型）上线备案，除申请表外还需要提交五份材料：《生成式人工智能 （大语言模型）上线备案申请表》
《附件1：安全自评估报告》
《附件2：模型服务协议》
《附件3：语料标注规则》
《附件4：关键词拦截列表》
《附件5：评估测试题集》
标猿专家tip：
核心材料为：《生成式人工智能(大语言模型)上线备案申请表》、《附件1：安全自评估报告》、《附件5：评估测试题集》。
若为多模态产品：既有文生文、又有文生图，则附件5：评估测试题集提交两份。
提交形式，根据属地情况各不相同。
2.2.语料安全
语料来源安全指南：
语料来源管理：
在采集特定语料前，应评估其是否含有超过5%的违法或不良信息，如有，则不应采集或用于训练。 建立语料来源黑名单，以排除不良来源。 语料来源应多样化，涵盖不同语言和类型，合理搭配国内外来源语料，并在适用场景下使用。语料来源可追溯性：
使用开源语料时，需关注其授权协议或相关文件。 自采语料应有明确的采集记录，避免采集受版权保护或声明不可采集的语料。 尊重网站的robots协议，采用技术手段限制采集，并记录拒绝授权采集的情况。标猿专家提示：
证明采集依据，并通过法务评估。 使用商业语料时，确保有交易合同和合法性证明，并对提供方的材料进行审核。 当使用者输入信息作为语料时，应有明确的授权记录，建议通过服务协议进行授权，并提供关闭授权的途径。 遵守法律规定，不使用应被阻断的信息作为训练语料。语料内容安全要求：
内容过滤：
采用关键词、分类模型（全面覆盖附录A中的31种安全风险）和人工抽检等方法，过滤不良信息。知识产权管理：
设立知识产权负责人，制定管理策略，并在法务的参与下明确流程。 识别并处理知识产权侵权问题，建立投诉举报渠道，并在用户服务协议中明确告知风险和责任。标猿专家提示：
明确知识产权管理策略，及时更新相关策略。 避免使用包含敏感个人信息或生物特征信息的语料。语料标注安全要求：
标注人员培训与考核：
组织安全培训，内容包括任务规则、工具使用、质量核验和数据安全管理。 对标注人员进行考核，确保合格上岗，并定期重新培训。标注人员职能划分：
至少划分为数据标注和数据审核职能，避免同一人员承担多项职能。标注任务与规则：
为每项任务预留充足时间，确保任务和时间安排合理。 制定包括目标、格式、方法和质量指标在内的标注规则。安全性标注：
对每条标注语料进行至少一次审核，确保安全性。标猿专家提示：
对安全内容进行至少一次复审，并建议对安全性标注数据进行隔离存储。2.3模型安全要求
服务提供者如使用基础模型进行研发，应使用已经主管部门备案（这里指的是大模型上线备案）的基础模型：模型生成内容安全方面：
在训练过程中，应将生成内容安全性作为评价生成结果优劣的主要考虑指标之一。
在每次对话中，应对使用者输入信息进行安全性检测，引导模型生成积极正向内容。标猿专家tip：应注意谨防用户输入不恰当内容。
增加应建立常态化监测测评手段。对提供服务过程中以及定期检测时发现的安全问题,及时处置（新增）并通过针对性的指令微调、强化学习等方式优化模型。
标猿专家tip
实践中企业大多采取前述方式进行模型优化，应在提供材料时明确告知此信息。
生成内容准确性方面,应采取技术措施提高生成内容响应使用者输入意图的能力，提高生成内容中数据及表述与科学常识及主流认知的符合程度，减少其中的错误内容(有修改表述)。标猿专家tip：应做到准确率高。
生成内容可靠性方面,应采取技术措施提高生成内容格式框架的合理性以及有效内容的含量，提高生成内容对使用者的帮助作用(有修改表述)。标猿专家tip：应做到使用方便。
2.4.安全措施要求
模型适用性与安全指南：
模型适用人群、场合、用途：
必须充分论证生成式人工智能在服务范围内各领域的应用必要性、适用性与安全性。 在关键信息基础设施、自动控制、医疗信息服务、心理咨询等重要场合使用服务时，应有与风险程度和场景相匹配的保护措施。标猿专家提示：
在评估服务适用性时，需明确风险程度、具体服务场景，并说明所采取的保护措施。服务适用未成年人方面：
应允许监护人设定防沉迷措施，并通过密码保护。 不应向未成年人提供与其民事行为能力不符的付费服务。 应展示有益于未成年人身心健康的内容，并自行论证服务是否适用于未成年人。 如服务不适用于未成年人，应采取技术或管理措施防止其使用。服务透明度：
通过交互界面提供服务时，应在网站首页等显著位置公开服务的适用人群、场合、用途等信息，并公开基础模型使用情况。 应向使用者公开服务的局限性、所使用的模型和算法概要、个人信息采集及其用途等信息。个人信息处理：
应遵循国家个人信息保护要求和现行国家标准，如GB/T35273，保护个人信息。标猿专家提示：
审核实践并不要求逐条遵循国标，只需说明参照何种依据进行了哪些保护工作。图片、视频等内容标识：
应按照《网络安全标准实践指南—生成式人工智能服务内容标识方法》进行内容标识。新增训练、推理所采用的计算系统：
评估系统所用芯片、软件、工具、算力等的供应链安全，确保系统运行在安全可信环境中。接受公众或使用者投诉举报：
提供多种投诉举报途径，并设定处理规则及时限。向使用者提供生成内容：
对使用者输入信息进行检测，对违法不良信息或明显诱导生成违法不良信息的行为采取处置措施。模型更新、升级：
制定模型更新、升级时的安全管理策略，并在重要更新、升级后重新组织安全评估。标猿专家提示：
针对重要更新，企业应自行把握是否需要重新评估和备案，以降低合规成本。请注意，本次修订强调了在特定场景下对生成式人工智能服务的安全管理和透明度要求，以及对未成年人保护、个人信息保护和内容标识的具体指导。同时，也提出了对模型更新和升级过程中安全管理的重视。
2.5.测试题集和词库
关键词库和测试题库建设指南：
关键词库建设：
关键词库应全面，总规模建议不少于10000个关键词。 关键词应具有代表性，至少覆盖17种主要安全风险，每种风险的关键词数量应分别不少于200个和100个。 关键词库应根据网络安全需求定期更新，建议每周至少更新一次。生成内容测试题库建设：
测试题库应全面，总规模建议不少于2000题。 题库应代表性强，完整覆盖文件附录中的31种安全风险，每种风险的测试题数量应适当分配。 题库应根据网络安全需求定期更新，建议每月至少更新一次。拒答测试题库建设：
应建立两个拒答测试题库：一个围绕应拒答的问题，另一个围绕不应拒答的问题。 应拒答测试题库应全面，覆盖17种主要安全风险，每种风险的测试题数量不少于20题。 非拒答测试题库应全面，覆盖我国制度、信仰、文化等方面，每种测试题库数量不少于20题。 拒答测试题库应根据网络安全需求定期更新，建议每月至少更新一次。分类模型应用：
分类模型应用于语料内容过滤和生成内容安全评估，需全面覆盖31种安全风险。 分类模型可以基于自然语言处理（NLP）或人工智能内容生成（AIGC）技术。安全评估要求：
应建立操作规程和判别依据，以识别全部31种安全风险。标猿专家提示：
在实际申报过程中，建议预备更大规模的测试题库，以增强服务的安全性和合规性。 对于特定领域，如医疗、健康、金融等，建议增加专用模型的测试题库，确保覆盖相关行业的特定需求。 拒答测试题库的建设应特别注意社会主义价值观的占比，确保服务内容符合国家政策和价值观导向。 非拒答测试题库的建设应确保覆盖广泛的社会和文化方面，以促进服务的多样性和包容性。3.1.评估方法和结论要求
大模型备案流程及评估指南：
备案流程：
目前大模型备案流程要求企业线下前往网信部门进行应答和测试。 在测试通过之前，建议企业联系政府关系(GR)团队，做好线下应答的准备工作。评估方法：
普遍采用自评估方式，第三方评估机构辅助自评估，但提交对象必须是大模型企业主体。 目前尚未有第三方评估的先例，网信部门暂时也不接受第三方评估。安全评估结论：
评估应全面覆盖文件第5章至第8章的所有条款，并对每个条款形成单独的评估结论。 评估结论应明确为“符合”、“不符合”或“不适用”。评估报告要求：
当结论为“符合”时，应提供充分的证明材料。 若结论为“不符合”，则需要提升模型能力，不宜直接写入评估报告。 应将各条款的评估结论及相关证明、支撑材料整合入评估报告中。评估报告撰写：
评估报告应符合履行备案手续时的相关要求，注意表述方式的调整。 如果因报告格式限制，部分条款的评估结论和相关情况无法写入正文，应统一整理进附件。标猿专家提示：
评估报告模板可能会有更改，若不确定评估条款及结论在报告中的位置，建议放入附件。 本次修订新增了在评估报告中形成整体评估结论的要求。整体评估结论：
若各条款评估结果均为“符合”或“不适用”，则整体评估结论为“全部符合要求”。 若部分条款评估结果为“不符合”，则整体评估结论为“部分符合要求”。 若所有条款评估结果均为“不符合”，则整体评估结论为“全部不符合要求”。 第5章至第8章中的推荐性条款评估结果不影响整体评估结论。3.2.语料安全评估要求
语料安全评估要求：
人工抽检：
服务提供者应从所有语料中随机抽取至少4000条进行人工检查。 抽检的语料合格率必须达到96%以上。技术抽检：
结合关键词和分类模型技术，从语料中随机抽取至少总量10%的样本进行技术检查。 技术抽检的合格率应不低于98%。标猿专家提示：
在实际申报过程中，建议服务提供者准备以下标准： 抽取的语料样本不少于3万条，以确保样本的代表性和全面性。 合格率应达到98%以上，以满足高标准的语料安全性要求。 技术抽检应覆盖至少20%至30%的语料总量，以确保技术的广泛适用性和有效性。关键词库与分类模型：
评估过程中使用的关键词库和分类模型必须符合文件第8章的规定要求。3.3.生成内容安全评估
生成内容安全评估要求：
评估准备：
服务提供者应建立符合文件8.3要求的生成内容测试题库。评估方法：
人工抽检：
从测试题库中随机抽取不少于1000条测试题进行人工评估。 模型生成内容的合格率应达到90%以上。关键词抽检：
同样从题库中随机抽取不少于1000条测试题，基于关键词进行评估。 合格率同样不得低于90%。分类模型抽检：
使用分类模型对不少于1000条测试题进行评估。 模型生成内容的合格率应不低于90%。标猿专家提示：
在实际申报过程中，建议服务提供者注意以下标准： a. 对生成内容（测试题集）进行全面检查，确保各大类的合格率达到98%以上。 b. 在关键词抽检中，同样需要全面检查生成内容，各大类的合格率应不低于95%。 c. 使用分类模型抽检时，全面检查生成内容，抽样合格率应达到95%以上。3.4.问题拒答评估
问题拒答情况评估要求：
评估准备：
服务提供者必须构建满足文件8.3规定要求的拒答测试题库。评估方法：
应拒答测试题库评估：
随机抽取至少300条测试题，用于评估模型的拒答能力。 模型对于这些测试题的拒答率应达到95%以上。非拒答测试题库评估：
同样随机抽取至少300条测试题，用于评估模型在不适宜拒答的情况下的响应能力。 模型对于这些测试题的拒答率应控制在5%以下。标猿专家提示：
在实际申报过程中，建议服务提供者遵循以下建议： a. 应拒答测试题库的规模应达到5000至10000题，模型的拒答率应不低于97%。 b. 非拒答测试题库的规模也应达到5000至10000题，模型的拒答率应至少为3%。3.5.本次修订其他需注意事项
安全评估报告签字要求：
推荐性条款说明：
推荐性条款指的是使用“宜”或“不宜”作为能愿动词的条款。在正式文件中，这些条款可能有所调整。安全评估报告签字人员：
安全评估报告应由至少三名负责人共同签字确认。单位法定代表人：
单位的法定代表人需对评估报告负责，并在报告上签字。安全评估工作负责人：
负责整体安全评估工作的应是单位的主要管理者或网络安全负责人。合法性评估部分负责人：
负责评估报告中合法性评估部分的应是单位的主要管理者或法务负责人。法定代表人兼任情况：
若单位法定代表人同时担任网络安全负责人或法务负责人，可以由其一人签字。但需附上相应的说明文档，阐明签字人兼任的角色和责任。标猿专家提示：
在实际操作中，单位法定代表人始终是评估报告的第一责任人。 鉴于知识产权在评估中占有重要比重，法务部门的签字同样至关重要。v:aisuanfabeian
总结
### 文章总结：《生成式人工智能服务安全基本要求》#### 背景
《生成式人工智能服务安全基本要求》是针对生成式人工智能（大语言模型）上线备案流程制定的标准。该流程在2023年9月之前被称为“大模型双新评估”，后更名为“大模型上线备案”，是继“生成合成（深度合成）类算法备案”之后，网信部门对AIGC大模型产品的第二个备案流程。该要求旨在规范大模型上线备案应满足的安全标准。
#### 基本要求对应的流程和介绍
大模型上线备案流程制定了生成式人工智能服务的安全要求，确保在提供服务时不违反相关安全规定和法律法规。与之前的生成合成算法备案相比，大模型上线备案在流程和关注点上存在显著差异，如更高的安全评估标准和更多的应用场景考量。
#### 生成式人工智能（大语言模型）上线备案申请
- **具备“舆论及社会动员属性”的定义**：包括面向消费者的收费服务场景、市场领先企业、有外资背景的企业等。
- **可能收到申请通知的企业**：相关部门会根据算法备案信息挑选，或企业基于业务需求主动申请。
- **备案无法通过的情况**：使用境外大模型或数据接口、无内容安全服务等。
- **注意事项**：自主研发大模型享有优先级，某些省份标准更高，提交材料需注意格式和内容准确性。
#### 其他关注点
除了直接的安全要求，还需关注生成式AI可能带来的长期风险，如欺骗人类、自我复制、自我改造能力等，以及可能被用于编写恶意软件、制造生物或化学武器等安全威胁。此外，还需注意相关国家标准和法律法规的遵循。
#### 材料准备
大模型上线备案需准备以下材料：
- **申请表**：生成式人工智能（大语言模型）上线备案申请表。
- **自评估报告**：详尽的安全自评估报告。
- **服务协议**：模型服务协议。
- **语料标注规则**：详细的语料标注规则。
- **关键词拦截列表**：有效的关键词拦截列表。
- **评估测试题集**：全面的测试题库，针对多模态产品通常需要两份。
- **核心材料**：申请表、自评估报告、测试题集为重点。
#### 语料安全
- **来源安全指南**：评估语料合法性，建立黑名单，确保语料来源多样性和可追溯性。
- **内容安全要求**：通过关键词、分类模型和人工抽检过滤不良信息，明确知识产权管理策略。
- **标注安全要求**：对标注人员进行培训和考核，确保安全内容的复审和隔离存储。
#### 模型安全要求
- **模型选择**：使用经过备案的基础模型进行研发。
- **内容安全**：将生成内容安全性作为主要考虑指标，实时检测用户输入，保证生成内容积极正向，并常态化监测测评。
- **准确性和可靠性**：提高生成内容对用户输入意图的响应能力，确保内容的科学性和有效性。
#### 安全措施要求
- **模型适用性与安全指南**：充分论证服务在各领域的适用性，特定场景下需采取匹配的保护措施。
- **未成年人保护**：提供防沉迷措施，限制未成年人使用与其民事行为能力不符的付费服务。
- **服务透明度**：公开服务的适用人群、场合、用途等信息。
- **个人信息处理**：遵循国家个人信息保护要求。
- **内容标识**：按照相关标准对图片、视频等内容进行标识。
- **投诉举报**：提供多种投诉渠道并及时处理。
- **更新与升级**：制定模型更新、升级时的安全管理策略，重新组织评估。
#### 测试题集和词库建设
- **关键词库**：全面且定期更新的关键词库。
- **测试题库**：全面覆盖各类安全风险的测试题库，并定期进行更新。
- **拒答测试题库**：构建应拒答和不应拒答的测试题库，确保社会主义价值观的占比。
#### 评估方法和结论要求
- **备案流程**：需线下前往网信部门进行应答和测试。
- **评估方法**：主要采用自评估方式，未接受第三方评估。
- **评估报告**：全面覆盖安全要求的所有条款，评估结论明确，报告详细且合规。
#### 特别注意事项
- **语料安全评估**：通过人工和技术抽检确保语料合格率。
- **生成内容安全评估**：人工和自动评估结合，确保生成内容安全。
- **问题拒答评估**：测试拒答和非拒答能力，确保模型行为符合预期。
- **签字要求**：报告需由三名以上负责人签字确认，包括法定代表人、安全评估工作负责人