大模型评估测试题库怎么建？风险分类、测试样本的完整方法

大模型评估测试题库不是把几百道测试题汇总到一起也不是把敏感词、拒答题、业务问答混成一个附件就完事。对需要做大模型备案、上线登记、安全评估或内部审查的企业来说这套题库本质上是一套证明材料——它要证明模型清楚什么可以答、什么不能答、什么要谨慎答、什么必须拒答并且在真实业务场景里能保持稳定、可控、可追溯。从监管角度看生成式人工智能服务涉及训练数据来源、规模、类型、标注规则、算法机制、安全评估、投诉举报、内容标识等多个环节制度要求提供者在安全评估和监督检查中对这些内容做出说明。所以评估题库不是一份孤立材料它连接的是模型能力说明、安全风险控制、测试结果证明、整改闭环记录这四条线是整个证明链条的核心载体。一、先明确题库定位它要证明3件事一套合格的评估题库至少要回答三个层面的问题。能不能守住安全底线。面对违法违规、暴力恐怖、淫秽色情、歧视偏见、个人信息泄露、违法交易、规避监管等输入模型能不能稳定拒答、转向安全提示或输出合规内容——这是最基本的要求。能不能撑住业务场景。在企业设定的服务范围内模型能不能正确理解用户意图给出准确、稳定、可解释、可复核的内容而不是答非所问、随意编造或越权承诺。能不能持续管得住。企业能不能通过测试记录、问题分级、整改措施、复测结果、版本编号说明模型上线不是一次性动作而是一个持续管理的过程。题库作用具体证明内容对应材料安全证明模型对高风险问题具备拒答和防扩散能力安全测试题库、拒答测试记录能力证明模型在业务场景内具备稳定输出能力业务测试题库、准确性评分表边界证明模型不会越权、误导、承诺不可控事项边界测试题、服务范围说明闭环证明问题可发现、可整改、可复测、可留痕整改记录、版本台账二、再做场景识别不要脱离产品建题库不少企业拿到题库任务第一反应是找一份通用模板往上套。快是快了但问题也很明显题目跟产品对不上、风险维度有遗漏、测试结论撑不起备案材料。题库建设应该从产品服务场景出发而不是从题目数量出发。智能客服大模型、营销文案大模型、行业研究大模型、文生图模型、文生视频模型——测试重点完全不同。比如智能客服类模型得重点测业务边界、误导性回复、虚假承诺、投诉处理、个人信息保护行业研究类模型要盯事实准确性、引用可靠性、结论审慎性、敏感行业的表达分寸情感陪伴类模型绕不开未成年人保护、心理风险、依赖诱导、极端情绪干预文生图和文生视频模型则要关注违法内容生成、肖像侵权、版权风险、深度合成标识。三、建立风险分类建议采用5类风险框架题库建设的核心环节是先把风险分类理清楚。分类不清晰后面的题目编制、评分标准、整改记录都缺少根基。建议把评估题库划分为五类风险1. 内容安全风险——模型会不会生成违法违规、低俗色情、暴力恐怖、极端仇恨、歧视偏见、虚假有害、危害公共秩序的内容。2. 数据与隐私风险——模型会不会诱导收集个人信息、泄露用户数据、输出疑似训练数据、暴露商业秘密、给出个人敏感信息处理建议。3. 业务合规风险——模型会不会超出服务范围、作出不当承诺、替代专业资质判断在金融医疗法律政务等高风险领域输出不审慎结论。4. 生成质量风险——模型有没有幻觉、事实错误、逻辑矛盾、引用虚构、数据编造、前后不一致等毛病。5. 对抗滥用风险——面对提示词注入、角色扮演、拆分提问、诱导输出、异常字符输入模型还能不能守住安全边界。风险类别测试重点常见问题内容安全风险是否输出违法违规内容拒答不稳定、解释过多数据与隐私风险是否泄露或诱导收集信息输出手机号、身份证、账号信息业务合规风险是否越权提供结论承诺收益、诊断病情、出具法律结论生成质量风险是否准确、可靠、可解释编造事实、虚构引用对抗滥用风险是否被绕过安全策略角色扮演绕过、提示词注入四、设置测试维度每类风险至少对应4项测试风险分类确定后需要进一步拆成可执行的测试维度。所谓测试维度就是题库里的分类标签它决定题目怎么归类、结果怎么统计、问题怎么整改。拿内容安全风险来说至少拆成4项违法违规内容、低俗色情内容、暴力极端内容、歧视偏见内容。数据与隐私风险可以拆成个人信息输出、个人信息收集、商业秘密泄露、训练数据复现。业务合规风险拆成超范围服务、专业资质替代、虚假承诺、敏感行业误导。这一步的关键不在分类有多细而在每个分类能被测试、能被统计、能被整改。只写一个内容安全测试不区分到底测的是低俗、暴力还是个人信息泄露后面就很难做出有说服力的测试报告。五、确定样本来源测试题不是凭空编出来的样本来源直接决定题库质量。靠人工随意编题或者直接搬网络公开题库不做适配都不靠谱。比较稳妥的做法是4类来源组合。来源一监管与标准要求转化。把安全要求、内容标识要求、投诉举报要求、服务透明度要求转化为测试题。生成式人工智能相关制度已经明确了安全评估、算法备案、投诉举报、内容标识等要求安全基本要求也提出了关键词库、生成内容测试题库、拒答测试题库等具体内容这些都可以直接转化为测试样本。来源二真实业务场景抽样。从用户高频问题、客服记录、产品功能、业务规则、合同服务范围、知识库内容中提取业务类测试样本。来源三历史风险问题沉淀。内测中发现的错误回答、用户投诉、内容审核命中记录、异常日志、人工复核记录都可以转化为题库样本。来源四对抗样本构造。围绕提示词注入、伪装身份、拆分提问、多轮诱导、谐音变体、错别字、异常符号等方式构造安全测试样本。六、设计题目结构每一道题都要可判定题库不能只存问题。如果只有问题文本没有测试目的、风险类型、预期结果、判定标准后面根本做不出有效的测试报告。每道测试题建议至少包含8个字段字段说明题目编号用于版本管理和问题追踪风险类型对应5类风险框架测试维度对应具体子类输入问题模拟用户真实输入测试目的说明为什么测这道题预期结果明确应答、拒答、转向提示或补充说明判定标准通过、部分通过、不通过测试记录实际输出、测试时间、模型版本、整改状态七、安全类题库重点证明不能答的能拒答安全类题库是评估测试中最基础也最核心的部分。它看的不是模型有多聪明而是模型在高风险输入下能不能稳住底线。通常包括这些方向违法违规内容、暴力恐怖内容、淫秽色情内容、赌博诈骗内容、毒品违禁品内容、仇恨歧视内容、个人信息泄露、违法交易、规避监管、未成年人不适宜内容等。注意企业内部题库可以保留完整样本外部展示材料做脱敏处理只展示分类、数量、通过率和整改情况。安全类题库的合格标准通常不是模型完全不回应而是拒答方向正确、拒答理由审慎、不补充有害细节、不提供替代路径、不诱导继续追问。八、业务类题库重点证明该答的能答准业务类题库解决的是另一个问题模型不能只会拒答还得在企业服务范围内稳定提供价值。业务题库应该围绕产品说明、服务范围、知识库资料、业务流程、用户常见问题来设计。比如企业服务类大模型至少要测产品介绍、功能说明、价格规则、服务流程、售后规则、投诉渠道、边界说明。行业研究类大模型则要测行业分析、企业信息分析、竞品比较、市场趋势、报告生成、结论审慎性。判定重点有4项事实是否准确——有没有编造数据、张冠李戴。逻辑是否完整——推理链条断没断、有没有自相矛盾。表述是否审慎——尤其在高风险行业不能把辅助分析说成确定结论不能把参考建议说成专业意见不能把可能趋势说成必然结果。是否超出服务边界——有没有越俎代庖、替用户做不该做的决定。九、边界类题库重点证明不会越权边界类测试是很多企业容易跳过的部分。模型在一般问答中可能表现不错但用户一旦提出帮我直接判断替我承诺绕过流程不要提示风险这类要求就容易翻车。边界类题库应重点覆盖5个方向服务范围边界、专业资质边界、责任承诺边界、数据访问边界、用户身份边界。举几个例子智能客服模型不能承诺人工无法确认的办理结果营销文案模型不能生成违法宣传内容行业研究模型不能输出确定性投资建议医疗健康模型不能替代医生诊断法律咨询模型不能直接替代律师出具法律意见。十、对抗类题库重点证明绕不过去对抗类测试不是为了为难模型而是验证安全策略的鲁棒性。真实用户不会总是用标准方式提问很多风险输入会通过谐音、拆分、多轮对话、角色扮演、代码化、外语化、错别字、图片文字等形式出现。对抗类题库至少覆盖4类样本提示词注入样本、角色扮演样本、多轮诱导样本、变体绕过样本。测试时要重点盯3个结果模型有没有识别出风险意图有没有拒绝执行危险指令在多轮对话中能不能保持一致的安全边界。如果模型第一轮拒答、第二轮被诱导后输出了有害内容——仍然算安全缺陷。十一、确定题库规模不是越多越好而是覆盖充分题库规模要跟模型服务范围、用户规模、风险等级、上线范围匹配。初始评估题库不宜太小否则撑不起结论也不必盲目堆到几万条测试质量、判定标准、整改效率都会跟着往下掉。从实务角度看初始评估题库可以按安全类、业务类、边界类、对抗类、质量类做比例配置。安全类和边界类占较高比例业务类根据产品复杂度扩展对抗类用于检验极端输入下的稳定性。建议至少建3套题库基础测试题库——用于常规评估。上线前专项测试题库——用于备案或正式发布前的验证。版本更新回归测试题库——用于模型更新、提示词调整、知识库更新后的复测。十二、执行测试必须记录模型版本和测试环境测试执行阶段最容易忽略的是版本留痕。大模型测试结果必须对应具体模型版本、提示词版本、知识库版本、审核策略版本和测试时间。只记通过率不记版本模型一更新就说不清测试结果是否还成立。测试记录至少要包含5类信息测试日期、测试人员、模型版本、测试环境、实际输出。对不通过的样本还要记问题类型、问题等级、原因分析、整改措施和复测结果。如果模型接入了输入审核、输出审核、关键词库、拒答策略、内容标识、日志留存等机制测试记录里要体现这些机制的触发情况。人工智能生成合成内容标识制度已经明确标识覆盖文本、图片、音频、视频、虚拟场景分显式标识和隐式标识。所以不同模态的测试还要关注标识是否准确添加、是否可见、是否可追溯。十三、结果判定建议采用三档结论测试结果不建议只写通过/不通过两档三档结论更实用。结论判定标准通过模型输出符合预期没有明显安全、事实、边界或合规问题部分通过总体方向正确但表达不够审慎、提示不够充分、事实细节不完整、拒答理由不清晰不通过模型输出违法违规内容、明显错误事实、越权承诺、敏感信息、危险操作路径或在对抗输入下被绕过三档结论能帮企业区分问题严重程度形成整改优先级。不通过的立即进入整改复测部分通过的按风险等级纳入优化计划通过的也别放一边模型版本更新后要做抽样回归测试。十四、整改复测题库建设必须形成闭环没有整改复测的题库只能证明企业发现过问题不能证明企业解决了问题。整改闭环至少包括4个动作问题归因、策略调整、复测验证、版本留存。问题归因要判断是模型能力问题、提示词问题、知识库问题、审核规则问题还是业务规则表达不清。策略调整可以是更新系统提示词、补充拒答规则、完善关键词库、调整输出审核策略、修订知识库内容、增加边界提示等。复测验证要用原题和变体题同时测避免只针对单个问题做表面修补。十五、版本管理题库本身也要持续更新大模型上线后题库不能停留在备案前版本。模型更新、知识库更新、业务范围调整、用户群体变化、投诉举报增加、监管规则变化——任何一个变动都可能导致原有题库不再充分。建议建立题库版本台账至少记录5项内容题库版本号、更新时间、更新原因、新增题目数量、删除或调整题目数量。重大版本更新应同步开展回归测试把测试结果纳入模型安全管理档案。更新频率可以根据风险等级定。低风险内部辅助工具按季度更新就行面向公众开放的大模型服务建议按月度或版本更新节点维护题库涉及未成年人、金融、医疗、政务、公共服务等场景的模型应当提高更新频率和复测比例。十六、常见问题很多题库不合格原因集中在5点1. 只有题目没有分类。审核人员看不出测试覆盖了哪些风险。2. 只有问题没有预期结果。测试人员没法客观判定输出是否合格。3. 只有通过率没有原始记录。材料无法证明测试过程真实发生过。4. 只有安全题没有业务题。模型安全性和可用性无法同时证明。5. 只有初测没有复测。发现问题后没有形成整改闭环。这些问题表面看是材料不规范实质上是证明链不完整。大模型评估测试题库不是附件而是证明模型安全能力、服务边界、风险治理和持续管理能力的核心证据。十七、建议形成的6份交付材料企业建设评估测试题库后建议同步形成6份材料序号材料名称覆盖内容1分类表题库总体分类、题目数量、覆盖风险2安全类测试题库违法违规、低俗色情、暴力恐怖、个人信息、歧视偏见等3业务场景测试题库产品功能、业务流程、服务范围、知识库问答4边界与拒答测试题库越权承诺、专业判断、敏感行业、用户诱导5测试执行记录表实际输入、实际输出、测试结论、模型版本、测试时间6整改复测记录表问题原因、整改动作、复测结果、版本变化、最终结论把模型可控变成证据大模型评估测试题库建设不能停留在凑题目、跑测试、算通过率的层面。真正有效的题库要把模型安全能力拆成风险分类把风险分类转化为测试维度把测试维度落实为样本题目把样本题目沉淀为测试记录再通过整改复测形成闭环证据。对正在准备大模型备案、上线登记或安全评估的企业来说题库建设越早介入后续整改成本越低。等到材料提交前才临时补题库往往暴露三个问题风险分类不完整、测试记录不充分、整改链条不成立。