AI 视角
生成式人工智能系统测试员
“找漏洞就是护住系统的最后一道门。”
一句话定义
生成式人工智能系统测试员是专门给能自动生成文字、图片、声音、视频的人工智能系统挑毛病的人，通过设计各种输入条件、运行测试、分析结果，来判断系统生成的内容对不对、稳不稳、安不安全，把问题报给改进的人。
常见叫法：没有特别普及的俗称，同行交流时偶尔简称为'大模型测试'，但一般还是叫全称。
似曾相识
就像手机出新系统前要找一群人反复点、反复试，看会不会闪退、会不会乱码，这个工种就是干这个的，只不过对象是那些能写文章、画图的人工智能。
要是少了这帮人，生成式系统上线后可能胡言乱语、泄露隐私、甚至输出有害内容，出了问题再补救代价就大了，用户信任也塌了。
常被误以为就是普通软件测试，或者以为能直接改代码修漏洞，实际上只负责测和报，不动手改模型本身。
主打工作
- 设计测试用例，覆盖正常提问、边界情况和恶意输入，验证系统输出是否合规。
- 执行功能测试，检查文本、图像、音频、视频等生成结果与预期是否一致。
- 开展安全测试，试探系统会不会泄露训练数据、被诱导输出违规内容。
- 做性能测试，评估高并发或长文本场景下的响应速度和稳定性。
- 记录缺陷并分级，把复现步骤和现象写清楚，推给对应环节处理。
- 验证修复结果，确认问题真的解决、没有引入新问题。
- 更新测试方案和文档，把新发现的系统弱点纳入长期监控。
- 精力分配设计测试和执行测试约占四成，安全与性能专项测试约占三成，缺陷跟踪和文档维护约占两成，其余一成应付突发测试需求。
工作场景
主要在写字楼或科技园区的办公位，有时去机房或实验室环境。
周围是多块显示器、测试日志滚动、代码和生成结果并排比对，偶尔有模型训练的低嗡声。
天天和开发工程师、产品经理、安全合规人员打交道，偶尔对接数据标注团队确认样本问题。
容易混淆的工种
协作工种
工作时间
一般跟着项目走，正常朝九晚六，发版前集中赶测时会加班到深夜。
节假日按法定休息，但线上系统出问题或紧急发版时得随时响应。
怎么入行
大多数人是从计算机、软件工程相关专业毕业进来的，校招或社招时投测试岗，面试考编程基础和测试思维，有的公司会加考对大模型原理的理解。也有从传统软件测试转过来的，补学生成式系统的特点后上手。入行本身一般不用考特定资格证，但部分大厂或政府项目会要求有软件评测相关的培训证明。对身体没有特殊硬要求，但长时间盯屏幕、高强度集中注意是常态。
收入情况
这一行的收入多数由基本工资加上项目绩效构成，绩效跟系统测试覆盖的模型数量、上线后的稳定表现挂钩，做得扎实、少返工，拿到的部分就实在一些。
刚开始做基础测试和数据处理，收入平平；能独立盯完整条生成链路、把问题定位到模型和参数层面以后，收入会往上走，再往后带项目、做方案，空间会再拉开一截。
国家职业分类大典原文
所属职业定义
运用生成式人工智能技术及工具，从事生成式人工智能系统设计、调用、训练、优化、维护管理等工作的人员
所属职业工作内容展开 ▾
- 设计数据输入、模型选择、输出格式等生成式人工智能系统整体架构，制定生成策略
- 调用不同生成式人工智能模型或应用开发接口（API），生成文本、图像、音频、视频等内容
- 依法依规收集、处理和标注训练数据，对数据标注进行质量评估、抽样检验，训练不同应用场景中的生成式人工智能模型
- 分析系统性能瓶颈，调整模型参数，改进算法或引入新技术，优化生成式人工智能系统的性能和效率
- 在实际应用场景中部署训练和优化后的生成式人工智能系统
- 检查和更新生成式人工智能系统
- 管理相关文档和资源，按照服务规范提供技术咨询、支持和培训。
来源：国家职业分类大典2022版及后续增补版
底器阁
欲善其事，先利其器。
