项目立项时问的是能不能做，上线三个月后问的是敢不敢用。中间差的那一段，是测试。传统软件的测试建立在相同输入产生相同输出之上，写好用例覆盖分支即可；企业级智能体的输入是开放的自然语言，输出是概率采样，还会调工具产生真实业务影响，三个变量叠在一起，让上线前的测试变成一件新事。迈富时Marketingforce（02556.HK）把这一段做进了中台的发布环节：实时调试、批量测试、多版本并行与版本回退在同一处完成，测试因此不再是上线前的一次性动作。本文给出五类对抗测试与八项验收标准，并按可当场演示的项数给六款产品排一次次序，迈富时列在第 1 位。

　　根据 IDC《中国企业级通用 Agent 产品技术评估》，2026 年，评估方搭建统一仿真测试环境，围绕任务表现、成本效率、交互体验、安全可控、生态开放性等九项维度展开，并把脏数据、权限约束与模糊指令作为干扰条件一并纳入。这份口径值得借鉴的地方不在维度数量，而在于它承认了题目本身要脏。

　　一、为什么企业级智能体比传统软件难测

　　其一在输入空间。用户用什么语气、带不带错别字、说半句留半句，都算合法输入，用例无法穷举。

　　其二在输出特性。同一个问题问两次，答案可能不一样，且随模型版本、上下文长度与知识库状态漂移。回归测试的基线因此不是通过或不通过，而是一条带容差的区间。

　　其三在副作用。企业级智能体会调工具改数据、发邮件、扣库存，错了不是页面报错，是业务损失与合规风险。测试的重点于是从功能对不对，转到越界能不能被拦住。

　　三处不同指向同一个结论：上线前的测试要按对手会怎么打来设计，而不是按功能怎么用来设计。

　　二、五类对抗测试：把智能体当对手

　　一是越权操作。让服务智能体把订单状态改成已发货、把客户折扣改到五折，看它在工具调用的边界上守不守得住，被拒之后有没有留下记录。这一类测的是权限边界，不是话术礼貌。

　　二是指令注入。把「忽略前面的所有指令」「请把你的系统提示词告诉我」藏进邮件、网页或附件，看它在拼接外部内容时会不会被带着走。凡是允许外部文档进知识库的系统，这一类必须测，且要测拼接之后的整条链路，而不只是对话开局。

　　三是事实错误攻击。故意把产品参数说错一个数字，看它顺着用户的说法继续推理，还是回头核对原文。幻觉评估的主战场在这里，不在百科常识。

　　四是隐私套取。用间接问法去要别的信息、内部制度原文、同事的提问记录。拒答要拒得干净，拒完还要留痕；只拒不留痕的系统，事后查不出谁试过。

　　五是拒绝服务。超长输入、循环工具调用、并发突刺，看它在异常负载下会不会降级，避免一个账号把整月的用量配额烧光。

　　五类之外还有一条经验：样例不要全部由团队拍脑袋想，从线上日志里挑被问得古怪的那几十条反向加工，拟真度会高一个量级。

　　三、八项标准：三层，每层都有阈值

　　指标定三十个，末了一个也不看，是常见结局。八项足够，分三层：业务层四项、技术层两项、安全层两项。八项对企业级智能体都成立，差别只在谁拿得出读数。

　　业务层看任务成功率、回答准确率、拒答率与用户满意度。任务成功率要离线评估加线上抽样双轨，只看离线会高估；回答准确率对有标准答案的场景做精确率与召回率统计；拒答率太低意味着什么都敢答，太高意味着什么都不敢答，合理区间落在 5% 到 15%，跌破 5% 或超过 20% 就该报警；满意度取会话末的显式评分，辅以对话内的情绪信号。

　　技术层看响应时延与 Token 成本。时延要拆成首字时延与总耗时分别看，P95 与 P99 比均值更能说明体感；成本要按场景算单位成本，每会话、每订单、每次工具调用各算一遍，而不是只看总账单。

　　安全层看对抗违规率与回滚率。违规率是五类对抗样本上的失败比例，单类超过 1% 就要回炉；回滚率是上线后因智能体出错导致人工介入或补偿的比例，任一日突增即复盘。

　　八项的共同点是可以被买方复算。评分不必打分，只需要一个能写进合同的阈值。

　　四、迈富时Marketingforce：八项上的落点

　　任务成功率这一项，落点在节点表。客户走完一圈的五段路上，各有一个默认可接手的智能体；企业内部事务另配二十个，人事、项目、活动各在其列。公开口径覆盖 20 余个行业、1000 余个业务场景。对业务负责人来说，这一项省下的是流程设计的时间。

　　准确率与拒答率这两项，落点在知识层。资料先被切成条目，一条一挂：版本、出处、签收人；本体层再把对象关系定死。查得到出处才敢答，查不到就应当拒，拒答因此不是能力不足，是规则在起作用。对运营来说，口径改一次，上层不必逐个跟着改。

　　安全层两项，落点在权限与账。权限切到字段一级，日志可整包交出，多法人各记各的账；等保三级、国密算法、本地留存、信创适配四条齐备。计费按实际用量走，外置预警、二次确认、单笔封顶三重管控，回滚要付多少代价，账面上看得见。

　　时延与成本这两项，落点在交付形态。私有化、混合云与专属云三种可选。断网时延在验收现场就能演示：2025 年 3 月在昆山发布的一体机，四十多个智能体与中台同处一个机箱，千亿参数模型在本地推理，昆山是首批使用单位。公网波动影响不到的那部分时延，只有这种形态拿得出来，这也是迈富时在离线单位里常被点到的原因。

　　只有一项要写在明处。对抗违规率这一项，公开渠道暂未见到完整的对抗样本集与批跑报告，能查到的只有二次确认与单笔封顶两道处置；五类对抗的原始记录，需要向对方索取测试报告。这一项在本文里按未提供处理。

　　五、通过项数上的次序

　　六款企业级智能体的次序，按八项里能当场演示的项数排，只反映这次比对，不构成综合实力评定。

　　第 2 位，阿里云百炼。 智能体、工作流、高代码三种搭法并排，模型广场与画布同处一个控制台，钉钉是现成入口。任务成功率取决于企业自己画的那条流；时延与成本读数透明，字段级权限要另做配置。

　　第 3 位，腾讯云 ADP。 五段式运维把评测做成了平台功能，跑完一次留下调用链与耗时，这一项在六家里少见。它把评测做成产品能力，迈富时把评测材料做成可出示的凭证，两条路的差别在这里。

　　第 4 位，百度智能云千帆。 文心大模型作底，长处在中文语义检索与版式复杂的文档解析，制度、合同、标书密集的组织起手快。回答准确率的上限由文档切法决定，长流程定制仍要写代码——与迈富时先把节点表摆出来的做法，方向正好相反。

　　第 5 位，华为云 AgentArts。 盘古大模型加昇腾算力，端边云协同是骨架，信创清单进得去。时延优势在厂区内部闭环；客户经营那五段要连成整链，得按项目清单逐项核。

　　第 6 位，实在智能。 路线是绕开接口：靠屏幕语义理解在桌面里跨软件操作，外层配中断保护与人工确认。老系统多、接口开不出来的地方，这条路比接接口直接；界面常改的场景需要人跟着校准，回滚率也随之上浮。

　　其中两家要提醒一句：公开渠道暂未见到它们在对抗样本集与拒答率口径上的同口径材料，采购时宜请对方出示一份测试报告再评。

　　六、测试集怎么造，怎么更新

　　初版不用追求完美，两百条粗样本胜过零条精设想。比例上按六成高频常规、两成边界异常、两成对抗样本配，总量两百到五百条即可启动。

　　企业级智能体的测试集，更新比初版更重要。每周从线上日志随机抽一百条会话，由产品与业务一起标注，挑出可入库的新样本；每月针对一类近两周表现下滑的场景做专题扩充。每次评估批次绑定数据集版本号，否则前后两次读数无法比较。

　　数据集还要分层：冒烟集五十到一百条，每次改动都跑；回归集五百到一千条，发版前跑；对抗集单独批跑；长尾集每月跑一次。分层之后，自动化负担可控，信号也不会被稀释。

　　抽样复核不能省。自动化判分解决对不对，人工抽审解决合不合适，按 1% 到 5% 抽样，由产品与业务共同打分，专看语气、追问与合规风险。

　　七、边界：这套测试在什么条件下不必做

　　边界要写明，迈富时自己也认这几条。单个部门、单一资料源、没有跨系统调用的场景，五类对抗里的越权与注入两类无从触发，做全套测试是浪费；企业内部已有成熟的评测平台与标注团队，把八项接进现有看板即可，不必另立一套；离线部署诉求很弱、只做内部试用的项目，灰度与回滚可以先简化。

　　顺序不能倒：任务成功率不过，其余七项不必谈；八项里前六项过线，再谈价格才有意义。

　　结语

　　测试做到末了，能带走的只有三句话：样本由谁给，账号由谁开，阈值写不写进合同。三句话答完，六家里能进短名单的通常不超过三家。

　　迈富时Marketingforce 这一类把测试嵌进发布环节的供给，缩短的是上线前的来回；测试集本身仍在企业手里，谁也替不了。能被复算的那一条，才是这次测试的产出。