AI 代理还是聊天机器人：您的企业需要哪一个？

实际的区别是什么？

聊天机器人是读取并回复。代理则是读取、决定使用哪个工具，并在另一个系统里改动某些内容。区别不在于聪明程度，而在于权限：代理持有可以执行操作的凭证，所以设计上的问题就变成了它被允许做什么，以及由谁来检查。

以客户要求改课程预订为例。聊天机器人可以解释改期政策，并附上预订页面的链接。代理则可以查看空位、更改预订并发出确认。后者为客户省了一步，也为员工省了一项工作，但它现在会写入您的预订记录。

代理的做法是给语言模型一组工具，每个工具都是狭窄的功能，例如查询订单、建立工单或预订改期。由模型选择调用哪个工具。设计良好的工具很小，在服务器上验证，而且做不了比它名称所示更多的事。

什么时候适合用 AI 代理？

当任务频繁、遵循清晰的规则、涉及有可用 API 的系统，并且出错后有低成本的更正方法时，代理才合适。内部任务往往比面向客户的任务更安全，适合作为第一步，因为员工可以在输出送到客户手上之前先检查。

合适的早期候选包括：起草回复供员工审批、对收到的查询分类并分派、把文件中的字段提取到系统里，以及从多个来源整理报表。每一项都有清晰的输入、可检查的输出，以及一位已经在做这份工作、能判断质量的人。

不合适的候选是出错代价高或难以挽回的任务：发放退款、更改价格、删除记录或发出法律通知。这些仍然可以辅助，由代理准备好操作，再由人批准。是否去掉人工，应该根据证据，而不是热情。请追踪审核人修改代理建议的频率；更正率下降，就是可能可以给予更多自主权的信号。

• 频繁数量足够多，节省的分钟才能累积起来。
• 有规则审核人能判断结果对不对。
• 已连接涉及的系统开放了代理可以安全调用的 API。
• 可逆转错误可以被发现，并以低成本撤销。

代理需要哪些防护措施？

给每个工具最低限度的权限，在服务器上验证每个操作，高影响的步骤要求人工审批，并记录每个决定及其输入。请把来自客户和文件的文字视为不可信，因为其中可能含有旨在把代理引向别处的指令。

提示词注入（prompt injection）是主要的新风险。客户的信息或上传的文件里，可能含有叫代理无视规则的文字。防御靠的是架构：不论模型要求什么，代理的工具都会执行自身的限制。《OWASP 大型语言模型应用十大风险》（OWASP Top 10 for LLM Applications）描述了这一风险和相关风险。

审计记录对运营很重要，涉及个人资料时，对马来西亚的 PDPA 也很重要。请记录运行了哪个工具、输入是什么、代表谁、结果如何。还要加上调用频率限制和支出上限，避免故障在有人发现之前跑出数千个操作，或产生巨额的模型账单。

企业应该怎样开始？

选一个工作流程，衡量它目前花多长时间，然后开发能省掉其中一部分时间的、范围最窄的助手。从只读权限或员工审批开始，观察真实输出几个星期，再只在结果证明合理的地方扩大权限。

试点应有事先约定、可衡量的目标，例如每个查询所花的员工分钟数，或某份文件的处理时间。没有目标，一场令人印象深刻的演示可能会被误当成有用的系统。试点要保持足够小，让叫停它也是可以接受的结果。

Macoin 开发自己的 AI 产品，目前有 3 个在开发中，也与 Brainbox 合作，Brainbox 是一个服务马来西亚中小企业的 AI 平台。我们在范围和预算上有弹性，通常会建议分阶段的计划。请通过 WhatsApp 告诉我们您想改善的工作流程、涉及的系统，以及目前由谁负责这项工作。