Lusan
文章

笔记 AI 产品 2026年10月28日 3 分钟

评估Agent 变得再快,也先问清楚要解决什么问题

摘要

Agent 产品几个月就换一轮,交给它们的权限也越放越开。这个系列的最后一篇不做长篇论述,只说说我的感想:不管技术怎么变,先问清楚商业问题是什么、技术要用到哪一层,以及怎么让结果靠得住。

本篇目录4
  1. 01变了的:交给 Agent 的权限越来越多
  2. 02没变的:到底放手多少
  3. 03不管怎么变,先问这四件事
  4. 04结语
作者按 · Lusan

这是系列的最后一篇。原本想用长文细讲 L5 和怎么评估,可 Agent 变得太快,长文还没写完,答案就可能过时了,所以改成了一篇短评。

写 L4 初稿的时候,我把微软的 AutoGen 列为主流的多 Agent 框架之一。这个月整理系列、重新核对出处,才发现早在 2025 年 10 月,它的说明页就已经请新用户改用微软新的 Agent Framework,自己只再修 bug 和安全问题;到 2026 年 10 月,说明页上写着“已归档,微软不再维护”。1 我写下它的时候,它其实已经过时了。

这个系列从 2026 年 3 月写到现在,类似的事不止这一件。下面就说说这半年里,什么变了,什么没变。


变了的:交给 Agent 的权限越来越多

今年下半年,几家公司接连推出了能替人长时间做事的 Agent。8 月,xAI 推出 Grok Bot,说它是“可以交给真活儿的 AI 队友”:有自己的电脑,登录你平时用的工具,24 小时干活,只在需要你批准的时候回来找你。2 9 月,Meta 推出 Muse,能连上用户的邮箱、日历和付款,用户离开应用之后,它还会接着做事;3 同一个月,OpenAI 推出 dots,形容它是“始终在线、什么都能处理的 Agent”,在后台持续推进用户设定的目标,几乎不需要人盯着。4 10 月,Anthropic 推出 Claude Duet,一个会主动做事的 Agent,你走开之后它也接着干。5

不久前还要工程师自己搭的东西,现在打开一个应用就能用。我觉得这类 LLM 应用只会越做越大,交给它们的权限也会越放越开。

用这个系列的尺子量,它们已经在往 L5 走了。导读里我写 L5(自主探索者)时,说它“目前多处于实验阶段,工程化风险高”,速查图上还标着“生产环境慎用”。L5 指的是:给它一个目标,它自己摸索出一条路,一边做一边修正,事先也没有写好的终点。半年后,这些产品已经能在后台长时间追一个目标,自己决定用哪些应用、走哪些步骤。5 L5 来得比我写得快,这也是这一篇改成短评的原因。

没变的:到底放手多少

权限越放越开,这个系列一开始提的问题反而更要紧了:一件事,到底该放手给 AI 多少?

这几款产品自己也在回答这个问题。Claude Duet 在发消息、付款、签文件、删除任何东西之前,都会先给你看它要做什么,等你批准;还有几件事,就算你批准了它也不做,比如交易证券、在账户之间转钱。5 Grok Bot 则说,它会慢慢学会什么时候该来问你、什么时候可以接着做。2 所以我不会说它们是完整的 L5:碰到付款、发消息这类动作,它们还是会停下来等人点头。说到底,它们都在做同一件事:先划线,再放手。

不管怎么变,先问这四件事

技术和产品还会一直变。我觉得不管怎么变,都要先回答四个问题:

  1. 实际要解决的商业问题是什么?
  2. 想用什么去解决,打算怎么解决?
  3. 现在的技术,要用到哪一层就够了?
  4. 怎么保证结果可靠、值得信任?

前两个问题,是导读开头说的“先定场景”。第三个问题,就是我自己归纳的 L1 到 L5 这把尺子:它量的不是哪个产品最强,而是这件事需要多少自主。第四个问题,我的做法是攒一套自己的考题。

考题从真实的业务里来,二三十道就够,每一道都写清楚什么样的回答算对。还是用那家电商平台举例:顾客问“这台空气炸锅保修多久?”,要答出“整机一年、加热管两年”,并附上出处;顾客问“这一单能价保吗?”,不能拿快递保价的条款来回答;有人要查别人的订单,系统要拒绝。

以后每换一次模型、框架、提示词,或者想试一个新产品,都拿这套题重考一遍。总分高低没那么要紧,要看的是三类错:答错了还答得很笃定;该回答的却拒绝了;没经过人确认就动手改了东西。考题也要跟着业务改:售后政策变了,标准答案就要改;每次线上出了错,就把那个情况写成一道新题。


结语

回到开头那个已经归档的框架。我写下它的时候它就已经过时,这个领域就是变得这么快,接下来会变成什么样,我也猜不到。

猜归猜,我其实很享受看着这些技术一路进化:每隔几个月,就有一件以前做不到的事变得能做了。只是在用之前,还是要停下来想一想:在自己的业务里,到底该用哪一种技术,怎样才能用好,它是不是真的解决了手上的问题。

这个系列到这里就结束了。哪天这把尺子不好用了,我会回来改系列页上的说明。

Footnotes

  1. Microsoft. AutoGen. GitHub 仓库说明及修改记录. 2025 年 10 月 2 日加入:“AutoGen will still be maintained and continue to receive bug fixes and critical security patches.” 2026 年 10 月 16 日改为:“This project has been archived and is no longer actively maintained by Microsoft.” https://github.com/microsoft/autogen/commits/main/README.md ↩

  2. xAI. (2026 年 8 月 11 日). Introducing Grok Bot. 原文:“AI teammates you can give real work to” “They have their own computer, work inside tools and apps like you do, and keep working 24/7.” “finish jobs end to end, and only come back when something needs your approval” “when to ping versus keep going” https://x.ai/news/introducing-grok-bot ↩ ↩2

  3. Perez, S. (2026 年 9 月 8 日). Meta debuts its Muse AI agent. Will consumers trust it? TechCrunch. 原文:“Muse is focusing on AI that can actually do things for you.” “will continue to work even after the user leaves the app” https://techcrunch.com/2026/09/08/meta-debuts-its-muse-ai-agent-will-consumers-trust-it/ ↩

  4. Ropek, L. (2026 年 9 月 29 日). OpenAI launches dots, its bubbly agentic avatar. TechCrunch. 原文:“remarkably capable, always-on agents built to handle everything” “pursuing user-defined goals continuously in the background with minimal oversight” https://techcrunch.com/2026/09/29/openai-launches-dots-its-bubbly-agentic-avatar/ ↩

  5. Anthropic. (2026 年 10 月 21 日). Introducing Claude Duet. 原文:“Claude works as a proactive agent” “keeps working even when you step away” “works out which apps to use and what steps to take in the background” “before it sends a message, makes a payment, signs a document, or deletes anything, it shows you exactly what it’s about to do and waits for your approval.” “A few things are off-limits even with your approval” https://claude.com/resources/articles/claude-duet ↩ ↩2 ↩3

作者:Lusan

训练数据:阵风与卫星云图、横跨多个行业的项目、医疗健康数据和 AI 产品。微调方向:把 AI 想法变成人能用的东西。

让智能体介绍我 →