Joye Personal Blog

Back

10 月 4 日晚上,我办的 Agent 比赛终于办完了。

先介绍一下背景。我有一个 QQ 粉丝群,平时主要聊 AI 和 Agent,现在有八百人左右。今年暑假,我在群里发起了一场比赛,叫 Summer of Agents:大家自由组队,花一个暑假做一个 Agent 项目,最后上来展示。所有参赛项目和链接都在比赛页面上,感兴趣可以去逛一逛。因为我自己的时间一再调整,最后的展示一路拖到了秋天。

开始之前我挺忐忑的。报名的有 45 组,提交企划的却不多,加上一拖再拖,我已经做好了「半小时就冷场收尾」的准备。

结果那天晚上,十几组同学轮流在飞书会议里共享屏幕,直播间同步开着。每组 5 分钟展示,再回答评委 3 到 5 个问题。我和另一位评委降星驰从八点不到一直聊到十一点多,后面实在太晚,才稍微提了提速。直播间的反馈一直很热烈,还有人说,这是今年最快乐的一个晚上。

办完以后我也特别开心。这篇想做两件事:一是把获奖的作品介绍给大家,二是把那晚反复聊到的问题整理出来。几乎每个项目都被问到了某个版本的同一个问题:

那为什么不直接用 Claude Code 或者 Codex?

它不只是问参赛者的。我觉得每个在做 Agent 产品的人,都值得想一想。

获奖作品#

奖项作品
第一名Shiori Agent ↗(windy):以角色为核心的个人 Agent
第二名Speech Agent ↗(猪鼻星):语音字幕 + 个人记忆
第三名Legion ↗(在希):多 Agent 管理系统
最佳 Demo 奖Obsidian 笔记关联插件
鼓励奖明账 AI 记账、人事 Excel Agent

第一名的 Shiori Agent 是当晚完成度最高的作品,没有之一:角色卡导入、记忆面板、语音、主动聊天、插件系统都做出来了,还能把角色拉进群里一起聊。作者也已经靠这个项目找到了工作。

第二名的 Speech Agent 把你说过的话变成字幕,再由你挑出值得长期记住的内容,通过 MCP 只读地分享给其他 AI。作者是当晚第一个上场的,还专门做了一段介绍视频。

第三名的 Legion 是当晚被问得最多的作品,后面会专门聊到。

最佳 Demo 奖不看项目本身的技术能力,只看 5 分钟里的表达、展示和问答。拿到这个奖的同学并没有报名,是刚关注几天、看到直播临时上来连麦的,说是想听听大家的建议,结果展示和表达是全场最好的。这大概是当晚最意外的惊喜。

两个鼓励奖是我们评完之后临时加的。一位是 2026 级的新生,是当晚年纪最小的参赛者,做了一个 Windows 上的 AI 记账工具;另一位已经工作两三年,不是计算机专业,今年五六月才开始学编程,代码大部分是自己手写的。看到这样的参赛者,我是真的很受鼓舞。

一、大家最想做的,也是模型厂商最想做的#

评完回头一数,一大半的项目落在这几个方向上:

  • 记住你:把你说过的话、和 AI 聊过的内容沉淀成记忆;
  • 帮你整理知识:陌生领域的知识地图、笔记自动关联;
  • 陪着你:角色扮演的个人 Agent、桌宠;
  • 24 小时看着你:后台收音、监听 Coding Agent 的对话日志、主动出来给建议。

第一个项目还没评完,我就忍不住问了一句:你们怎么都这么喜欢做 24 小时监听类的产品?

这些方向扎堆,原因很好理解:它们都是我们自己每天在痛的地方。上下文一压缩,细节就丢了;笔记记了几千条,用的时候找不到;同时开着三四个会话,要在 tab 之间来回切。我自己也一样。

这些方向也确实有价值。Speech Agent 的作者在展示里说了一句我很认同的话:模型能力越来越强,但属于你个人的信息,并不会随着模型变强而变多。从自己的需求出发、守住只属于自己的那部分信息,是做项目很好的起点。

只是聊下来,我和降星驰有一个共同的感受:我们最痛的地方,往往也是模型厂商最在意的地方。记忆、上下文管理、多会话并行,正是各家每个月都在往产品里加的东西。在这几条赛道上,对手往往不是另一个学生项目,而是下一次模型和产品更新。

反过来,降星驰觉得「这么多作品里最有可能有人付费」的,是一个数学建模 Agent。它的赛道小而具体,交付物明确(一篇能直接提交的论文),结果也明确(拿没拿奖)。降星驰的评价大意是:你甚至不用把服务卖给别人,自己跑出结果来收钱,大概率都能收成功。

人事 Excel Agent 也是同一个道理。算工资、汇总各部门交上来的表,没有哪家模型厂商会专门为你做这件事。越通用的需求,越是模型的主场;越具体的需求,越是个人开发者的机会。

想做 24 小时在线的产品,难点在哪#

24 小时、主动型的产品当然可以做,那晚我们也聊了不少它到底难在哪。

降星驰在点评 Speech Agent 时给了一个区分,我很喜欢:

  • 工具类软件:用户在某个场景下主动打开它,换来一个明确的收益;
  • 环境类软件:一直在后台,平时几乎感觉不到,像窗外的风景或者桌上的一盏灯,等你回看的时候才显出价值。

两类软件对产品的要求完全不同。环境类软件首先要做到的,是在不打扰人的前提下提供价值。

另一个难点,是一位做桌面 Agent 的参赛者自己说出来的:上下文和记忆压缩都不是最难的,最难的是它什么时候该出场。我当时的想法是,只读屏幕上的内容,推断不出你需要什么帮助,行为信号可能更有用,比如反复选中某几个词,或者鼠标在一段文字上来回停留。降星驰不太同意:真想弄懂一个东西,人会去和 ChatGPT 来回深聊,桌面上自动弹出的讲解帮不上太多。这个问题当晚没聊出结论,但大家都同意,这是触发时机的设计问题,不是模型能力的问题,而且它真的很难。

Obsidian 插件的作者就主动避开了这个难点:选择一天或一周整理一次,不做实时监控,理由是实时运行有隐私风险,也不够稳定。我觉得这是一个很成熟的取舍。

知识类产品:存下来、找得到、想得起#

做笔记和知识库的项目不少,降星驰在点评 Obsidian 插件时,给了一个我觉得很好用的拆法。知识相关的操作有三种:

  • 存储:把一份笔记存下来;
  • 检索:需要的时候能找到它;
  • 激活:在做新事情的时候,能想起相关的旧知识。

大部分项目都在做前两种,真正难的是第三种。而且旧知识会过期:大一记的笔记,到了大四可能已经没什么价值了。要做好激活,最终需要对「这个人现在会什么、不会什么」有一个判断,这已经接近对用户本身建模了。

在这类产品的门槛上,我们两个的看法不太一样。我更担心冷启动:一个新用户还没有笔记,为什么要用你?降星驰则觉得,知识类产品不一定要追求低门槛,一个月 20 块钱,有一千个人愿意付费,就已经是一个很好的小生意了。两种看法都有道理,取决于你想把它做成什么。

二、绕不开的问题:为什么不直接用 Claude Code#

这是当晚出现次数最多的问题。在一个记忆系统项目上,我是这样一步步问的:

Codex 和 Claude Code 是当之无愧的 T0 级(第一梯队)Agent,虽然为 Coding 而生,但越来越通用,你承认吧?它们的上手门槛,从配置到发出第一个 prompt,比你的产品低,你也承认吧?那用户为什么要用你的产品,而不是它们?

问出来确实有点压力,但每个做 Agent 产品的人迟早都要面对它。2026 年,用户手里已经有一个足够强、门槛足够低的通用 Agent。RSS 摘要、读其他会话的历史、学一个新领域,很多功能让 Codex 起一个定时任务,就能做到七八成。

做 RSS 文章分析的那组也被问到了这个问题。降星驰分享了自己的做法:让 ChatGPT 每天根据前一天问过的东西推几篇文章,骑车通勤的时候,直接让它念出来,有问题还能接着聊。这样的体验,一个独立的阅读器很难比得过。

所以问题从「我能不能做出来」,变成了「为什么不是它来做」。当晚大家给出的好回答,大致有三种。

把独特的能力做成插件,接进头部 Agent。 做陌生领域知识地图的那组,被问到平时学新东西时用不用自己的项目,作者坦白还没用过。这很正常,换成我,大概也会直接打开 ChatGPT。这时候可以反过来想:如果你在某个垂类上真有独特的能力,就把它做成 Skill 或 MCP,接进 Claude Code 和 Codex 里。这样还有一个常被忽略的好处:曝光。它们的用户每天都在增长,接在上面的东西,天然能被更多人看到。

有一个通用 Agent 不适合做的具体理由。 我问明账的作者:你自己就在用 Hermes 这类个人 Agent,为什么不把记账做成它的一个子功能?把 CSV 直接发给它,手机上就能处理,不是更方便吗?作者先说的是隐私,我们当场讨论了一下:只要接了外部的 AI 服务,数据总会离开本机,存在自己电脑上和存在自己的服务器上,差别没有想象中大。第二个理由就很有说服力了:Hermes 太重,而明账更接近一个记账 App,不是一个 Agent。作者自己的习惯也正好是这样:隔一段时间集中导一次账单,在电脑上批量整理,自己保管账本。理由越具体,越站得住。

大方承认它是一个自己用的项目。 这完全没问题。降星驰说:「我对个人项目和但凡有商业化想法的项目,要求是不一样的。」做本地音乐播放器的那位,作为个人开源项目,做到五百、一千个 star 是很有希望的。我当时的建议是,与其在音乐版权上找卖点,不如把力气花在 Agent 真正擅长的地方:不知道歌名、也记不起歌词,只能用感觉去描述一首歌时,传统平台很难搜到。如果它能做好这件事,就是一个真正的亮点。

能用 Hook 解决的,先别做 Harness#

第三名的 Legion,是我们问得最多的作品。它用一个 Manager 拆任务,分给最多 64 个 Codex 子 Agent 并行执行,再统一验收,在硬件设计和算子优化的任务上已经跑出了实打实的提升。

降星驰问了一个很现实的问题:

模型迭代一轮,就会把很多 Skill、甚至 Harness 淘汰掉。你怎么保证自己不被淘汰?

例子是现成的。Superpowers 这类流程型 Skill,在模型还比较弱的时候几乎人人都装;新一代模型出来以后,用的人就少了很多。「能开 64 个子 Agent」本身也不太构成差异:Codex 的子 Agent 数量改一下配置就能调上去,Kimi Code 一次也能开几十个 Agent 并行。

聊到这里,我给的建议是一个从轻到重的顺序:

  • Hook:在 Agent 运行的固定时机自动执行一段脚本,适合处理规则性的约束;
  • Skill:给 Agent 一个额外的专家技能包,本质上是一份按需加载的提示词;
  • MCP:把需要真实执行的能力做成接口,各家 Agent 都能调用;
  • Plugin:把 Skill、MCP、Hook 打包在一起,方便分发和安装;
  • Mod:Claude Code 前阵子刚推出的形式,可以直接在 Claude Code 里加面板、状态栏这类界面;
  • 独立的 Harness 或产品:最后才考虑。

能用前一种解决,就先别跳到后一种。每往后走一步,要维护的东西就多一层,被模型更新覆盖的风险也大一层。现在 Claude 这一类模型差不多一个月就迭代一次。一个三个月后可能被模型自带能力覆盖的独立 Harness,和一个三个月后仍然能被各家 Agent 调用的 Skill,价值差得很远。

所以对 Legion,我最想知道的是:这套分工和验收的规则,能不能先做成 Skill 加 Hook?降星驰也补了一句:Claude Code 和 Codex 都有 Hook,要先证明 Skill 加 Hook 解决不了,才需要一个独立的系统。

顺便给正在找实习的同学一个小建议:别拿 Coding Agent 或 Harness 当面试项目。多 Agent 编排的复杂度不亚于分布式系统,面试官会问的,正是上面这些问题。

让 Agent 也能用上你的产品#

接进头部 Agent 还有另一面:不只是把你的能力接进去,也可以是让 Agent 能用你的产品。

我问过做记忆系统的那位参赛者:你的产品对 Agent 友好吗?回答是设计时完全没考虑过,最初只是想给自己搭一套知识体系。这在做记忆和知识库的项目里很常见。

但看看我们群就知道,里面有我做的 bot,也有大家拉进来的 bot,数量越来越多,我相信很快会比真人还多。群里有人在做「网页一键转 Markdown」这类工具,目的就是让 Agent 能更好地读。你的产品产出的东西,能不能被别的 Agent 低成本地读取、调用、写入?一个结构化的输出、一个 MCP 接口,可能比一个漂亮的看板更能让你成为别人工作流里的一环。

三、一句话介绍产品,比想象中难#

降星驰几乎对每个人都问了这个问题:

如果只给你一句话,加一张宣传图,你怎么介绍你的产品?

这一题大家答得都很吃力。「一个套了角色扮演皮的个人 Agent,主要提供情绪价值」「一个让你看到曾经没注意到、但有用的内容的工具」,听起来更像功能描述,还不像别人愿意转述的一句话。这题本来就难,经典产品的口号往往只是一个很短的词组,背后是反复打磨的结果。

我觉得它的价值不在文案本身,而在于逼你回答几件事:用户是谁,解决什么问题,和别人差在哪。答不上来的时候,往往说明这几件事还没想清楚。

最佳 Demo 奖的 Obsidian 插件就是一个很好的例子。作者讲得自信又流畅,但聊着聊着,我们发现产品里藏着一个小矛盾:

  • 出发点是:用户记了几千条笔记,但不会回去翻;
  • 用法却是:点进某一条笔记,看看它关联了哪些旧笔记。

如果用户本来就不会回去翻,这个入口就不太成立。我当时的建议是换一条主线:创作一个新主题时,我常常不知道这个朦胧的想法该打什么标签,也想不起它和哪些旧笔记有关,这才是我真正需要 AI 帮忙的地方。

讲得好和想得清是两件事。表达是一个放大器,它放大的是你已经想清楚的那部分。

两个最简单的检验#

第一,你自己在用吗?我问了好几个人:你平时用它吗?连续用超过三天了吗?测试不算。

能回答「在用」的项目,后面的问题都答得更有底气。明账的作者自己就是「隔一段时间集中导账单」的人;做 AI 对话记忆的作者,真的会去翻记忆、画思维导图。反过来,作者自己都不用的项目,我们也很难知道该从哪里问起。

第二,在你出现之前,有没有人在用很别扭的办法满足这个需求?这是降星驰给的检验方法。例子是外卖:美团出现之前,就有肯德基宅急送,有商家接电话、自己派人送餐。效率很低,但需求真实存在。

反过来,「只要做得足够方便,就会有人来用」这个逻辑不太成立,因为任何东西都可以这么说。真正重要的需求,哪怕很不方便,也会有人想办法满足。

想知道目标用户的痛点,也不用闷在家里猜。群里八百人,我当时开玩笑说,发个十块钱红包,都会有二十个人认真回答你。红包不是重点,重点是用户离你很近,可以直接去问。

四、先找到裁判,再堆 token#

回到 Legion。被问到和别人的差异在哪时,作者讲到了验收层:不是让另一个 LLM 判断做得对不对,而是接一个外部的验证程序,比如电子设计里专用的验证工具、算子的性能评测。分数上去就保留,没上去就淘汰,再分配,再迭代,一轮一轮往上爬。

我当时的第一反应是:那不就是测试吗?

复盘的时候我才意识到,这恰好是它做对的地方。它最有价值的部分,不是能开 64 个子 Agent,而是它选的任务有裁判。

这也解释了为什么 Coding Agent 最先成熟:代码有测试,测试就是裁判。有了裁判,才能放心地堆 token、堆并发,让 Agent 自己往上爬。算子优化、硬件设计、形式化证明,都属于这一类。

没有现成裁判的领域,就要先找一个:

  • 数学建模的结果没有绝对的对错,论文用词好不好也很难量化。我问到这一点时,降星驰的回答很干脆:数学建模能拿奖就行。比赛本身就是裁判。
  • AI 自动整理的知识库对不对、笔记关联得准不准,就没有裁判。降星驰问过做记忆的那位:AI 自动处理了你的知识库,人怎么知道它做得对不对?能当裁判的只有人,而人恰恰是那个「不会回去看」的角色。

所以动手之前,可以先问自己一句:谁来判断它做得好不好?答案可以是测试、比赛成绩、用户付费,也可以是你自己连续在用。想不出裁判的时候,先别急着堆 Agent。

五、懂业务的人,正在变得更值钱#

当晚让我印象最深的,是拿鼓励奖的那位人事管理同学。

毕业两三年,做人事管理,不是计算机专业,下班之后有空,五月底看了我的视频,就想自己做一个 Agent 试试。在我们群里,手写代码常被调侃成一种过时的做法,但这位同学想边学边做,代码大部分是自己写的,我只觉得佩服。项目把算工资、汇总各部门表格的工作,拆成了几个原子工具:读 Excel、写 Excel、把员工信息表转成数据库、查询员工数据库。

作者说了一句我很认同的话:

想在工作上用好 AI,其实还是需要对自己的工作有非常足够的了解。

最早的版本是一个把所有表头写死的专用工具,能用,但完全不通用。后来作者才意识到要把工作步骤原子化。这件事技术上并不难,难的是你得知道这份工作里,哪些步骤可以拆开。

这也是那晚我反复聊到的一个观点:做 Agent,产品能力比技术能力重要得多。以前当然也是这样,但现在多了一个原因:Agent 是一个增量市场,而技术本身在 AI 面前正在贬值,对业务的理解不会。降星驰也提到,最近取关了很多讲技术细节的博主,因为教你 CSS 怎么写、某个细节怎么优化的内容,已经不需要专门去学了。

拿记忆举例。记忆可以做得很简单,直接塞进系统提示词;也可以做得很复杂,各种召回策略,再结合成本、速度和回答质量一起权衡。但不是每个场景都需要最高级的那一档,你的场景用不上,就别硬上。技术选择要有自己的理由,而不是「AI 告诉我用这个」,或者「我第一个知道的就是这个」。

所以我很想鼓励大家:想做好 Agent 开发,先试着当一个 Agent 产品经理。这个数字没有什么依据,但我觉得起码应该深度体验过 20 个 Agent 产品,而且不能只用 Coding Agent。

怎么保持对市场的感觉?降星驰的办法是让 AI 起一个定时任务,每天扫一遍 Product Hunt 排名前 10 到 30 的 Agent 产品。我再补充一点:a16z、YC 这些投资和孵化机构也很值得关注。看的时候,最好把 AI 和 Agent 市场分成两层:

  • 研究层面:纯技术的进展,去看论文;
  • 应用市场层面:更建议看 YC、红杉这些机构的报告。

降星驰还有一条:用户量到 10 万之前,别急着考虑架构优化。小团队的架构,核心就一件事:省钱。

最后:写给那晚上来展示的每一个人#

写到这里,回头再想那个晚上,最打动我的其实不是哪个项目做得最完整,而是上来展示的这些人。

有刚入学的 2026 级新生,有已经工作、下班后才开始学编程的人事同学,有关注我才几天、看到直播就上来连麦的新朋友,也有已经靠自己的项目找到工作的第一名。大家处在完全不同的阶段,却在同一个晚上,把自己做的东西拿出来,当着群友和直播间观众的面,接受两个评委一个接一个的追问。

这件事本身就需要勇气。第一个上场的同学一开始就说,看得出来我现在压力有点大;我说不用紧张,这不是面试。Legion 的作者被我们连着追问了十几分钟,我想说几句话缓和一下,对方却说:不用安慰,严厉一点更好,我还是想把这个想法实践下去。听到这句话的时候,我是真的很开心。被问住不丢人,愿意把东西拿出来、愿意被问,就已经走在很多人前面了。

我办这场比赛,一个很重要的原因是,很多人做项目只是为了面试、为了找实习,做完就放在简历上,很少有机会在一群同样在做 Agent 的人面前展示,被问一些平时没人会问的问题。那晚的很多追问,换成面试官,可能也不会问得这么细。但我希望大家听到的不是否定,而是另一个看待自己作品的角度。

这种交流也从来不是单向的。坐在评委席上,看起来是我们在提问,但从大家的回答里,我也学到了很多。这篇里的不少观点,就是被你们的项目「问」出来的。谢谢降星驰陪我从八点聊到十一点多,也谢谢直播间里一直在刷弹幕、一起讨论的每一位。

群里的 bot 越来越多,我也一直在折腾它们,但那天晚上让我更加确定:哪怕 Agent 越来越多,人和人之间的交流,依旧是一个社群里最好的那部分。我当然希望这个群越来越好,不管是办比赛、做分享,还是给大家一些免费的 token,初衷都是一样的:希望大家把 AI 用好,也希望在这里认识一些一起往前走的人。

这次也有不少人因为家里有事、时间冲突,或者作为新人觉得自己还不够独立做完一个项目,最后错过了。没关系,现在已经 10 月,夏天过去了,如果顺利的话,下一场也许就叫 Winter of Agents。真有下一次,希望能见到你们,也希望这次上来展示的同学,到时候带着新的版本再来。

如果你也对 Agent 感兴趣,欢迎加入 QQ 粉丝群: 。后续的活动都会在群里发布,不一定是比赛,规模更大的、更轻量的都可以,有想法也欢迎直接在群里提。对文中哪一条有不同看法,也欢迎来聊。

我办了一场 Agent 比赛:评完十几个作品,我们反复在问同一个问题
https://www.joyehuang.me/blog/20261006---soareview/post
Author Joye
Published at 2026年10月6日
Comment seems to stuck. Try to refresh?✨