#itup01

玩LLM和agent有一段期间了，咫尺以为AI agent落地是一个很无语的阶段。学术上是一个富矿，有点当年人人系统火起来的嗅觉了。

agent work吗，他work，许多bert无法作念好的任务，LLM能有可以的效用，在agent框架加合手下，针对特定任务效用会好，不得不承认，岂论是LLM如故agent在效用上齐是实打实的越过。

那agent满盈work吗，这个谜底彰着是否的。若是说当年深度学习大众是真金不怕火丹师，那咫尺作念agent诈欺是果真木工时刻东谈主了。不同的牵挂库，不同的prompt递次，用不同的LLM 拼起来效用分辩齐蛮大的。

那这些局限性是如何产生的呢，有一个很核心的问题我称之为shallow reasoning，也等于说那怕是年头的GPT4，他的推理齐是比拟浅层的。GPT5可以责罚吗，也许。然则这也有可能是decoder-only transformer架构的固有裂缝。是以咫尺看来agent的神经核心如故很原始的阶段。

其实agent四大模块除了tool use齐存在雷同的问题。

牵挂模块，咫尺的RAG也额外原始。只是通过文本相似性来搜索是不是也太简便悍戾了？比如说，我的缱绻是从A地到C地，然则我必须加油，中间唯有B地有加油站，那么彰着我需要完成A-B-C的旅途。那若是我咫尺是A我思意志C，有中间东谈主B。那我完竣可以回思之前加油的例子，来完成我的缱绻。之前加油的例子天然和现时任务是共通的，然则文本相似性很低。是以个东谈主倡导是咱们需要更高档的牵挂模块。

逻辑推理模块咫尺有许多比如，COT, TOT,GOT，类比相似的例子等等。这些模块一定过程上责罚了浅层推理的问题，然则依然，咫尺agent的推理深度是不够。是以大部分论文如故在简便的数据集上测试（这里的简便数据集联系于之前的NLP递次也很难了）。那随之而来的问题是，关于不同的任务，我要接纳哪种递次去推理呢，我需要花几许算力去推理是安妥的呢？咫尺即使是最高档的prompt手段，也需要许多手工调动。是以推理模块也依然是额外原始的。

若是不说那么远，若是基于咫尺agent也曾有的智商去落地呢？依然还有许多问题。

从需求上，比喻说咫尺agent可以帮你订个外卖，酒店，机票。问题是他果真比用APP顺遂吗？我思咱们不要小看了十多年来迁移互联网发展中，对APP的优化过程。再比如说像characterAI这么，果真比刷抖音和看短剧有真谛吗？

咫尺以为几个比拟好的诈欺标的是，医疗多模态大模子+agent，若是医疗影像可以关于新任务可以径直few-shot，何况效用约略商用，会是一个很好的打破。还有作念游戏亦然很好的标的，agent可以产生许多很好奇瞻仰好奇瞻仰的游戏推行，我思这类游戏也曾在路上了。还有外交领域，天然这里不是真东谈主外交，是捏造伴侣，捏造偶像，这些需求详情是存在的，然则家具设置也需要摸着石头过河。

至于软件设置，咫尺用GPT4的智商，完竣是扯蛋的。

临了是算力的问题，serving cost果真太高了。咫尺能作念agent的LLM，唯有GPT4，3.5水平相似的模子作念agent很拼集。一个用户单次交互，也许要花好几毛东谈主民币。什么样的家具，餍足什么样的需求才气卖得起这个价格呢？

是以说咫尺落地是个无语的阶段，要么等算力，推理框架，蒸馏技术发展，让就业资本满盈低廉。要么等agent这套框架发展处更好的牵挂，和推明智商

❤（itup01）开yun体育网