字节 Seed 发布全新多模态智能体框架——M3-Agent。

像东说念主类一样能听会看、具备恒久牵记，而况免费开源！？

M3-Agent 的亮点在于，它不仅大致处置及时的视觉和听觉输入，以构建和更新其恒久牵记，还发展了语义牵记，大致跟着时分的推移积蓄学问。

此外，为了评估多模态智能体中的牵记有用性和基于牵记的推理，来自字节 Seed、浙江大学和上海交通大学的征询团队还开发了一个新的长视频问答基准：M3-Bench，相似开源。

实验标明，通过强化学习熟习的 M3-Agent 在多个基准测试中发扬均显耀优于基线模子（包括基于生意模子如 Gemini-1.5-Pro 和 GPT-4o 的智能体）。

一位关爱网友回来了这篇论文的两个中枢知悉：

以实体为中心的多模态牵记至关蹙迫。M3-Agent 征询标明，通过在东说念主脸、语音和文本中开拓具有合手久 ID 的恒久结构化牵记，大致显耀进步长视频实质的推理能力。

检索推理优于单次 RAG。熟习一个 RL 计谋来决定何时以及怎样查询牵记会产生比盲目检索更强的成果。开发代理的开发者应该将检索视为一个迭代的推理轮回，而不是一个一次性才调。

详备实质及代码可见文末衔接。

M3-Agent 框架

对于多模态智能体而言，达到像东说念主类一样的智能水平根柢上依赖于三种能力：

（1）通过多模态传感器合手续感知寰球；

（2）将教授存储在恒久牵记中，并徐徐构建对于环境的学问；

（3）基于积蓄的牵记进行推理，以携带其举止。

为完结这些方针，字节 Seed 团队提议了 M3-Agent，一个配备恒久牵记的新式多模态代理框架。

它通过两个并行经由运作：牵记经由和适度经由。

牵记经由合手续感知及时多模态输入以构建和更新恒久牵记；适度经由则阐扬外部辅导，对存储的牵记进行推理，并实行相应的任务。

在牵记经由中，M3-Agent 会及时处置输入的视频流，通过生成两种牵记类型来同期拿获细粒度细节和高档抽象信息，访佛于东说念主类观点系统：

事件牵记

记载视频中不雅察到的具体事件。举例，"爱丽丝提起咖啡说，‘早上莫得这个我无法离开’"，以及"爱丽丝将空瓶子扔进绿色的垃圾桶"。

语义牵记

从片断中推导出一般学问。举例，"爱丽丝可爱早上喝咖啡"和"绿色的垃圾桶用于回收"。

生成的牵记随后会被存入恒久牵记库中，该库撑合手东说念主脸、语音和文本学问等多模态信息存储。

此外，牵记以实体为中心的结构进行组织，举例与合并个东说念主有计划的信息（举例他们的脸、声息和有计划学问）会以图的体式链接起来，跟着智能体握住索要和整合语义牵记，这些关联关系会徐徐开拓完善。

在适度经由中，M3-Agent 行使其恒久牵记进行推理并完成任务。

M3-Agent 并非使用单轮检索增强生成（RAG）将牵记加载到高下文中，而是领受强化学习来完结多轮推理和迭代牵记检索，能自主从不同维度（如事件或扮装）的恒久牵记中检索有计划信息，从而提高任务告捷率。

M3-Bench 基准

对于多模态智能体而言，牵记酿成与在线视频领会密切有计划，而在线视频领会是一项需要及时处置视频流并凭证往日的不雅察作念出有打算的、具有挑战性的任务。

传统的长视频领会顺次（举例在多模态模子中延伸高下文窗口或压缩视觉符号以增多时分掩饰规模）对于无穷长的视频流来说，并不具备有用的延伸性。

为了提高可延伸性，基于牵记的顺次引入了牵记模块来存储编码的视觉特征以供改日检索。这些架构相宜在线视频处置，但它们濒临一个基本适度：难以保合手恒久一致性。

由于它们只存储视觉特征，这些顺次难以在永劫老实保合手对东说念主类身份或演变事件等实体的连贯追踪。

跟着大型多模态和言语模子的快速发展，苏格拉底模子框架已成为已成为在线视频领会规模的一种颇具长进的征询主见。

该顺次通过行使多模态模子生成视频描写行为基于言语的牵记，有用进步了系统可延伸性；但它在保合手复杂、演变视频实质的恒久一致性方面仍然濒临挑战。

为此，征询团队提议了 M3-Bench，一个用于评估多模态智能体恒久牵记推理能力的 LVQA 数据集。

M3-Bench 中的每个实例包含一个模拟智能体感知输入的长视频，以及一系列绽开式问答对。

该数据集分为两个子集：

M3-Bench-robot，包含 100 个从机器东说念主第一东说念主称视角录制的真确寰球视频；

M3-Bench-web，包含 920 个集中起原的视频，涵盖更鄙俚的实质和场景。

为了全面评估智能体回忆往日不雅察成果和基于牵记进行推理的能力，征询团队整理了五种不同类型的问答题，如下图所示。

总体而言，M3-Bench 的特色是：

永劫长的真确寰球视频，涵盖了与多模态智能体部署有计划的种种化施行场景；

具有挑战性的问题，这些问题越过了浅层感知领会，需要基于恒久高下文的复杂推理。

上图为 M3-Bench 基准的统计轮廓，每个问题可能对应多种问题类型。

显耀优于基线模子

如上表所示，M3-Agent 在 M3-Bench-robot、M3-Bench-web 和 VideoMME-long 上均优于总共基线模子。

具体而言，在 M3-Bench-robot 上，M3-Agent 比最强的基线模子 MA-LLM 提高了 6.3% 的准确率；在 M3-Bench-web 和 VideoMME-long 上，它分裂比最强的基线模子 Gemini-GPT4o-Hybrid 越过了 7.7% 和 5.3%。

征询团队在 M3-Bench 中针对不同问题类型，将 M3-Agent 与总共基线进行了进一步评估。成果裸露，M3-Agent 在东说念主类领会和跨模态推理方面发扬出色。

具体来说，与 M3-Bench-robot 上发扬最好的基线 MA-LMM 比较，M3-Agent 在东说念主类领会和跨模态推理方面分裂进步了 4.2% 和 8.5%；

在 M3-Bench-web 上，M3-Agent 越过了顶尖基线 Gemini-GPT4o-Hybrid，在相应类别等分裂赢得了 15.5% 和 6.7% 的进步。

这些成果标明，M3-Agent 在保合手扮装一致性、深入东说念主类领会以及有用整合多模态信息方面具有超卓能力。

参考衔接：https://x.com/omarsar0/status/1956773240623235076

论文：https://www.arxiv.org/abs/2508.09736

代码：https://github.com/bytedance-seed/m3-agent

一键三连「点赞」「转发」「提神心」

谅解在驳斥区留住你的思法！

—  完  —

� � 但愿了解 AI 家具最新趋势？

量子位智库「AI 100」2025 上半年

「旗舰家具榜」和「改进家具榜」

给出最新参考� �

� � 点亮星标 � �

科技前沿进展逐日见九游体育app官网