出品 | 虎嗅科技组
作者 | 易玉琴
编辑 | 苗正卿
头图 | AI生成
具身智能行业正面临一场昂贵的“浪费”。
同样的任务，每换一种机器人，就可能需要重新采集数据、训练模型。如果未来有上万种机器人，难道就要训练上万颗“大脑”？
如今，“一脑多形”“一脑多态”成为行业探索的新方向，试图让不同机器人共享智能。
但身体千差万别的机器人，究竟能共享哪些能力？一颗“大脑”，又如何适应不同的身体？
为了寻找答案，我们和香港具身智能实验室联合总监、香港中文大学助理教授李钟毓聊了聊。
1996年出生的李钟毓，本科毕业于浙江大学机械电子工程专业，2025年获得加州大学伯克利分校机械工程博士学位。他早期主要研究双足机器人的运动控制，后来逐渐将研究延伸至不同机器人之间的数据、模型与能力迁移。
他所在的香港具身智能实验室，也在尝试将跨构型研究推向产业。目前，实验室已与24家产业伙伴、投资机构及科创企业展开合作，包括智元机器人、宇树科技、云深处、仙工智能、舞肌科技等。
在这次对话中，李钟毓谈到了自己从人形机器人转向跨构型研究的原因，也分享了他对模型迁移、世界模型、数据采集和行业协作的思考。
以下是虎嗅根据采访整理的李钟毓自述。为便于阅读，在保留原意的基础上，对部分内容进行了删减、重组，并对技术概念作了适当的通俗化处理。
每换一种身体都重新训练，行业很难实现规模化
我们最开始研究人形机器人，看中的就是它的通用性。
人有两条腿、两条手臂和两只灵活的手，可以去各种各样的地方，完成各种各样的工作。所以，理论上只要把人形机器人的模型和运动控制能力做好，它就能够适应不同的任务和环境。
但我们也很清楚，人形机器人现在还不够成熟。即使再过五年、十年，也很难说会有某一种机器人，能够把所有事情都做了。
现实世界中的任务，对机器人的身体有不同要求。
有的需要两米长的机械臂，有的要求重载，有的要把东西举得很高，有的需要移动得很快。末端执行器也是一样，有些任务用柔性夹爪或者吸盘就能完成，完全没必要配置复杂的灵巧手。
所以，我认为人形机器人一定会有用，家庭可能就是一个重要场景，但它未必会占据所有场景的主导地位。未来更可能出现的情况，是多种构型的机器人长期共存，各自在专业场景中完成不同的工作。
这也带来一个问题：如果每一种机器人都要单独开发一套“大脑”和“小脑”，重新采集数据、训练模型，整个行业的成本会非常高。
更大的问题是，这些投入很难积累到一起。
比如，一家公司做机械臂，另一家公司做人形机器人，它们采集的数据不同，模型的输入输出不同，对任务的理解和动作表示也可能不同。即使两者完成的是类似任务，积累的经验也很难直接共享。
机器人越来越多，每一类却都在“各练各的”，就很难形成我们希望看到的Scaling（规模化）效应。
理想情况下，我们希望把不同来源的数据放在一起训练，再通过机器人与真实环境的Interaction（交互），不断产生新的数据，用这些数据继续提升模型。
数据和能力不断积累，达到一定规模后，甚至有可能出现Emergent Intelligence（智能涌现），也就是模型表现出此前没有明确训练过的新能力。
但如果所有数据、模型和能力都被限制在单一构型里，这个过程就很难持续放大。
所以，我们认为，跨构型是一个必须尽早考虑的问题。
先理解“要做什么”，再考虑“怎么做”
为什么最近大家又开始重视跨构型？
一个重要原因是，我们发现，单一构型模型训练出来的部分能力，已经开始表现出复用和迁移的可能性。
过去，跨构型最大的难点之一，就是输入和输出对不上。
不同机器人拥有不同的自由度、关节结构和传感器。摄像头的位置不同，看到的画面就不同；机械臂的关节数量不同，模型输出的控制指令也不能直接照搬。
所以，大家往往只能先把一种机器人做好。
但随着数据规模扩大，我们开始发现，如果能够在不同构型之间找到一些共性，模型就有机会学习到可以迁移的能力。
比如，机器人要把一个杯子放到桌子的另一边。无论是人形机器人、轮式双臂机器人，还是固定机械臂，它们都需要理解杯子在哪里、目标在哪里，以及应该完成什么任务。至于具体哪个关节转多少度、轮子往哪个方向走，则取决于它们各自的身体结构。
所以，跨构型的一个重要思路，就是先把“要做什么”和“具体怎么做”尽量分开。
我们可以让模型学习一种更抽象的表示，例如任务意图，再由不同机器人根据自己的身体条件，把这种意图转化成具体动作。
这有点像人学习不同的交通工具。一个人先学会骑自行车，再去学骑摩托车、开汽车。具体操作方式一直在变，但过去的经验可以帮助他更快掌握新的操作方式。
机器人也有可能获得类似的迁移能力。
现在，In-Context Learning（上下文学习）、Continual Learning（持续学习）以及强化学习等技术的发展，让我们看到了一些机会。机器人可能只需要尝试几次，就能利用原有经验更快学会一项新任务。
但这里还有一个关键问题：迁移能力最好在预训练阶段就开始考虑。如果模型最开始只围绕某一种构型训练，到了后训练阶段才要求它适应另一种机器人，就可能出现所谓的“灾难性遗忘”。也就是说，新任务学会了，原来的一些能力反而丢掉了。
因此，我们需要在模型设计和训练的早期，就考虑不同构型之间有哪些能力可以共享。
身体可以不同，对世界的理解可以相通
尽管机器人的身体一直在变，但我们可以从中找到一些相对不变的东西。
除了任务意图，我认为还有两种能力非常重要。
第一种，是对世界的理解。
这与World Model（世界模型）有关。
不同机器人虽然身体不同，但它们观察的是同一个物理世界。
比如，一个杯子放在桌子上，不管是人形还是轮式机器人，都需要理解杯子的位置、周围环境，以及自己的动作可能带来什么变化。
机器人能够采取的动作不同，但世界本身的很多规律是共通的。
因此，世界模型的Prediction（预测）能力和空间、物理的理解能力，可以成为跨构型的一个共同基础。
第二种，是对任务进度的判断。
人在完成一项任务时，通常会对进度有一个大致的判断。我们未必能准确说出已经完成了百分之多少，但通常知道自己做到了哪一步、还有哪些事情没做、是不是快完成了。
机器人也可以学习这种能力，也就是Progress Model（进度模型）。
过去，大模型的后训练更多依赖SFT（监督微调），现在大家越来越关注强化学习，让机器人通过不断尝试和反馈来提升能力。
但强化学习有一个难点：怎样判断机器人做得好不好，并给予准确的奖励？
比如，人形机器人和轮式机器人都去拿杯子，虽然动作不同，但任务目标相同，评价标准也应该一致。不能因为机器人构型不同，完成同样的任务就得到不同的奖励。
假如在真实环境中，每种机器人、每个任务都需要单独设计奖励函数，成本很高，也难以规模化。
Progress Model提供了一种思路：让模型判断任务有没有向前推进，再将这种进度信息转化为奖励信号。这样，不同构型的机器人即使动作不同，也有机会共享一部分评价标准，减少重复设计奖励函数的成本。
如果能够找到跨构型通用的奖励方式，强化学习就有机会在更多机器人上规模化开展。
这也是为什么，随着世界模型、进度模型和强化学习等技术的发展，跨构型正在变得越来越可行。
我们希望从中找到那些不依赖具体身体结构的共通能力，让不同机器人能够共享，再根据各自的身体完成具体动作。
人类数据是起点，最终还要回到真机
跨构型还有一个现实问题：数据从哪里来？
数据规模对模型能力至关重要，但要让机器人掌握各种各样的技能，需要的数据量非常庞大。如果完全依靠机器人自身采集，成本很高，而且不同构型的数据也很难直接复用。
所以，我们认为，人类的Ego Data（第一视角数据）非常重要。
比如，人可以佩戴摄像头或其他采集设备，记录自己拿取物品、整理桌面、完成装配任务的过程。这些数据包含了人对环境的观察，以及人与环境交互的经验，可以帮助模型学习一些更通用的能力。
在我们看来，人类操作经验可以成为不同构型机器人学习的共同参照。
这里有一个重要的技术思路：我们未必需要让模型直接从视觉、语言输入，一步到位地输出不同机器人的关节控制指令。
打个比方，两个AI系统交流，不一定要使用人类语言，也可能存在更高效的信息表达方式。不同机器人之间，同样可以尝试建立这样一套共同的“语言”。
具体来说，可以让模型先学习一种更抽象的内部表示，用来表达任务意图、环境信息等，再由不同构型的机器人根据自身结构，将这些信息转化为具体动作。
当然，人类数据只是一个起点。机器人最终还是要用自己的身体完成任务，因此还需要结合不同构型的真机数据进行训练。
一种可行的路径是，先利用大量人类第一视角数据进行预训练，让模型掌握相对通用的基础能力；再加入不同构型的真机数据，通过微调或继续训练，让模型适应不同的机器人。
更重要的是，模型训练完成后，一定要重新部署到真机上，在真实环境中产生新的数据，再用这些数据继续训练。
随着机器人部署规模扩大，未来的数据来源有机会逐渐减少对人类示范的依赖，更多来自机器人自身的交互。
这样，模型能力提升可以推动更多机器人部署，而机器人在实际运行中积累的新经验，又能反过来提升模型，逐步形成一个持续迭代的数据闭环。
数据多样性很重要，跨构型需要整个行业参与
如今，跨构型越来越具备可行性，一个重要原因是机器人的本体形态正在变得越来越多样。
以四足机器人为例，不同产品的关节布局各有差异，还出现了轮足结合的新形态。人形机器人同样如此，手臂有五自由度、七自由度等不同设计，腿部自由度的配置也不尽相同。此外，还有轮式双臂机器人、固定机械臂等多种构型，进一步丰富了机器人的形态和应用场景。
随着机器人构型越来越丰富，我们也有机会获得更多不同类型的数据。
数据规模很重要，但数据多样性同样重要。比如，将同一段视频重复十万遍，即使累计出十万小时的数据，也不会增加多少有效信息。相比之下，不同构型、不同环境和不同交互方式产生的数据，能够让模型接触更多样化的任务和操作经验。
如果始终围绕单一构型采集数据、训练模型，数据的覆盖范围和模型能力都会受到一定限制。而将不同构型的数据整合起来训练，就有机会让模型从中找到更多共性，学习可以在不同机器人之间迁移的能力。
所以，未来的数据采集，也不应该局限于某一种机器人，或者某一个专门的数据采集中心。
我们希望形成这样一个循环：先利用大量人类第一视角数据进行预训练，让模型学习通用技能和对物理世界的理解；再将预训练模型或专家模型部署到不同构型的机器人上，让它们在真实环境中执行任务，产生新的交互数据。
这些数据再回流到统一的训练体系中，进一步提升模型能力，并部署到更多机器人上。每增加一种新构型，就有机会为整个模型体系带来新的数据和经验，推动能力持续积累。
当然，这件事很难由几所高校或少数企业独立完成。
高校擅长模型、算法和训练方法的研究，但很难长期覆盖大量机器人本体和真实场景；单个企业能够接触的构型和任务同样有限。
因此，我们希望更多本体公司、模型企业、数据服务商和实际场景方参与进来，让不同构型的机器人在真实部署中持续产生数据，再将这些经验用于共同训练。
跨构型最终能否实现规模化，关键在于不同机器人产生的数据和能力，能否真正流动和积累起来。
这也是为什么我们认为，跨构型需要尽早研究，更需要整个行业共同参与。