HR-Align团队 投稿激情文学小说网

量子位 | 公众号 QbitAI

“让机器东谈主看懂天下、听懂辅导、脱手干活”正从科幻走向履行。

基于大限制东谈主类视频数据进行视觉预锤真金不怕火，是开垦真确场景可泛化机器东谈主操作算法的灵验道路。

中枢在于东谈主类操作与机器东谈主行为序列高度同样，因此从东谈主类视频习得的动态表征可迁徙至机器东谈主任务；然则 “从东谈主到机器东谈主” 的迁徙濒临要道退却，即东谈主 - 机器东谈主数据域间各别（Human-Robot Domain Discrepancy）。尽管二者践诺任务时行为看似同样，但其形态存在压根各别。

这种各别导致了一个难题问题：即便在海量东谈主类数据上预锤真金不怕火了模子，这些模子一朝径直用于机器东谈主任务时，其进展却往往大打扣头，以致失败。

来自香港科技大学（广州）的团队提议了一个中枢问题：

奈何减少东谈主-机器东谈主之间的数据域各别影响，使得从东谈主类预锤真金不怕火中取得的视觉模子，大意更灵验地匡助机器东谈主完成本色任务？

在这一问题之下，他们提议东谈主类视频预锤真金不怕火迁徙新范式，诈欺匹配的东谈主类-机器东谈主操作视频，商量语义对王人依次弥合了这种跨域界限。

其中第一作家周佳明，香港科技大学广州二年龄博士生，议论所在为东谈主类视频行为效法以及可泛化的机器东谈主操作；通信作家是梁俊卫，是香港科技大学广州助理老师。

传统作念法（如图左）径直用在Ego4D等东谈主类数据集上锤真金不怕火的模子行止理机器东谈主任务，这种径直迁徙的依次当然会受到东谈主类-机器东谈主数据域各别的干豫。

本议论提议的新范式（如图右）通过诈欺语义对王人的东谈主类-机器东谈主视频对，在现存的东谈主类视频预锤真金不怕火模子中插入Adapter微调模块，通过对比赔本将机器东谈主数据上休养的模子的语义和预锤真金不怕火模子中讲究建模的东谈主类动态语义进行对王人，从而减少域各别的干豫。

HR-Align向上东谈主机语义界限的桥梁

左证提议的预锤真金不怕火适配新范式，该责任商量了HR-Align（Human-Robot Semantic Alignment）依次。其中枢念念想止境简易：

淌若大意获取“并吞个任务”的东谈主类操作视频和机器东谈主操作视频，并用它们之间的对应相关来带领模子微调，那就有可能修复起一个东谈主-机器东谈主之间的语义对王人机制。

1. 从“寂寞预锤真金不怕火”到“配对视频语义对王人”

传统的视觉预锤真金不怕火依次是在纯东谈主类视频上进行锤真金不怕火，然后将模子“冻结”，径直应用于机器东谈主任务。这种口头忽略了东谈主和机器东谈主领域间的各别。HR-Align冲突了这种“径直迁徙”的壁垒，目的在预锤真金不怕火和下贱任务之间，引入一个“适配阶段”。

在这个阶段中，议论者使用了一个具有语义配对的东谈主机数据集，这个数据围聚每一个东谈主类行为视频，都有一个对应的机器东谈主操作视频。这种东谈主-机器东谈主视频对提供了一个自然的“语义桥梁”。

2. 引入对比学习机制，已毕语义对王人

HR-Align适配的要道是东谈主-机器东谈主对比对王人赔本。在适配经由中，关于已有的东谈主类视频预锤真金不怕火视觉编码器，HR-Align分裂从东谈主类视频和机器东谈主视频中索要冻结的语义特征。同期，使用另一分支在编码器中引入轻量级Adapter模块在机器东谈主视频上微调，从而索要机器东谈主视频的适配特征。模子适配的中枢敛迹是，比较机器东谈主视频的冻结特征，机器东谈主视频的适配特征与匹配的东谈主类视频特征应当具有愈加同样的语义；

3. 轻量高效，适配通用

与其他需要大限制再行锤真金不怕火、或者为每种机器东谈主环境单独休养模子的决策不同，HR-Align具备如下上风：

参数高效：仅适配小模块，主模子无需大限制更新；通用性强：并吞个适配模子可泛化至多个任务和环境，无需逐个定制；数据易得：越来越多的平台提供东谈主-机器东谈主视频对，为依次的可落地提供保险。

实验后果

在RLBench的18个仿真任务下，通过HR-Align依次适配的D4R-Align模子比较正本的D4R预锤真金不怕火模子，平均顺利率擢升了4.6%；而通过HR-Align依次适配的R3M-Align模子比较未休养的R3M模子，平均顺利率擢升了8.9%；

在五个真确场景的机器东谈主任务上，D4R-Align和R3M-Align模子比较未适配的预锤真金不怕火模子，平均顺利率分裂擢升13%和11%；

这些权贵的擢升不仅考证了依次的灵验性，也标明该适配计谋具有极高的本色应用价值。

中枢孝顺归来提议新问题：从大限制东谈主类视频预锤真金不怕火中学习可泛化机器东谈主操作，东谈主体-机器东谈主数据的域各别问题不能刻薄。提议新范式：通过匹配的东谈主-机器东谈主行为视频，已毕东谈主类行为与机器东谈主操作的语义对王人，不再盲目依赖预锤真金不怕火模子的泛化能力。高效适配依次：引入轻量级Adapter模块，仅需少量参数微调，即可将模子适配到机器东谈主任务中。充分实验考证：在20个仿真任务与5个真确机器东谈主任务中均取得高出7%平均顺利率擢升，适配模子权贵优于未适配版块。

论文齐集：https://arxiv.org/pdf/2406.14235神情主页：https://jiaming-zhou.github.io/projects/HumanRobotAlign/开源仓库：https://github.com/jiaming-zhou/HumanRobotAlign

— 完 —

量子位 QbitAI · 头条号签

关爱咱们激情文学小说网，第一时辰获知前沿科技动态约