控制学院陈积明、叶琦团队在Science Robotics发文：突破像人一样“看”与“触”，一种策略解锁多项灵巧手操作技能

仅凭单目视觉和简单的二值触觉，机器人能否像人类一样玩转复杂的灵巧操作？浙江大学控制科学与工程学院陈积明、叶琦团队与杭州电子科技大学合作者们在国家自然科学基金基础科学中心自主智能无人系统项目支持下，提出了一种受神经科学启发的视触觉预训练与在线多任务学习框架，让灵巧手通过“观察”人类视频学会了多感官融合，仅用极低成本的传感器便实现了高达85%的综合操作成功率，并能泛化到削铅笔、拧螺丝等未见过的任务中。该成果“Visual-Tactile Pretraining and Online Multitask Learning”已于2026年1月28日发表于国际顶级期刊《Science Robotics》。同期的《Science Robotics》发表了针对该成果的前沿聚焦评论文章——“Within arm’s reach: A path forward for robot dexterity”，深度解读该工作并指出该工作提供了一个具有良好可扩展性的算法范式：有效的多模态传感融合、大规模人类数据采集，以及严谨的仿真技术。该成果和专题评论在《Science Robotics》官网首页展示。

人类的手之所以灵巧，不仅因为有复杂的骨骼肌肉系统，更因为大脑能完美地融合视觉和触觉。神经科学研究表明，人脑顶下小叶（Inferior Parietal Lobule, IPL）中的神经元负责整合这些多模态信息，让我们在行动前就建立了对动作的表达。受此启发，团队提出了一种全新的学习框架——“Visual-Tactile Pretraining and Online Multitask Learning”。该研究通过模仿人类的学习范式（观察与实践），让机器人仅通过单目RGB相机和低成本的二值触觉传感器，就掌握了包括转瓶盖、拧水龙头、滑动滑块等在内的多种复杂技能，并表现出了惊人的泛化能力和“类人”的操作特性。