物理AI、触觉感知与灵巧机器人发展之路系列文章——第一篇
把手伸进口袋,你不用眼睛看,就能摸到钥匙。
这个再普通不过的动作,现在的机器人却很难稳定完成。即使眼睛没有看向口袋,你的手指依然能分辨钥匙、硬币和碎屑,感知它们的重量和形状,并用恰到好处的力度抓住钥匙——既不会滑落,也不会用力过猛。整个过程没有依赖视觉,而是依靠触觉。
过去十年,AI的发展围绕着“感知”展开。机器越来越擅长观察、识别和规划。视觉模型能够识别复杂场景中的物体;大语言模型能够理解“整理一下厨房”这样的模糊指令,并拆解成可执行的步骤。如今,机器人系统已经能够融合视觉、语言和规划能力,实现几年前还像科幻一样的任务。
但是,当你让机器人拿起一个纸杯、一颗葡萄,或者一张皱巴巴的收据时,它的局限性便暴露出来。它可能会犹豫,然后捏坏纸杯,或者让葡萄滑落。机器人的“大脑”进步飞快,“双手”却远远没有跟上。
从感知到交互
机器人技术正迎来一次重要转变。从感知世界——理解世界——走向交互——真正作用于物理世界。真正的挑战已不再是“看见”,而是如何稳定、轻柔、快速地接触和操作物体。
自动驾驶汽车和机器人手,就是两种截然不同的自主系统。自动驾驶汽车的大部分工作是避免碰撞,一旦发生接触,往往意味着出现了问题。但机器人手的任务却相反,它需要主动接触物体,抓取、握持、操作,并感知物体施加的反馈。视觉告诉机器人物体在哪里;触觉则告诉它,当手指接触物体时,会发生什么。
这正是机器人至今仍然缺失的感知能力。
视觉负责规划,触觉负责执行
机器人领域常用一句话来概括这种转变:视觉负责规划,触觉负责执行。
这不只是一句精炼的总结,更揭示了两种感知方式的边界。摄像头可以扫描环境、识别水杯,并规划抓取路径。但当机械夹爪真正接触水杯时,视觉的局限便显现出来。手指会遮挡最关键的接触点,在最需要反馈的时候形成视觉盲区。决定抓取是否成功的接触点,正好是摄像头看不到的地方。视觉能看到物体,却看不到摩擦力。它无法判断塑料杯表面是否沾有油污,也无法预测液体晃动时重心如何变化。即使画面显示抓取位置准确无误,水杯仍可能滑落。这些决定抓取结果的信息,只有触觉能够提供。
我们一般会认为,机器人有了触觉会让它动作更谨慎,也会因此更慢,但事实恰恰相反。以人为例,当手中的物体开始滑动时,我们几乎无需思考,就能在瞬间调整握力,甚至不用低头去看。拥有触觉的机器人同样如此。它不必每完成一步都停下来,反复依赖视觉确认,而是能够在接触过程中实时感知变化、即时调整动作,更快速、更稳定地完成操作。越来越多关于力觉感知的研究表明,将力反馈和触觉引入机器人操作系统,不仅能提升精度,也能提高效率。触觉不会拖慢机器人,而是让它们能够在保持控制的同时,动作更快。
触觉需要具备哪些能力
要真正发挥作用,机器人触觉需要具备四项核心能力:
- 接触确认:确认机械夹爪是否真正接触到目标物体,而不是还差几毫米,或抓空?
- 力感知:施加的抓取力有多大?当你抓钢制支架或者鸡蛋时,当前抓取的物体力度是否合适?
- 滑移检测:物体是否在脱手之前,就已经滑移?
- 真值数据:真实接触产生的高质量标注数据,为AI模型学习物理操作提供训练基础。
四项能力协同发挥作用后,机器人不仅能够提高抓取成功率、减少物体损坏,还能持续生成高质量训练数据,为下一代机器人操作模型的优化提供支撑。
为什么触觉现在变得如此重要
机器人需要触觉,并不是新概念。真正发生变化的是,随着人形机器人迈向规模化应用,触觉正成为亟待解决的关键能力。未来几年,人形机器人有望从有限部署走向更广泛应用。工厂和仓库中已有大量协作机器人和工业机器人运行。对于物理AI系统而言,落地瓶颈不仅在于智能和移动能力,更在于能否稳定完成抓取、握持和操作——也就是缺失的触觉能力。
这个问题,Synaptics并不陌生,只是如今它被带到了更复杂的应用场景中。
以手机触控为例,系统需要快速判断屏幕上的触碰是真实操作,还是水滴、误触或信号干扰,并在不同环境下持续保持准确响应。机器人触觉面临的挑战本质相同:从复杂的物理环境中提取可靠信号,并快速做出响应。
这正是Synaptics数十年来持续解决的问题。
系列后续内容
这是“缺失的感知”系列的第一篇文章,此系列将探讨如何赋予机器触觉,以及为什么触觉正在成为物理AI的关键挑战之一。
人体触觉系统为机器人提供了重要启发。触觉并非由单一信号处理,而是由分布式感知系统完成感知、处理和响应,正是物理AI未后续文章将探索滑移检测、真实环境下的传感器设计、边缘智能、可靠性挑战,以及机器具备触觉后带来的市场机遇。
视觉让机器人看见世界,而触觉将帮助它们真正与世界交互。
系列下一篇:《The Ghost in the Grip》——探索滑移背后的科学,以及为什么提前检测抓取失效,是机器人实现灵巧操作的关键。