触觉数据如何提升机器人操作能力的研究进展

触觉经验如何转化为机器人操作能力？尽管机器人能够识别物体，例如花瓶，但它们在具体操作时仍可能无法判断施加的力量或识别物体的材质。因此，理解周围环境仅靠视觉是不够的，触觉则是感知物体与人机交互的重要方式。到2026年，触觉在具身技术中将逐渐成为一个关键领域，相关的多模态数据也将迅速增加。当前一个重要的问题是，这些触觉经验是否可以应用于机器人的操作技能提升。

近日，戴盟发布了TacClaw-Infinity数据集，展示了触觉UMI夹爪数据的完整研究流程。这一数据集是Daimon-Infinity中的一部分，后者是全球最大规模的触觉全模态物理世界数据集之一，由戴盟与多家知名研究机构合作采集，已公开超过一万小时数据，并在下载量上突破千万。

TacClaw-Infinity数据集涵盖了超过100万条操作轨迹和10亿帧数据，以大规模、高多样性和全模态为特点，汇集了视觉观察、指尖触觉信号、语言描述和末端执行器轨迹等信息。更重要的是，这些研究结果表明，触觉数据可以有效支持零本体迁移训练，即不同机器人可以通过同一份无本体数据进行操作训练。而在三个具体的操作任务中，加入触觉数据后，模型的物理交互能力明显增强，成功率显著提升。 赏金女王

戴盟设计的实验涵盖跨本体、跨模型及跨任务的验证，使用了不同类型的机器人，以检验其“拿得准”、“摸得懂”和“擦得稳”的能力。实验只使用触觉UMI夹爪采集的无本体数据进行训练，验证了数据的零本体迁移能力。结果显示，触觉数据的引入不仅能有效提升机器人的交互能力，尤其在接触密集型任务中，成功率有显著提高。

在数据采集方面，TacClaw-Infinity通过无本体采集解决了成本和规模化的问题，确保大规模触觉数据的有效生成。各个环节的高效构建，包括信息密度的最大化、多样性的提供以及人类经验的组织，也决定了数据在能力提升中的重要性。这些研究标志着在机器人领域，触觉数据的应用正迈向新的高度。