京东探索研究院计算机视觉技术获国际认可

SAPIEN ManiSkill Challenge 2021赛季宣布了本次比赛的结果和最后的排名，京东探索研究院的视觉和多媒体实验室？“Silver-Bullet-3D”在两条主要赛道上都取得了“第一”、“第二”的优异表现，这也是京东探索研究院在计算机视觉方面的实力。SAPIEN ManiSkill机器人手臂竞赛是全球最具影响力的比赛，该比赛是美国圣地亚哥分校，加州分校，伯克利分校和斯坦福大学共同主办。这次的任务设计非常丰富，能够将高科技的 AI技术应用到机器人的实际操作中。这一届的机器人大赛，一共有四个项目，分别是打开柜门，移动椅子，打开抽屉，搬运水桶，一共有三十多个团队参加。具体而言，“No Interaction Track”，也就是“模仿式学习计划”，其目的是从事先搜集到的示范活动中，进行高效的学习。在满足此技术需求的基础上，设计了一种基于模拟的模拟学习方法，它包含两大部分，即直接使用行为克隆以及离线强化学习；值得一提的是，在正式测试的四个项目中，这一模式在正式测试中名列前茅，这也充分说明了京东探索研究院的视觉与多媒体实验室在机器人控制方面的技术优势。另外，当技术需求达到“No Restriction Track”时，组委会将允许参赛者在与模拟环境互动的基础上，自由地设计出相应的控制和计划。针对这一问题，研究小组采用了基于启发式规则的方法，将复杂作业分解为若干个子作业，利用模拟场景中所观测到的影像及点云，并利用规则的控制逻辑，对机器人所要做的动作进行预测，从而达到目前子任务的目的。在正式的测试中，这套方案以23.8%的领先优势夺得了冠军。目前，京东探索研究院拥有18项计算机视觉技术的专利，其核心成员共发表了180余篇论文，其中京东探索研究院在第29届 ACM国际多媒体大会（ACM）上，以多模态互动数字人技术和跨模态分析技术，获得了最佳演示和最佳开源项目。可以肯定的是，这一届的“视觉与多媒体实验室”获得了多项大奖，也让京东探索研究院的电脑视觉技术更上一层楼。自从波士顿机械狗在世界范围内流行之后，机械臂的问世，必然会给人类带来“从0到1”的技术革新，而在未来，基于3D视觉和机械臂技术的智能机械臂，将会以更强的创新能力帮助智慧物流、智能控制、工业互联网、食品安全监管等领域发挥巨大的行业潜力，更快推进数智化产业蓬勃发展。