智能协作轮椅

智能协作轮椅

背景:

众所周知全球都在面临老龄化的严峻挑战,如何在劳动力短缺的趋势下帮助老年人是一个巨大的挑战。特别是中国,有统计预测到2035年将会到达3亿的老年人口。我们的目标是在无需额外人员帮助的条件下让机器人能够胜任各种重复的日常生活任务 ,例如:做饭,洗衣,递运等等。更重要的是让使用者感受到索尼的对产品的匠心和对用户的关心。

挑战:

在实际将智能轮椅技术应用到实际生活中,我们面临了超出预期的多重挑战,例如:如何确保机械臂和人交互式的安全问题;以什么交互形式让用户控制机械臂的操作任务;对于不同的使用者的不同饮食需求如何规划出一条合适的路径和最优的策略等等。

技术要点:

为了解决实际应用中的人机交互安全问题,我们使用了以关节为单位的闭环力位混合控制,以实时监测机器人的本体感知。采用深度学习的识别分割算法精准识别动态物体和静态物体,为机器人系统提供外部感知能力。结合底盘的自主建图和移动导航能力,扩大智能系统在三维空间内的可执行操作空间。对于复杂的操作任务,使用最优控制的策略联合规划系统整体,实时生成最优控制指令。我们已经接入大语言系统,尝试根据大语言模型和用户的对话结果生成任务目标。

成果:

在上海的康复养老医院进行实地应用测试,获取使用者的反馈建议,并更新迭代智能轮椅系统。

智能协作轮椅

未来,该项目试图通过从医院、疗养院实际反馈的应用情况,进行技术优化,使其进一步完善以完成一些更复杂的任务。

想了解更多,您可以联系索尼中国研究院项目负责人:郭杰,JieA.Guo@sony.com