陆贝瑶,张铁成(通讯作者),宋杨,黄自正,文冲,彭渤繁,何其先

(大连大学,辽宁大连,116622)

0 前言

患者或者陪护人员在医院饮食非常不方便,经常有附近餐馆人员在医院病房现场发传单,医院订餐服务人员到各病房逐一询问订餐、通过网络订餐等方式来满足部分长时间在医院临时生活人群的饮食需求,部分医院因患者多、后勤服务不足,未能满足老年人等人群的订餐需求。随着智能技术的发展,服务机器人在各个领域具有广泛的应用,医疗服务机器人的开发也具有广阔的市场发展空间,可弥补现有医院订舱方式的不足,通过订餐机器人也可提高医院的形象。

1 医院订餐机器人的系统设计

医疗订餐服务服务机器人采用可联网的NVIDIA Jetson Nano作为其控制中心,底部安装了配置悬挂系统的麦克纳姆轮,可实现全向运动,也可在不平的路面上进行行走,通过搭载的导航系统、视觉识别系统及内置的路径轨迹规划,可在一定空间范围内自动行走,使用具有触摸功能的串口屏来显示医院情况及订餐过程的界面,也具有声音播放等功能,如图1所示。

图1 医院订餐机器人系统图

■1.1 订餐机器人的控制系统

医疗机器人的控制系统采用以NVIDIA Jetson Nano为控制中心的开发套件,如图2所示,该套件是一种功能强大的小型计算机,搭载四核Cortex–A57处理器,128核Maxwell GPU及4GB LPDDR内存,具有较高计算性能、超低功率、尺寸小巧等特点,可让图像分类、目标检测、分割和语音处理等应用中并行运行多个神经网络。全部工作都可在这一简单易用的平台上完成。Jetson Nano 提供 472 GFLOP,用于快速运行现代 AI 算法,可以并行运行多个神经网络,同时处理多个高分辨率传感器,非常适合入门级网络

图2 Jetson Nano开发套件

硬盘录像机 (NVR)、家用机器人以及具备全面分析功能的智能网关等应用,可体验功能强大且高效的 AI、计算机视觉和高性能计算,功耗仅为 5 至 10 瓦,Jetson Nano 模组仅有 70 x 45 毫米,是体积非常小巧的 Jetson 设备是一款基于 AI 的产品进行原型设计并将其快速推向市场的理想解决方案。

■1.2 全向移动模块

医院订餐机器人的全向移动模块主要由JGB37–520减速马达、麦克纳姆轮、底盘和悬挂系统组成。麦克纳姆轮具有运动灵活性和多样性等特点,可以实现前行、横移、斜行、旋转及其组合等运动方式,非常适合转运空间有限、作业通道狭窄的等环境使用。麦克纳姆轮常通过摆臂式悬挂系统与车身相连接,可在一定程度上解决由于地面的不平整性,运行时每个麦克纳姆轮的着地力不均匀,着地性较差,容易打滑,未能按照预定轨迹平稳的运行的问题。配置的悬挂系统可实现本机器人在不平整的路面上,最大限度的使每个麦克纳姆轮能够有效着地,保证整个移动装备的平稳性及水平性,能够更安全的移动。

图3 麦克娜姆轮及底盘

图4 安装在底盘上的悬挂系统

■1.3 视觉识别及避障系统

医院订餐机器人配置了800W像素的双目摄像头(IMX219模组)及激光测距系统。摄像头及激光测距传感器与机器人的控制中心Jetson nano连接,Jetson nano是带有GPU的微型电脑,具有运行并且训练神经网络的功能,Jetson拥有的神经网络可以顺利识别摄像头中的许多物体,利用yolo,ssd等成熟的模型可以完成这类工作。通过对人脸的识别及与人距离的判断,让订餐机器人自动停在需要订餐的顾客旁边,完成订餐任务后继续在指定的空间或固定地点自主移动。

图5 IMX219双目摄像头

机器人的运动模式设置了自主运动及固定不动两种模式,根据该机器人周边人群的多少,可自动切换运动模式,以免人群过多干扰运动方向的判断,干扰订餐过程。在机器人底部安装了八个激光测距传感器,按照每隔45度角分布在机器人底部的周围,可检测周围八个方向上物体与机器人的距离,同时结合机器人顶部的双目摄像头判断周边环境,实现自主避障功能。

■1.4 自动导航系统

根据系统内置的运动规划路线,同时结合Jetson利用双目摄像头和激光雷达构建环境地图,实现按照预定的轨迹在指定区域内行走,自主避障及自动导航。

■1.5 语音交互系统

通过机器人搭载的麦克风阵列,使用Jetson Nano强大的深度学习功能进行自然语言处理,实现语言的识别,根据识别的语音控制机器人的实现点餐等功能,减少人群与机器人触屏的交互次数,避免交叉感染。

■1.6 显示及触屏输入系统

机器人的显示屏使用10.1英寸的X5系列电容触摸USART HMI串口屏,该串口屏由显示驱动板、外壳、LCD液晶显示屏三部分构成,为一套集成了由运算能力比较强的单片机或PLC带控制器的显示方案,显示方案中的通讯部分由串口通讯,USART串口或者SPI串口等;通过串口协议与机器人主控板NVIDIA Jetson Nano进行通讯,从而对屏幕进行交互控制,实现触控等信息输入功能功能。使用该串口屏搭配的PC端图形化开发界面USART HMI,制作交互界面效果,将界面下载到串口屏,将屏幕的图形图像设计与系统控制进行分离,便于程序的测试及调整,降低开发难度及成本。

图6 USART HMI串口屏

■1.7 无线联网

机器人配置了双模无线网卡AC8265,与Jetson Nano相连,可实现高速WIFI上网,连接蓝牙设备,通信稳定,低延迟,将订餐信息发送到信息收集终端,信息收集终端将订餐信息发送到厨房管理系统或者周边的餐饮服务商,便于后续食物的加工及点餐的配送。

2 医院订餐机器人系统软件设计

医院订餐机器人的软件设计是在硬件系统的基础上通过软件程序的设计,实现订餐机器人的自主移动、环境数据检测、图像信息采集与传输以及订餐信息的收集与发送等功能。系统软件的设计包括订餐机器人控制系统程序设计、订餐后台管理系统以及串口屏交互界面设计三部分内容,分别实现订餐机器人的智能控制、订餐信息的收集及处理、通过串口屏进行人机交互的设计。订餐机器人的硬件控制中心使用的是Jetson Nano,已经预装了Python。通过Python来实现摄像头数据的采集、激光传感器数据采集、人像的识别、通过控制电机驱动板实现麦克纳姆轮的运转,实现机器人的自主移动。

图7 软件设计流程图

医院订餐机器人使用串口屏作为图形图像信息的交互媒介,通过USART HMI串口屏开发程序,完成图形界面及简单视频的转换,串口屏以串口的方式与Jetson Nano控制进行通讯,实现订餐的信息收集及数据的发送。

3 结束语

采用易于开发、运算速度高的Jetson Nano作为控制中心的订餐机器人可作为医院发布日常生活信息的综合性平台,可通过订餐机器人树立医院的形象,在功能上和造型上可根据医院的要求进行定制,实现差异化。采用串口屏将界面设计与控制中心的硬件作为分体式设计,具有便于调试、便于修改的特点,可随时更新交互显示内容。采用搭载悬挂系统的麦克纳姆轮,可满足在偶尔不平整的地面上稳定行走的需求,其全向运动方式,使机器人的运动控制更加稳定和灵活。该机器人功能比较完善,基本上满足预期人群的使用需求,给住院人群的生活带来方便。