朱省委,宋玥,郑栋梁,熊光磊,梁君威

(郑州工业应用技术学院,河南郑州,451150)

1 研究现状及发展状况

随着智能识别技术和分类技术的快速发展,世界各地有许多优秀的公司来处理垃圾分类问题,大多数公司的产品使用控制器、监控摄像头和人工智能技术来检测和识别垃圾[1]。然后根据人工服务或机械设备系统,垃圾被分类在相应的垃圾桶中。当前,国内大多数智能垃圾桶控制系统相对简单,垃圾桶的功能相对单一。基本上可分为三类:第一类是使用超声波测距技术或红外线测距技术来检测投放垃圾,然后驱动电机运行,使得连接电机的垃圾桶盖能够自动侧翻功能[2]。第二种类型的控制系统能够进行语音识别垃圾种类,并且在内部具有收集太阳能装置的设备,可为整个垃圾桶供电。该系统中的垃圾桶通常称为太阳能垃圾桶[3]。在第五届2016年中国-亚洲东盟农业博览会中曾经展示出现了一种可以利用太阳能作为清洁利用能源的自动立式开盖智能垃圾桶,借助其中内部嵌入的自动智能垃圾控制管理系统,垃圾桶还甚至可以进行自动检测现场观众用力的手,并自动地进行打开和自动关闭整个垃圾桶的盖,但是它基本上只能用于有阳光的地方,这就限制了它的商业价值而致使没有得到投资者的支持。第三类垃圾桶同样配置了所谓的太阳能收集设备,这里的所谓太阳能收集装置仅仅目的是为了处理垃圾桶外面的一个广告灯而提供一种电力支持,它虽然是相对通用的具有一定的经济和商业价值,但是它没有任何处理垃圾的技术能力。

2 系统硬件设计方案

2.1 系统总体框架

在本设计中,AI摄像头捕捉图像并处理识别到的垃圾,垃圾桶控制系统对识别结果进行分类,并且本系统增加了语音命令识别可以对图像识别的误差进行纠正,同时语音播报功能、垃圾桶自动检测状态等功能更是让垃圾桶更加智能。通过上述功能的实现,弥补了一定程度上的智能垃圾分类回收软件的不足,是一种可行的垃圾分类防止细菌感染的方法。本设计使用STM32F407单片机作为主要控制元件。图1显示了系统的整体框图。

图1 系统整体框图

系统机械结构采用一个步进电机带动舵机与托盘旋转到对应的垃圾桶上方,舵机负责将托盘倾倒以投放垃圾,下方具有平均分布的四个小垃圾桶,分对应有害垃圾、可回收垃圾、厨余垃圾、其他垃圾。

2.2 系统硬件设计

2.2.1 控制器最小系统

本设计最小系统采用的是STM公司开发的STM32F407 ZGT6,其特点为内部采用ARM Cortex-M4内核,32位的MCU+FPU,210DMIPS,内部特点是具有一个可以运行高达 1MB Flash /192+ 4KB ARM 、以太网接口、多达17个定时器、三个数模转换、十五个通信接口以及一个摄像头接口。供电电源满足电源供电的稳定性、供电监测、电源管理以及对低功耗的要求,每一个电源采用陶瓷电容进行去耦以满足要求的电源波纹。振荡时钟电路是所有数字计算机系统必不可少的,又被形象的称为系统的“脉搏”,是系统正确运行的关键,本设计为HSE提供时钟的晶体振荡器采用8MHz,根据晶体振荡器大小选择相应的负载电容大小并对其进行调整。对于高频电容 C41、C42 ,选择专为符合要求高频率场合而设计能满足晶体或谐振器要求的高品质陶瓷电容器。

2.2.2 图像识别模块

本设计中所采用图像处理芯片是2019年嘉楠公司推出的一款名为K210 的 MCU,嘉楠公司自研的卷积神经网络软件和硬件加速器KPU已经集成在了此芯片架构中,可以实现高性能有效地对卷积神经网络进行运算。利用平台,进行垃圾图像数据采集训练,通过K210控制摄像头读取当前垃圾图像,进行图像识别判断,对垃圾进行自动分类。在AI计算方面,K210的算力是相当可观。K210的KPU算力高达0.8TFLOPS,对比于目前拥有128个核心CUDA两个单元核心GPU的三星英伟达Jetson Nano的KPU算力高出0.33TFLOPS;与最新版的树莓机4版本进行了对比,算力更是高出了0.7TFLOPS。

2.2.3 语音识别模块

LD3320是 一 种 基 于SI-ASR(Speaker-Independent Automatic Speech Recognition)控制技术的自动语音信号识别、控制语音信号处理器以及控制系统芯片。LD3320芯片已经完全集成了精密的A/D和D/A接口,可直接轻松实现人机语音自动识别、人机语音自动控制、人机交互等多种应用功能。主要技术具有以下几个特点:非特定的数字语音数据识别输入技术、用户可以无需自己动手进行语音录入或其他培训操作即可直接通过一个动态程序编辑语音识别的每个关键字信息列表,只需将被语音识别的每个关键字按照一个相应的语音数据传输格式进行传输显示出来并将其附带输入到一个芯片上的一个特定字符集或串数据格式库中即可。在本设计中,语音识别模块作为识别垃圾的辅助工具,用于对图像识别纠偏功能,当接受到图像识别指令以及语音识别指令,系统进行判断,确保垃圾识别的准确率,最终实现垃圾分类自动化。图像识别模块与语音识别模块串口通讯电路原理图如图2所示。

图2 图像模块与语音模块串口通讯

2.2.4 显示模块设计

本模块设计采用TFT-LCD (Thin Film Transistor- Liquid Crystal Display)作为显示硬件部分,它是一种小型薄膜晶体管的小型液晶显示屏。TFT-LCD矩阵是不同于无源TNLCD和有源STN-LCD的简易矩阵。薄膜晶体管(TFT)在每处理一台大型液晶图像显示器的各种扫描量和行数以及像素上都是独一无二存在,使得一台液晶图像显示屏的各种动和态及静态扫描特点与每个扫描行的参数完全独立无关,能够有效地帮助克服非高频选通时的高频串扰,从而极大地大幅改善了液晶图像的扫描质量。

本设计的系统中以一个带有分辨率为320×240的液晶显示屏,接口为16位80并口3.5寸的ALIENTEK TFTLCD作为主要的视频显示模块,该视频显示模块最多可以同时支持65k各种色彩的视频显示,可选择自身带有触摸屏的配置。利用LCD作为显示模块,读取存储的宣传视频,进行播放展示。同时还具有显示提示功能,可显示当前各类垃圾投掷数量,并进行箱满提醒。其电路原理图如图3所示。

图3 LCD电路原理图

2.2.5 电机驱动模块

本设计采用A4988作为电机驱动模块,用于控制智能分类垃圾桶垃圾托盘运转。当系统识别出垃圾所在分类,发送指令让电机控制托盘,使垃圾投掷到相应的分类箱中。A4988是一款完整的小型微步进式步进电机电压驱动器,易于安装使用,内置电压转换器。驱动双极的步进电机同时具有五种不同驱动电压模式均可供用户选用,分别为:全步、半步、四分之一、八至四分之一和十六至四分之一步,可以轻松实现输出驱动电压高达35V、±2A的驱动电流。A4988具有一个混合电流自动调节器,这个装置可以用于使驱动系统固定地连续关断驱动电源一段时间,可以使系统保持在缓慢或者快速混合电压衰减的电流模式下正常运行工作。在直接驱动时不必再考虑需要使用高频相序表、高频微步控制线或复杂函数编程器的接口,只要在一个STEP引脚上输入一个脉冲可用来直接驱动一个电机微步。

3 系统软件设计

3.1 程序流程设计

各个子模块和整体要想实现该系统的逻辑控制能力需要经由应用程序这座桥梁来连接。通过单片机查询图像识别模块收到的分类信息,根据图像识别分类内容来控制输出电路,并参考辅助语音识别结果,实现智能分类的效果。

为了更好地完成所需要的软件设计,软件设计常用的方法就是通常将一个系统的整体划分为几个组成部分,每个组成部分被统称为一个软件模块。从本质上来说,需要完成某些特定功能的相对独立程序段被称为“模块”,这种技术又被人们称为模块化编程。本程序的设计是采用了模块化的结构,程序设计包括了主程序和子程序两部分。智能垃圾分类系统的主流程序和操作框图如图5所示。

图4 总电路图

图5 主程序流程图

3.2 图像识别程序设计

YOLO模型是一种先进的现场实时目标检测控制系统。YOLO模型是在YOO模型的研究基础上加以改进。YOLO模型利用大的分类数据集Image Net来扩展对目标检测数据的种类,并用于高分辨率的图像培养和训练的分类网络。该模型会自动地选择前一帧的合理长度与宽度,并限制在网格中的预期偏移。使用共同合作训练机制的多尺度输入影像将会通过混合从检测和归纳数据集中的影像来进行训练。我们可以把检测到的网络划分为三个层次:第一层次,在ImageNet的数据集上对其进行训练 Finetune的分类模型;第二阶段,调整网络的输入,继续对其进行分类培训;第三个阶段,将分类网络更改成检测网络,并持续进行 该模型的训练。

该设计垃圾模型识别训练过程如下:收集不同类型的垃圾图像,训练并创建初始样本模型,输入尽可能多的图像,得到多尺度特征图,以实现更好的准确性。使用图像分割以及批量产品操纵和归一化来捕获不同的垃圾模型,以实现您的目标检测目标。最后,进行物理检查,以确认识别时间和准确性是否合理,如果不合理则再次进行更改,然后再次调试直至完成。将训练好的模型下载至图像识别模块Maix Bit开发板内运行,主控制器通过串口1读取垃圾识别结果。其训练模型流程图见图6所示。

图6 YOLO模型训练流程图

利用训练完成的YOLO模型,进行垃圾图像识别,摄像头采集到的图像数据,反馈给MCU,在训练识别的模型数据库,进行类别判断,自动判断分类处理垃圾。图像识别流程图见图7所示。

图7 图像识别流程图

3.3 语音识别

本设计利用LD3320语音识别模块作为自动识别的辅助,以确保自动识别的准确性。在LD3320芯片上进行指令控制,必须使用寄存器配置的存储器来满足要求。例如设置标志位、读取寄存器状态、将数据写入FIFO缓冲区等。寄存器读写操作有:并行模式和串行SPI模式。主控件使用串行通信来控制语音识别模块并读取识别的语音。其控制流程图如图8所示。

图8 语音识别模块流程图

4 结论

本设计的基于神经网络的智能分类垃圾箱控制系统主要使回收站具有自动识别和自动分类的功能。该系统可以减少人与废物的直接接触,防止细菌感染。

多功能垃圾分类控制系统的设计还是存在一些问题,系统设计的宗旨就是要创造一个环保无污染的垃圾桶自动控制系统,由于目前该设计的控制系统主要应用于室内环境,尚未真正实现环保和无污染,随后的技术改进是只需在其外壳上再增加一块太阳能电池板即可为内置锂电池进行充电,以实现可持续运行。

此次设计的多功能分类垃圾桶控制系统仍处于初步设计模式,可以在此增强设计方案的其他功能。通过提高其他功能,例如可以执行废弃物的全自动包装、可以自动收集散落的废弃物、完成废物的自动分离和回收。