An Energy Saving Road Sweeper Using Deep Vision for Garbage Detection
Luca Donati 1 , Tomaso Fontanini , Fabrizio Tagliaferri and Andrea Prati
Abstract: Road sweepers are ubiquitous machines that help preserve our cities cleanliness and health by collecting road garbage and sweeping out dirt from our streets and sidewalks. They are often very mechanical instruments, needing to operate in harsh conditions dealing with all sorts of abandoned trash and natural garbage. They are usually composed of rotating brushes, collector belts and bins, and sometimes water or air streams. All of these mechanical tools are usually high in power demand and strongly subject to wear and tear. Moreover, due to the simple working logic often implied by these cleaning machines, these tools work in an “always on”/“max power” state, and any further regulation is left to the pilot. Therefore, adding artificial intelligence able to correctly operate these tools in a semi-automatic way would be greatly beneficial. In this paper, we propose an automatic road garbage detection system, able to locate with great precision most types of road waste, and to correctly instruct a road sweeper in order to handle them. With this simple addition to an existing sweeper, we will be able to save more than 80% electrical power currently absorbed by the cleaning systems and reduce by the same amount brush weariness (prolonging their lifetime). This is done by choosing when to use the brushes and when not to, with how much strength, and where. The only hardware components needed by the system will be a camera and a PC board able to read the camera output (and communicate via CanBus). The software of the system will be mainly composed of a deep neural network for semantic segmentation of images, and a real-time software program to control the sweeper actuators with the appropriate timings. To prove the claimed results, we run extensive tests onboard of such a truck, as well as benchmark tests for accuracy, sensitivity, specificity and inference speed of the system.
Keywords: garbage detection; road sweeping; semantic segmentation; realtime neural networks
1. Introduction
Sweeping machines are a broad range of trucks tasked with the clean-up of most city streets and squares. They operate collecting garbage, gravel, trash, grass, dirt and leafs from the roads and the sidewalks. The main sweeping tools of such trucks are a variable number of rotating brushes, with the job of sweeping the road floor and “lifting” trash for the consecutive collection. A vacuum and/or conveyor belt will carry the collected garbage inside an internal bin for opportune disposal. These brushes and the belt have different settings, such as pressure on the floor, speed of rotation and speed of the belt, each tailored to a specific type of trash and, therefore, they need an accurate maneuvering for best performance. Moreover, these components are often very energy hungry, since cleaning very dirty road pavements may involve strong pressures and speeds. Besides the movement of the vehicle, these cleaning tools are the most energy-absorbing parts of these small trucks.
All of these systems are in fact powered by combustible fuel, or by an electric battery. In either case, the cleaning routine (driving the vehicle around the city) is performed by a human operator, and, as such, a typical usage scenario is a workday of eight hours of cleaning for these sweepers. Especially in the case of battery powered cleaners, this poses some constrains on the energy used by the vehicle, as every second of battery should be preserved in order to complete a daily routine without recharging/refueling the vehicle.
Another problem with these machines, operating in hard, real-life conditions from all over the world, is the wear-and-tear of its components. Many parts of these sweeper machines, especially the brushes, need to be replaced every month or so. This is both a huge cost and an additional source of waste material.
Fortunately, most of these energy efficiency problems can be solved by an accurate operation of the cleaning tools. The first power/weariness saving procedure is not cleaning where there is not any trash. Other power saving options are applying less brush pressure in case of “light” litter (e.g., leaves) as opposed to more difficult waste (e.g., bottles, mud).
Both of these proposals are unfortunately left as the responsibility to the truck pilot, who may be or may be not trained well for such operations, and would need to invest much of his/her attention to those fine regulation tasks, diverting it from other important tasks (e.g., driving). The usual consequence of such considerations is that often these machines are operating in an “always on”/“full cleaning” power setup, wasting energy, money and creating waste, noise and pollution.
Therefore, the need of an automated artificial intelligence system for these tasks arises. Having a computer automatically adjusting these settings would be valuable from both an economic and an ecological standpoint. The scope of this paper is to create an artificial intelligence system mounted on-board on the vehicle, able through a camera (eye) and a neural network (brain) to correctly identify each single piece of garbage encountered on the streets (leaves, paper, gravel, bottles, cigarette stubs, etc.). Moreover, the system will be able to convert the trash locations from the image coordinates to 3D real-world coordinates, and to collect all of them automatically through the truck actuators (brushes and vacuum).
Fortunately, nowadays cameras are quite cheap, performant and energy efficient, and the same can be said for embedded PC boards and GPUs. At the same time, deep vision technology has seen some mayor breakthroughs, and is now able to perform most visual recognition tasks with a human-like perfo
剩余内容已隐藏，支付完成后下载完整资料
基于深度视觉的垃圾检测节能扫路机
Luca Donati 1 , Tomaso Fontanini , Fabrizio Tagliaferri and Andrea Prati
摘要：道路清扫车是一种无处不在的机器，通过收集道路垃圾和清扫街道和人行道上的污垢来帮助保持城市清洁和健康。它们通常是非常机械的仪器，需要在恶劣的条件下处理各种废弃垃圾和天然垃圾。它们通常由旋转刷、收集带和垃圾箱组成，有时还包括水流或气流。所有这些机械工具通常需要较高的功率，并且极易磨损。此外，由于这些清洁机通常隐含着简单的工作逻辑，这些工具在“常开”/“最大功率”状态下工作，任何进一步的调节都留给飞行员。因此，添加能够以半自动方式正确操作这些工具的人工智能将大有裨益。在本文中，我们提出了一种自动道路垃圾检测系统，能够以极高的精度定位大多数类型的道路垃圾，并正确地指导道路清扫者处理它们。通过对现有清扫器的简单添加，我们将能够节省清洁系统当前吸收的80%以上的电力，并减少相同数量的刷子疲劳（延长其使用寿命）。这是通过选择何时使用刷子、何时不使用刷子、刷子的强度以及刷子的位置来实现的。该系统所需的唯一硬件组件将是摄像头和能够读取摄像头输出（并通过CAN总线进行通信）的PC板。该系统的软件将主要由一个用于图像语义分割的深度神经网络和一个实时软件程序组成，该程序用于以适当的时间控制清扫器执行器。为了证明所声称的结果，我们在这种卡车上进行了广泛的测试，并对系统的准确性、灵敏度、特异性和推理速度进行了基准测试。
关键词：垃圾检测；道路清扫；语义分割；实时神经网络
1.导言
扫地机是一种广泛的卡车，负责清理大多数城市街道和广场。他们从道路和人行道上收集垃圾、砾石、垃圾、草、泥土和树叶。这类卡车的主要清扫工具是数量可变的旋转刷子，其工作是清扫路面和“提升”垃圾，以便连续收集。真空和/或传送带将收集的垃圾运送到内部垃圾箱中，以便及时处理。这些刷子和传送带具有不同的设置，例如地板上的压力、旋转速度和传送带的速度，每种设置都是针对特定类型的垃圾量身定制的，因此，它们需要精确的操纵以获得最佳性能。此外，这些部件通常非常耗电，因为清洁非常脏的路面可能需要很大的压力和速度。除了车辆的运动，这些清洁工具是这些小型卡车最能吸收能量的部件。
所有这些系统实际上都由可燃燃料或电池供电。在任何一种情况下，清洁例行程序（驾驶车辆环城）都由人工操作，因此，典型的使用场景是这些清洁工每天清洁八小时。尤其是在使用电池供电的清洁剂的情况下，这对车辆使用的能量造成了一些限制，因为为了在不给车辆充电/加油的情况下完成日常工作，应保留每秒钟的电池。
这些机器的另一个问题是部件的磨损。这些机器在世界各地的恶劣现实条件下运行。这些清扫机的许多部件，尤其是刷子，大约每个月都需要更换一次。这既是一个巨大的成本，也是一个额外的废物来源。
幸运的是，这些能效问题中的大多数可以通过清洁工具的精确操作来解决。第一个省电/省力程序是不清洁没有垃圾的地方。其他省电选项是在“轻”垃圾（如树叶）的情况下施加较少的刷子压力，而不是更难处理的垃圾（如瓶子、泥浆）。
不幸的是，这两项建议都由卡车驾驶员负责，他们可能接受过或可能没有接受过良好的此类操作培训，需要将大部分注意力投入到这些精细监管任务上，从而将注意力从其他重要任务（如驾驶）上转移。这些考虑的通常结果是，这些机器通常在“常开”/“全清洁”电源设置下运行，浪费能源、金钱，并产生浪费、噪音和污染。
因此，需要一个自动化的人工智能系统来完成这些任务。从经济和生态的角度来看，让计算机自动调整这些设置都是有价值的。本文的研究范围是创建一个安装在车上的人工智能系统，通过摄像头（眼睛）和神经网络（大脑）正确识别街道上遇到的每一块垃圾（树叶、纸张、砾石、瓶子、烟蒂等）。此外，该系统将能够将垃圾位置从图像坐标转换为3D真实坐标，并通过卡车执行器（刷子和真空）自动收集所有垃圾。
幸运的是，如今的摄像头非常便宜、高性能和节能，嵌入式PC板和GPU也是如此。与此同时，深度视觉技术取得了一些重大突破，现在能够以类似人类的性能执行大多数视觉识别任务。这项工作的主要挑战和贡献是验证是否一切都准备就绪，可以在一辆真正的卡车上实现实时、廉价、节能的系统。本文的结构如下：第2节将重点介绍我们研究的不同方面，并将其与该领域最相关的以往工作进行比较；第3节将描述自动垃圾检测的完整系统；第4节将证明系统的正确性，并证明主节中给出的选择是正确的；最后，第5节和第6节将对这项工作得出结论，并提出有趣的未来发展。
2.相关工作
据我们所知，没有一篇文章讨论使用全尺寸扫路机（如图1所示）进行实时垃圾检测和收集的系统。我们在文献中发现的最相似的应用与小型、自主的清洁机器人场景有关。这些小型（宽度小于50厘米）机器人通常在室内或室外环境中游荡，收集垃圾和废物。
其他工作则从更高的层面描述垃圾收集问题，更多地概述问题的复杂性，并讨论解决问题的技术。这些工作的重点不是用于垃圾收集的车辆执行器，而是垃圾检测的隐含技术：计算机视觉和/或人工智能应用于从摄像头、激光、气味计等获取的数据。
图1.典型的三刷街道清洁工（图片由Dulevo International S.p.A.提供）。
另一组论文解决了在水下环境中探测废物的问题。虽然与我们的场景不同，但一些提议的方法可能会引起人们的兴趣。
我们将在以下小节中讨论最相关的过去论文。
2.1. 垃圾收集机器人
[1]中的论文提出了一种用于草地清理的小型机器人。它使用摄像头和深度视觉，有趣的是，还有里程表、声波传感器和机械手（机械手）。对于垃圾检测，它使用SegNet[2]和ResNet[3]。虽然这是一种有效的方法，但任务与我们的大不相同：速度越低，物体尺寸越大（从较低的距离拍摄），“均匀”的绿色背景。
[4]中的论文提出了一种用于室内清洁的激光引导机器人。它使用一个定制的、受生物启发的网络进行导航，但不直接处理垃圾检测问题。
[5]中的工作是一个小型视觉引导机器人，它使用定制开发的神经网络执行室内地板清洁。本文提出了卷积神经网络[6]和支持向量机[7]的结合。同样，这个领域与我们的完全不同，主要是因为室内设置。机器人清洁的背景是房屋/工业楼层，速度/摄像头组件与道路场景完全不同。
[8]中的论文描述了一种基于Arduino的小型自主机器人，它只使用密集的神经网络[9]执行室内清洁。关于处于简化领域的说法仍然有效，测试阶段在房屋/行业的地板上进行，背景基本一致，可以低速找到大物体。
论文[10]概述了一种树莓Pi控制的机器人，能够以3–4 FPS的速度运行，执行室内垃圾检测和收集。该系统使用简单的CNN，并配备了用于垃圾收集的机械臂。报告的准确率为90%，但论文仅显示了一组非常有限的室内样本。
这些机器人都没有在开放的道路或人行道上进行测试，因此无法直接与我们的车辆进行比较，但它们仍然提供了一些有用的直觉。
2.2. 室内垃圾检测
[11]中的论文提出了垃圾检测的理论框架。有趣的是，它没有利用深度学习，而是包含了定向梯度直方图[12]和灰度共生矩阵[13]的组合。我们认为，测试的设置有些有限，因为它使用了相当统一的室内图片。
[14]中的工作是最类似于扫路机场景的工作之一。作者描述了一种小型单人汽车，它使用CNN检测室内位置的水纹并干燥。
虽然这是一个相当可控的（工业）环境，而不是我们的环境，但这项工作仍然很有趣，因为它还利用Nvidia Jetson执行实时检测，类似于我们的方法。然而，室内设置和检测水条纹的任务比室外街道/自然光域容易得多。
2.2. 室内垃圾检测
[11]中的论文提出了垃圾检测的理论框架。有趣的是，它没有利用深度学习，而是包含了定向梯度直方图[12]和灰度共生矩阵[13]的组合。我们认为，测试的设置有些有限，因为它使用了相当统一的室内图片。
[14]中的工作是最类似于扫路机场景的工作之一。作者描述了一种小型单人汽车，它使用CNN检测室内位置的水纹并干燥。
虽然这是一个相当可控的（工业）环境，而不是我们的环境，但这项工作仍然很有趣，因为它还利用Nvidia Jetson执行实时检测，类似于我们的方法。然而，室内设置和检测水条纹的任务比室外街道/自然光域容易得多。
2.3. 户外垃圾检测
论文[15]重点介绍了智能城市监控的智能系统。这个想法是在我们的城市周围拍摄视频流，以监控废弃垃圾和非法垃圾箱的存在。它使用Yolov3[16]进行垃圾检测，发现的垃圾通常很大（垃圾袋、垃圾桶等）。它关注的不是单个垃圾，而是城市清洁的整体情况。
类似地，论文[17]利用快速RCNN[18]来检测大型垃圾簇。他们的数据集似乎由户外照片组成，比如可以从互联网上拍摄的照片——也就是说，它没有描绘真实的街道场景，而是从行驶中的车辆上拍摄的照片。相反，本文的重点与我们的不同，是整个城市的管理，而不是垃圾收集，因此建议的框架就是这样定制的。此外，正如大多数基于区域的网络所建议的那样，该系统可以检测到一大簇垃圾，但并不像我们的系统所希望的那样，开发该系统是为了发现小块垃圾，比如单个烟蒂或树叶。
最近发表在[19]中的论文提出了一种新的方法，该方法使用基于多级U-Net[20]或FCN[21]的多级网络执行实例/语义分割。特别是，他们集成了一个提出区域的粗略级别网络，一个进行每像素实例分割的精细级别（缩放）网络，还利用深度图像来执行系统的完整推断。本文展示了与数据集（TACO）的比较（室内/室外人类产生的垃圾，有人和不同背景，不同的取景距离），并提出了一个新的数据集（称为MJU垃圾），具有深度图像。我们的第一句话是使用RGBD图像，虽然研究起来很有趣，但这更多的是一个玩具问题，而不是真正的解决方案：它是在有限的室内设置中进行测试的，场景非常近（离相机一米），景深为几米。在移动的街道上，使用价格合理的摄像头和传感器，这些情况是不可能重复的。另一个问题是，另一个测试数据集（TACO）虽然足够普遍，为我们的应用提供了有两个问题的垃圾示例：所代表的垃圾通常相当“大”（瓶子、盒子、塑料袋），所代表的垃圾完全是人为产生的（同样：瓶子、袋子、罐头等，即没有天然污垢）。这个数据集很有趣，但比我们的设置更有限，它包含小的和/或自然废物，如砾石、土壤、树叶、树枝、烟蒂等。我们还认为，人类产生的垃圾比自然垃圾更容易检测，由于人类制造的垃圾通常颜色均匀或鲜艳，表面上通常写着文字。
此外，所有这些方法都不能解决垃圾检测后集成机器人动作的问题，而我们的方法描述了清洁车内的一个完全集成的系统。
2.4. 水下垃圾探测
[22]中的论文进行了水下废物检测。一艘船使用Yolo和R-CNN探测废弃的海洋垃圾[23]。类似地，[24]中的工作使用R-CNN面罩扫描海底垃圾[25]。
总的来说，我们认为类似RCNN的方法（更快、掩码、Yolo）在一般情况下可能非常有用，但在以下情况下，使用U-Net进行语义分割更好（并且代表了最自然的方法）：
bull;不需要检测单个实例；
bull;要检测的物体很多和/或很小；
bull;对象未被矩形和/或重叠很好地限定。
我们注意到，所有这些问题都适用于我们的应用。
3.系统说明
3.1. 相机选择
选择合适的摄像头对于在现实世界中在室外运行的车辆至关重要，而不是在实验室或室内环境等受控环境中。这些车辆在多雪的国家、沙漠地区以及多雨的地方行驶。光照条件可能从夏季的全光照到夜视（有城市灯光）或日出/日落场景。因此，对于整个人工智能系统（“大脑”）的正确工作来说，拥有一只健壮、可靠的“眼睛”是必不可少的。因此，要使用的摄像头有一些对解决方案的正确行为很重要的要求：
bull;低功耗（即使在燃油驱动的车辆上也由电池供电）；
bull;足够的分辨率（越高越好，而不是低于200万像素）；
bull;Sast，PC的高带宽I/O（千兆以太网或更好）；
bull;自动亮度；
bull;传感器响应高（如果对于大多数此类车辆而言，必须在夜间运行）；
bull;高动态范围将是有用的；
bull;抗振动和电磁场；
bull;可替换（作为所有工业资产）。
出于大多数原因，我们选择了DALSA Genie Nano C1920（@1920times;1200），但许多工业摄像头都支持这些要求。摄像头被放置在车辆驾驶舱内，避免了温度问题、外部危险的损坏，以及镜头需要额外的雨刷。唯一需要考虑的缺点是挡风玻璃反光，有时可能会使相机眩目。该问题的解决方案是将摄像头尽可能靠近并平行于车辆前部玻璃，在这种情况下，它将充当附加镜头。当然，摄像机的方位需要根据其执行的任务进行微调。
相机光学和布局
世界各地的道路宽度各不相同，从农村到城市。对于双车道道路中的单车道来说，一个很好的假设是3.5米。典型的汽车更窄，清扫车也不例外。大多数清扫者居住在2到2.5米的宽度范围内。他们的清扫刷通常横向放置，可以覆盖2.5到3米的整个街道空间。因此，我们的相机应至少覆盖该宽度（hwid），并由此得出水平视野。
为了选择正确的垂直视野，我们需要将dnear定义为相机与相机本身之间最近的像素之间的距离（以米为单位）。类似地，df ar是最远的像素帧的距离（图2）。
考虑到系统的预期FPS（每秒帧数）（详见第3.3节）和最大车速vmax，要施加的第一个约束如下：
在车辆行驶时对前方道路进行全面覆盖。如果与普通汽车相比，大多数清扫车都相当慢；事实上，清洁操作期间的峰值速度可能在10至20 Km/h（约3至5 m/s）范围
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[603613]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
课题毕业论文、文献综述、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
