雾霾天气下的集装箱自动识别系统关键技术研究

一、引言

近日, 宁波市政府印发了《宁波建设更具国际影响力的港航物流服务中心行动纲要 (2016-2020年) 》, 确定了建设更具国际影响力的港航物流服务中心的六大主要任务。根据目标, 到2020年, 我市基本建成能力充分、功能完备的全球一流现代化枢纽港口, 基本形成资源配置效率高、辐射带动能力强、国际化市场化制度体系完善的国际港航物流服务中心的总目标。在此期间, 我市将规划建设1000多个重大项目, 总投资达到2500亿元, 包括建设51个重大物流基础设施项目和9个综合物流园区[1]。

集装箱运输是物流园与港口直接进行物流运输的重要环节, 因此在集装箱识别方面有着较好的应用前景。在进卡口集装箱重箱箱号查验作业环节物流园区仍然采用人工操作的方法, 存在成本高、效率低、安全风险大等缺点。

近些年来, 我国空气质量的不断恶化, 在恶劣的天气环境的影响下, 物体的能见度因为雾霾而大幅度降低, 通过探头所获取的有用信息也随之减少, 成像图片变得难以识别, 影响了图片的后期处理工作, 因此图像需要在高噪声环境下通过特定的图像处理使得原图保留更多有用的信息。

二、图像去雾研究现状

图像去雾作为图像去噪中占比很重的一项工作, 对于发展智能快捷的交通运输有深远的意义。近些年来, 国内外学者对图像去噪的研究可以分为以下两类[2]:

(一) 基于图像处理的图像去雾

基于图像处理的图像去雾方法并不考虑雾霾导致图像降质的原因, 而是从图像亮度直方图来考虑图像降质的原因。数字图像处理中, 采用直方图像来描述图像中所有像素的灰度分布情况, 通过直方图像可以看出图像中不同灰度等级的像素点的数目与它们之间的对比关系[3]。雾霾天气图像中的所有像素的灰度值较高, 主要集中于0~255等级中接近最亮值255的部分, 导致图像中像素点的亮度较高, 像素点之间的对比度较低。为了提升图像中像素点的对比度, 可以对直方图进行均衡化或将像素点间的对比度进行拉伸

(二) 基于物理模型的图像去雾

这类去雾方法是设定在雾霾环境下图像受到雾霾粒子的影响造成图像模糊信息缺失, 分析雾霾天气的物理特性, 建立雾霾天气的数学模型, 计算数学模型的参数, 推导出图像增强的传递函数, 通常情况下设定雾霾图像为输入图像, 输出图像为所求的增强图像。Kopf等直接利用已经得到的场景三维纹理信息得到场景深度[4];陈功等人借助一张晴天图像和一张雾天图像作为参考图像, 计算场景深度及深度比关系, 从而达到去雾的效果[5]。

因为物理模型的结构复杂, 公式之中的参数需要大量的计算, 而且某些参数的获取需要外部相关的手段得到, 比如雷达或者红外设备, 这使得工程成本大大提高, 根据模型算法的处理步骤冗余, 图像处理也需要较多的时间, 处理集装箱货物运输的过程会产生延迟现象, 对于集装箱物流运输的实时性要求就无法满足, 限制了物流运输系统的发展和推广。

三、卷积神经网络概述

过去的二十年间, 有三种因素促进了机器学习的发展, 首先是更快速的低成本计算机器的普及使得人们可以不选择算法上的改进而运用蛮力数值算法来解决问题;其次是随着大型数据库的发展以及机器学习领域内的许多商业应用, 诸如图像识别, 语音识别等技术的需求, 使得更多人参与到这一领域进行研究;最后, 也是最重要的一点是强大的机器学习技术, 使得计算机能够接受更高维度的空间输入和处理更为复杂的运算。在这一点上, 卷积神经网络模型已经有许多商业应用可以被证明使用了神经网络来训练来解决问题的案例。

卷积神经网络简称CNN也就是Convolutional Neural Network的英文缩写。卷积神经网络可以说是当下最为火热的一种神经网络, 首先它的大热与深度学习技术的发展密不可分, 其次, 它的多维结构和特殊设计的多感知器特征能够类一些经过变形、平移、缩放或者倾斜的图像特征, 使得本文的使用卷积神经网络技术实现图像的去雾有了成熟的理论依据。

卷积神经网络通过三种特殊的方法来确保图像的变形、位移、缩放的不变性, 它们分别是:局部感受野, 空间或实际的次采样还有权值共享。卷积神经网络是由一个多层的神经网络所构成的, 其每一层的神经网络由2D的平面所构成, 而每个平面由多个单独的神经元所组成。

卷积神经网络的学习是一种有监督的学习方式, 即只要输入一些已知的模式, 再对网络加以学习训练, 就能够获得其输入与输出之间所对应的映射。其训练过程类似于BP神经网络, 可分为四个步骤进行:

第一步, 初始化网络, 给每一个权值分配一个随机值;第二步, 把样本输入到网络, 进行前向传播, 进行卷积加偏置值后输入到激活函数得到的输出, 即是下一层次采样的输入, 次采样进行加法运算后加偏置值输入到激活函数中得到一轮卷积层的输出;第三步, 经过网络的层层输入后, 得到一个输出值Y, 与理想的输出值进行比较, 接着计算均方误差;第四部, 进行利用误差, 进行反向传播, 对最后一层的权值进行调整, 如同BP神经网络的第四步到第六步。经过四步反复训练后, 得到理想误差, 或者达到迭代次数, 网络学习训练完成。

四、基于深度学习的图像去雾

自编码器 (Auto-Encoder, AE) 是一个3层的神经网络, 将输入表达X编码为一个新的表达Y, 然后再将Y解码回X。

这是一个非监督学习算法, 使用反向传播算法来训练网络使得输出等于输入。当向网络中添加一些限制时, 可以学到一些关于输入表达的有趣结构。当隐含层节点数d比输入层节点数n小时, 可以得到一个输入的压缩表达。当d比n大时, 添加一些限制, 比如稀疏限制, 会得到类似于稀疏编码的结果。自编码器网路结构如图1。

y=fθ (x) 是编码器, 是解码器, 是损失函数, 学习目标是误差最小, 也就是最小化

Encoder卷积层设置了三层卷积加池化层, 对图像进行处理。第一层卷积中, 我们使用了24个大小为3 x 3的滤波器 (filter) , strides默认为1, padding设置为same后我们的height和width不会被改变, 因此经过第一层卷积以后, 我们得到的数据从最初的64 x 64 x 3变为64 x 64 x72。紧接着对卷积结果进行最大池化操作 (max pooling) , 这里我设置了size和stride都是2 x 2, 池化操作不改变卷积结果的深度, 因此池化以后的大小为32 x 32 x 72。

对于其他卷积层不再赘述。所有卷积层的激活函数都是用了Re LU。经过三层的卷积和池化操作以后, 我们得到的conv3实际上就相当于上一部分中Auto Encoder的隐层, 这一层的数据已经被压缩为4 x 4 x 36的大小。至此, 我们就完成了Encoder端的卷积操作, 数据维度从开始的64 x 64 x 3变成了4x 4 x 36。接下来我们就要开始进行Decoder端的卷积。在这之前, 既然Encoder中都已经把图片卷成了4 x 4 x 32, 我们如果继续在Decoder进行卷积的话, 那么是得到的数据size越来越小违背了我们的本意, 所以, 在Decoder端, 我们并不是单纯进行卷积操作, 而是使用了Upsample (中文翻译可以为上采样) +卷积的组合。

我们知道卷积操作是通过一个滤波器对图片中的每个patch进行扫描, 进而对patch中的像素块加权求和后再进行非线性处理。举个例子, 原图中我们的patch的大小假如是3 x 3 (说的通俗点就是一张图片中我们取其中一个3 x 3大小的像素块出来) , 接着我们使用3 x 3的滤波器对这个patch进行处理, 那么这个patch经过卷积以后就变成了1个像素块。在Deconvolution中 (或者叫transposed convolution) 这一过程是反过来的, 1个像素块会被扩展成3 x 3的像素块。

但是Deconvolution有一些弊端, 它会导致图片中出现checkerboard patterns, 这是因为在Deconvolution的过程中, 滤波器中会出现很多重叠。为了解决这个问题, 我们可以使用Upsample加卷积层来进行解决。经过三次Upsample的操作, 我们得到了28 x 28 x 64的数据大小。最后, 我们要将这个结果再进行一次卷积, 处理成我们原始图像的大小。

最后一步定义loss和optimizer:

loss=tf.nn.sigmoid_cross_entropy_with_logits (labels=targets_, logits=logits_) optimizer=tf.train.Adam Optimizer (0.001) .minimize (cost) loss函数我们使用了交叉熵进行计算, 优化函数学习率为0.001。在训练模型时, 我们的输入已经变成了加入噪声后的数据, 而输出是我们的原始没有噪声的数据, 主要要对原始数据进行reshape操作, 将原图reshape成64*64大小的图片。在训练集方面, 选择道路交通雾天数据集, 将原有的几百张图片经过旋转变形, 切割扩充成10000张64*64的图片集, 将原无雾图作为网络的输出, 雾天道路图片作为输入放入网络进行训练。训练结束后, 只需要修改输入代码, 路径改为我们需要的图片即可跑出结果图片, 时间比起传统的去雾方法得到了大大的缩短, 在呈像上有着不错的清晰度部分结果如图2, 3, 4, 5, 保留了更多有用信息, 十分有利于交通运输方面。

五、总结与展望

解决雾霾天气下的集装箱的箱号识别问题, 可以把集装箱物流运输路线中的工作人员从繁重、单一的箱号比对工作中解放出来, 对于集装箱占较大比重的物流园区具有很大的经济效益和流程把控作用。本文通过吸收近年来流行的卷积神经网络技术, 并将其应用到雾天情况下的箱号识别中, 取得有效的去雾效果, 但由于时间限制, 以及采集到的图像数量有限, 本文对于去雾环节在集装箱识别的识别率提升工作仍需要后续的处理工作。

摘要：集装箱识别系统作为港口城市物流的重要组成部分, 集装箱运输是物流园区与港口直接进行物流运输的重要环节, 因此在集装箱识别方面有着较好的应用前景。传统的ocr技术对于相对恶劣的天气下, 如雾天雨天下的识别准确率并未能达到所希望的要求。本文将深度学习技术引入传统的集装箱箱号识别领域, 在图像去雾模块使用卷积自编码器模型进行降噪处理达到识别的要求, 基于深度学习的去雾模型, 可以保留较大噪声下的图片信息用于后期分类处理。

关键词：箱号识别,图像去雾,卷积神经网络

参考文献

[1] 王增良.宁波将建九大综合物流园区打造国际港航物流服务中心[J].宁波通讯, 2017 (04) :28.

[2] 吴迪, 朱青松.图像去雾的最新研究进展[J].Acta Automatica Sinica, 2015, 41 (2) :221-239.

[3] Nieolas Hautiere, Jean-Philippe Tarel, Didier Aubert.Simultaneous contrast restoration and obstacles detection:First results[C].Proceedings of IEEE Intelligent Vehicles Symposium, Istanbul Turkey, 2007.130-135.

[4] Kopf J, Neubert B, Chen B, et al.Deep photo:model-based photograph enhancement and viewing[M]//ACM Transactions on Graphics (TOG) .ACM, 2008.32-39.

[5] 陈功, 王唐, 周荷琴.基于物理模型的雾天图像复原新方法[J].中国图象图形学报, 2008, 13 (5) :888-893.