高级检索

  • ISSN 1006-3080
  • CN 31-1691/TQ
引用本文:
Citation:

基于类别色彩查找表的彩色夜视方法

    作者简介: 张玮雯(1994-),女,上海人,硕士生,研究方向为图像彩色夜视。E-mail:vivianuy@126.com;
    通讯作者: 顾幸生, xsgu@ecust.edu.cn
  • 中图分类号: TP391

Night-Vision Colorization Based on Category-Oriented Color Lookup Tables

    Corresponding author: Xingsheng GU, xsgu@ecust.edu.cn
  • CLC number: TP391

  • 摘要: 针对夜视图像解读困难的问题,提出了一种面向类别的色彩查找表的彩色夜视方法。该方法可以将不同景物的特征色彩映射到多波段夜间图像,使观察者能够更快、更好地解读图像,从而提高态势感知并缩短反应时间。这种映射方法首先采用深度学习中的语义分割技术对图像进行分割,然后使用类别色彩查找表固定不同波段对应色彩,避免了全局彩色化时出现的色彩单一、不自然的缺点。实验结果表明,与其他全局彩色化方法相比,本文方法对于夜视图像的解析能力更强。
  • 图 1  基于类别色彩查找表的彩色夜视流程

    Figure 1.  Night-vision colorization framework with category-oriented color lookup tables

    图 2  并行全卷积神经网络结构

    Figure 2.  Structure of parallel fully convolutional network

    图 3  数据库示例图及其手工标注

    Figure 3.  Examples of database and its label image

    图 4  类别色彩查找表示例

    Figure 4.  Examples of category-oriented CLUT

    图 5  使用预设的类别色彩查找表进行彩色夜视(未进行图像均衡化矫正)

    Figure 5.  Night-vision colorization by the preset category-oriented CLUT (without post processing)

    图 6  加入后处理步骤的彩色夜视图结果对比

    Figure 6.  Night-vision colorization contrast (with post processing)

    图 7  不同彩色化方案的部分结果示例

    Figure 7.  Part results of different color fusion schemes

    图 8  不同彩色化方案的局部放大示例

    Figure 8.  Examples of partial magnification results of different colorization schemes

    表 1  通用景物和特征色

    Table 1.  General scenery and feature colors

    SceneryFeature color
    Targets (Persons, cars and other warning targets)Red
    VegetationsGreen
    SoilBrown
    Buildings/Roads/RocksGrey
    Sky/Clouds/WaterBlue
    OthersBlack
    下载: 导出CSV

    表 2  不同彩色化方法的图像质量评价指标的平均值(标准差)

    Table 2.  Average (with standard deviation) of image quality assessment metrics of different methods

    MethodISMICMNC
    MIT0.113 3(0.035 2)0.142 3(0.038 2)505(111)
    TNO0.067 0(0.033 8)0.260 0(0.065 7)524(207)
    BIT0.101 6(0.030 9)0.212 9(0.042 4)819(205)
    SM0.142 1(0.033 8)0.321 6(0.027 8)938(205)
    LUT0.120 3(0.033 9)0.190 3(0.046 3)397(89)
    Colorization (Iizuka 2016)0.133 2(0.040 8)0.095 6(0.048 2)703(235)
    Our method0.198 7(0.035 7)0.190 8(0.017 2)121 5(311)
    下载: 导出CSV
  • [1] MAHMOOD S, KHAN Y D, MAHMOOD M K. A treatise to vision enhancement and color fusion techniques in night vision devices[J]. Multimedia Tools & Applications, 2017, 77(2): 1-49.
    [2] ZHENG Y. An overview of night vision colorization techniques using multispectral images: From color fusion to color mapping[C]// International Conference on Audio, Language and Image Processing. USA: IEEE, 2012: 134-143.
    [3] TOET A, HOGERVORST M A. Progress in color night vision[J]. Optical Engineering, 2012, 51(1): 10901-10921. doi: 10.1117/1.OE.51.1.010901
    [4] WAXMAN A M, FAY D A. Color night vision: Fusion of intensified visible and thermal IR imagery[J]. Proceedings of SPIE, 1995, 2463: 58-68. doi: 10.1117/12.212755
    [5] TOET A, WALRAVEN J. New false color mapping for image fusion[J]. Optical Engineering, 1996, 35(3): 650-658. doi: 10.1117/1.600657
    [6] 王岭雪, 金伟其, 刘广荣, 等. 基于侧抑制特性的夜视图像彩色融合方法研究[J]. 北京理工大学学报, 2003, 23(4): 513-516. doi: 10.3969/j.issn.1001-0645.2003.04.028
    [7] TOET A. Applying daytime colors to multiband nightvision imagery[C]//Proceedings of the Sixth International Conference of Information Fusion. USA: IEEE, 2003: 614-621.
    [8] HOGERVORST M A, TOET A. Improved color mapping methods for multiband nighttime image fusion[J]. Journal of Imaging, 2017, 3(3): 1-25.
    [9] HOGERVORST M A, TOET A. Method for applying daytime colors to nighttime imagery in realtime[J]. Proceedings of SPIE, 2008, 6974: 697403-697412. doi: 10.1117/12.776648
    [10] TOET A, HOGERVORST M A. Perceptual evaluation of color transformed multispectral imagery[J]. Optical Engineering, 2014, 53(4): 1-12.
    [11] IIZUKA S, SIMOSERRA E, ISHIKAWA H. Let there be color!: Joint end-to-end learning of global and local image priors for automatic image colorization with simultaneous classification[J]. ACM Transactions on Graphics, 2016, 35(4): 1-11.
    [12] ZHANG R, ISOLA P, EFROS A A. Colorful image colorization[C]// European Conference on Computer Vision. Cham: Springer, 2016: 649-666.
    [13] LARSSON G, MAIRE M, SHAKHNAROVICH G. Learning representations for automatic colorization[C]// European Conference on Computer Vision. Cham: Springer, 2016: 577-593.
    [14] GU X, HE M, GU X. Thermal image colorization using Markov decision processes[J]. Memetic Computing, 2017, 9(1): 1-8. doi: 10.1007/s12293-017-0223-8
    [15] 吴骏逸, 谷小婧, 顾幸生. 基于可见光/红外图像的夜间道路场景语义分割[J]. 华东理工大学学报(自然科学版), 2019, 45(2): 301-309.
    [16] LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(4): 640-651.
    [17] CHOI Y, KIM N, PARK K, et al. All-day visual place recognition: Benchmark dataset and baseline[C]// Computer Vision and Pattern Recognition Workshop on Visual Place Recognition in Changing Environments. USA: IEEE, 2015.
    [18] BENNETT E P, MASON J L, MCMILLAN L. Multispectral bilateral video fusion[J]. IEEE Transactions on Image Processing, 2007, 16(5): 1185-1194. doi: 10.1109/TIP.2007.894236
    [19] YUAN Y, ZHANG J, CHANG B. Objective quality evaluation of visible and infrared color fusion image[J]. Optical Engineering, 2011, 50(3): 103-108.
  • [1] 钱文秀常青向辉康文斌 . 基于深度监督显著目标检测的草莓图像分割. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20181205004
    [2] 姚琴娟林家骏 . 基于双通道CNN的单幅图像超分辨率重建. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180523002
    [3] 解冰朱宏擎 . 一种基于选择性卷积特征和最大后验高斯混合模型的细粒度图像分类算法. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180603001
    [4] 陈鹏罗娜 . 基于竞争机制差分进化算法的无分流换热网络优化. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20181015004
    [5] 陆炳祥张德祥 . 低次烟叶热解特性及动力学机理函数. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180716007
    [6] 刘佳丽叶炯耀 . 基于Ohta颜色空间的多信息融合火焰检测. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180910001
    [7] 魏江平林家骏陈宁 . 多特征非接触式测谎技术. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20190619002
    [8] 杨祺刘士荣 . 多自主车辆队列跟随控制器设计. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20190118001
    [9] 柏德鸿宗原赵玲 . 扭曲片强化裂解炉管多尺度混合特性分析. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20190315003
    [10] 陈兰萍牛玉刚 . 基于多代理的微电网分区分布式最优潮流分析. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20190523004
    [11] 金志超高大启朱昌明王喆 . 基于权重的多视角全局和局部结构风险最小化分类器. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180704001
    [12] 尚旭景希玮徐健郑柏存公维光 . 不同分子量聚乙烯吡咯烷酮对多壁碳纳米管分散性能的影响. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180820002
  • 加载中
图(8)表(2)
计量
  • 文章访问数:  3313
  • HTML全文浏览量:  1217
  • PDF下载量:  4
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-10-30
  • 网络出版日期:  2019-07-17

基于类别色彩查找表的彩色夜视方法

    作者简介:张玮雯(1994-),女,上海人,硕士生,研究方向为图像彩色夜视。E-mail:vivianuy@126.com
    通讯作者: 顾幸生, xsgu@ecust.edu.cn
  • 华东理工大学化工过程先进控制和优化技术教育部重点实验室,上海 200237

摘要: 针对夜视图像解读困难的问题,提出了一种面向类别的色彩查找表的彩色夜视方法。该方法可以将不同景物的特征色彩映射到多波段夜间图像,使观察者能够更快、更好地解读图像,从而提高态势感知并缩短反应时间。这种映射方法首先采用深度学习中的语义分割技术对图像进行分割,然后使用类别色彩查找表固定不同波段对应色彩,避免了全局彩色化时出现的色彩单一、不自然的缺点。实验结果表明,与其他全局彩色化方法相比,本文方法对于夜视图像的解析能力更强。

English Abstract

  • 近几年,夜视图像广泛应用于导航、侦查、自动控制等领域。这些领域都会涉及到需要在夜间获取图像,但常用的微光夜视和红外夜视在可视化过程中都存在一定局限性。前者所拍摄的图像能解析出场景空间布局,但由于照明度低的原因,在目标与背景色度差异较小的情况下,无法准确识别特定目标,如人或汽车等。而后者具备良好的热物体探测能力,对特定目标的分辨力较高,但图像的对比度较低、背景模糊、细节表现能力差。

    单波段的低质量图像会对人类主观视觉感受产生影响,从而给这些领域的应用带来一定阻碍。对不同波段传感器捕捉到的图像进行有效融合,可以汲取不同波段的优点,可视化在单个传感器图像中不能直接显示的信息。同时,对融合图像进行彩色化可以改进特征对比度并减少视觉杂乱,帮助人类的视觉系统更快、更有效地理解图像,使图像中每一部分都成为单独的、可识别的对象,从而能够语义标记视觉对象。因此许多学者都致力于将多个单波段灰度图像进行彩色融合,获得具有更高对比度和清晰度的彩色夜视融合图像[1-3]

    彩色夜视技术发展经历了两个阶段:第一阶段是伪彩色阶段,即将同一场景的多个不同光谱图像直接映射到不同通道融合成彩色图像。这种彩色夜视图像的彩色信息不能反映图像中景物的真实颜色信息,只是为了便于观看而进行的彩色变换,如MIT法[4]、TNO法[5]、BIT法[6]等。第二阶段是得到与人眼观察到的可见光波段相类似的色彩,形成更接近景物真实色彩的彩色夜视图像,忠于景物本身反射的可见光颜色信息,称其为夜视真彩图像。Hogervorst和Toet等[7-10]在彩色夜视领域做出了很多贡献。Toet[7]提出了基于色彩传递的自然感彩色夜视处理技术,将自然光照条件下的彩色参考图像的色彩传递给红外和微光图像的伪彩色融合图像,使该融合图像获得与参考图像相似自然感的色彩。之后又提出了一种基于查找表的色彩传递映射[9],使融合的多频带夜景图像具有逼真的色彩外观,通过将统计变换应用于带有索引的假彩色夜视图像的颜色表,或者通过建立从白天彩色参考图像和多频带夜间图像获取的一组相应样本之间的颜色映射来定义。

    在普通图像彩色化领域,使用深度学习的方法已经被证明是有效且目前效果最优的[11-13]。如Iizuka等[11]提出了一种网络被训练于分类和上色,结构类似双层超列,两路分别处理全局和局部特征,然后串联得到最终彩色化结果。Zhang等[12]提出了可以预测色彩分布直方图来处理多态情况,使用单一结构,基于VGG网络增加了深度和空洞卷积。Larsson等[13]基于VGG网络使用16层超列建立底层和高层特征的连接,在基于分类的网络上训练,可以在没有标签的数据集微调上色效果。

    目前的主流研究点更多地集中在给高质量的可见光单波段的灰度图像上色,很少有基于深度神经网络对多波段夜视图像进行处理,并进行夜视图像彩色化。现有的语义分割技术虽然对最终的可视化结果进行了语义类别的区分,并标注了类别颜色,但这种“彩色化”只表明了类别,抹去了观察者原本可从多波段夜视图像中直接获得的热源、亮度、纹理等信息,并不能完全适用于彩色夜视。本文的彩色夜视方法结合了深度学习彩色化和彩色夜视领域的方法,基于多波段夜视图像的语义分割,针对每个语义类别的多波段不同特性,构建类别色彩查找表。固定了同一场景不同波段反映的颜色信息,实现颜色的恒常性。在获得类别信息的同时,利用查找表,实现局部区域彩色夜视。通过在多波段图像数据库上的对比实验,验证了本文方法能更有效地对彩色夜视图像进行解析。

    • 由于基于分割的彩色化方法已经被证明是有效的[14],所以本文的彩色夜视方法增补了语义信息,避免了原始色彩查找表方法中存在的两事物在红外和可见光中具有相近灰度值,则渲染颜色近似的问题。基于类别色彩查找表(Category-Oriented CLUT)的彩色夜视流程如图1所示。

      图  1  基于类别色彩查找表的彩色夜视流程

      Figure 1.  Night-vision colorization framework with category-oriented color lookup tables

      在着色之前使用文献[15]中的双谱图像语义分割方法进行类别处理。该分割网络基于全卷积神经网络结构(FCN)[16]进行改进,适配于多谱图像,如图2所示。首先将双谱图像分别输入到两路全卷积神经网络进行尾端特征融合,得到初步的语义分割结果。在此基础上,利用基于双谱图像信息的稠密条件随机场进行优化,得到图像每个像素点的语义标签。随后对每一类事物构建不同的色彩查找表,令夜视图像同时具有真彩和语义信息,使得图像的颜色更丰富、更自然。色彩查找表一旦建立完成,融合过程就变成了查表过程,能够快速地实现夜视图像的彩色融合,并且通过增补其余类别的色彩查找表,可以针对不同场景的数据库进行彩色化。

      图  2  并行全卷积神经网络结构

      Figure 2.  Structure of parallel fully convolutional network

      构建面向类别色彩查找表的步骤如下:

      (1)确定图像的类别数及特征色。经常在夜视图像中出现的景物可以归纳为目标(人、车辆等热辐射体)、植物、土壤、建筑、道路、岩石、天空、云雾、水面以及其他混合景物等10个类别模式,并根据一般感知下的特征色彩加以定义,如表1所示。

      SceneryFeature color
      Targets (Persons, cars and other warning targets)Red
      VegetationsGreen
      SoilBrown
      Buildings/Roads/RocksGrey
      Sky/Clouds/WaterBlue
      OthersBlack

      表 1  通用景物和特征色

      Table 1.  General scenery and feature colors

      (2)本文的主要研究对象来源于公开的KAIST校园全天候视觉位置识别标准库[17],对其进行精确的手工标注,获得语义分割标准标签,如图3所示。根据该数据库把主要景物分为车、骑行工具、行人、天空、树木、红绿灯、道路、人行道、建筑、隔离栏、路标、杆子、巴士共13类物体。

      图  3  数据库示例图及其手工标注

      Figure 3.  Examples of database and its label image

      遵循热目标为红黄暖色调、障碍物为橙(由于其也是需要警示的目标,故该类别查找表中也加入部分红色元素)、建筑道路等冷目标为黑白冷色调、天空为蓝、植物为绿、标志为蓝白的原则构建面向类别的色彩查找表。

      (3)根据夜视图像的二维灰度信息,对每一类物体建立独立的类别色彩查找表,查找表的横坐标对应红外图像的灰度值,纵坐标对应可见光图像的灰度值,空间坐标值为渲染的色彩值。每一张表以对角线构建,从左到右代表红外值的增加,从上到下代表可见光值的增加,不同灰度值对应的具体颜色会是特征色彩的渐变,以此在像素级上体现出物体的不同波段的信息。因此对于红外值高的部分会提取到偏红的色彩,红外值低的部分会提取到偏蓝的色彩;对于可见光值高的部分会提取到偏白的色彩,可见光值低的部分会提取到偏黑的色彩,如图4所示。

      图  4  类别色彩查找表示例

      Figure 4.  Examples of category-oriented CLUT

      (4)基于多波段语义分割后的已贴标签的图像,根据其不同类别找到对应的色彩表。依据多波段待融合图像的灰度值获得相应的颜色信息,得到最终的彩色夜视图像。

    • 图像语义分割就是对给定图片上的每一个像素点分类。基于卷积神经网络的语义分割任务中,网络最后一层输出的特征矩阵经过Sotfmax函数输出每个像素属于各个类别的概率值,并通过最大概率值来确定每个像素点所属的语义分割类别,得到最终预测结果。得到的准确率一般会达到100%,因此,本文的彩色夜视方法在为每个像素点确定色彩时,不仅依赖于最大概率类别对应的色彩查找表,而且根据像素点对每个类别概率的非线性组合进行色彩融合,最终确定该点色彩。构建的融合策略如下:

      其中:$i$为预测的类别;${\rm{Color}}(i)$为像素点在类别$i$的色彩查找表中对应的值;$C$为类别总数;${w_i}$为色彩混合权重,满足$\sum\limits_{i = 1}^C {{w_i}} = 1$$p(i)$为预测为类别$i$的概率即语义分割得到的结果;$r$为控制色彩混合的非线性程度,$r = 0$时,进行类别色彩均匀混合;$0 < r < 1$时,弱化类别预测概率对混合比例的影响;$r = 1$时,按语义分割预测概率混合;$r > 1$时,强化大概率的类别色彩同时弱化小概率的类别色彩,$r$越大不同类别色彩的区分度也越大。

      鉴于对语义分割准确率的信任,本文的色彩融合基于图像语义分割后得到的像素最大概率类别,再叠加小权重的其余类别色彩。这使得每个像素的色彩在对应其类别色彩查找表的特征颜色的同时,像素色彩之间进行平滑过渡,提升彩色夜视效果的自然度。因此,$r > 1$是更为合适的参数选择。本文取$r{\rm{ = 3}}$,并在此条件下进行实验。

    • 虽然确定了每个类别对应的色彩查找表,并固定了红外及可见光对应波段所得到的不同类别色彩,但由于数据库拍摄时间和环境因素等的不统一,可能会导致无法使用预设色彩查找表对每一张图像都得到良好的彩色夜视效果。如图5所示,植物的颜色在部分图像中整体偏黄色而不是绿色,这是因为图像拍摄时所生成的源图像亮度、饱和度等都有所差异,导致直接通过索引查表得到的色彩产生了偏差,因此处理图像时需要图像均衡化的矫正过程。

      图  5  使用预设的类别色彩查找表进行彩色夜视(未进行图像均衡化矫正)

      Figure 5.  Night-vision colorization by the preset category-oriented CLUT (without post processing)

      本文引入了一种简单的归一化方法。首先从源图像像素点减去整体平均值,然后将源图像像素点按源图像和目标图像的标准偏差比例分别缩放,公式如下:

      其中:${I_{\rm s}}$代表源图像;${u_{\rm s}}$${u_{\rm t}}$分别表示源图像和目标图像的灰度均值;${\sigma _{\rm s}}$${\sigma _{\rm t}}$分别表示源图像和目标图像的灰度标准差。经过转换后,多波段源图像的各像素具有符合目标图像的类似标准偏差。这样可以不用因为图像所处环境因素而重构色彩查找表,使得本文的彩色夜视方法可以简单且顺利地迁移到不同数据库。

      此外,由于之前采用概率非线性组合方法进行了色彩混合,所以查表后进行的彩色夜视会对图像色彩有平滑作用。由于在物体边缘处也存在一定的平滑,导致了部分区域有边缘模糊和色彩混叠的现象。本文对双边滤波方法[18]加以修改,进行了适合本文数据库中可见光和红外图像的双波段滤波。公式如下:

      首先对均衡化后的可见光原始图像$I$进行双边滤波得到${I_{\rm Bilateral}}$,进行边缘保持,然后把初始彩色夜视结果图转换到YUV色彩空间,同时只使用Y分量进行高斯滤波,得到${Y_{\rm Gaussian}}$,保留另外两个色彩相关通道。通过式(4)和式(5)可得到可见光细节图${\rm Details}$和边缘图${\rm Edges}$,由式(6)得到Y分量结果图${Y^{'}}$。其中,${W_1}$${W_2}$为可调节权重,${W_1}$越大物体边缘越明确,但高锐化度会影响色彩自然度;${W_2}$越大越凸显图像细节,但是增加对比度会影响轮廓的清晰度。根据不同的任务需要选择不同参数加强视觉效果,本文选择${W_1}{\rm{ = }}1$${W_2}{\rm{ = }}1$。最后叠加原先彩色结果图保留的两个色彩相关通道,最终得到边缘准确且整体色彩对比度强化的彩色夜视图,如图6所示。

      图  6  加入后处理步骤的彩色夜视图结果对比

      Figure 6.  Night-vision colorization contrast (with post processing)

      图6可以看出,经过后处理后,修正了色彩查找表索引范围,提升了图像的自然度。对色彩进行平滑的同时,建筑物、杆等的物体边缘信息也得到了加强。

    • 为了定性和定量地比较本文的彩色夜视方法和其他方法的性能,进行了主观结果分析和客观质量评价。评价实验采用相同的数据库,比较对象为彩色夜视中经典方法MIT和TNO、改进方法BIT、统计色彩映射法、TOET的色彩查找表法以及现阶段先进的图像彩色化方法(但仅使用可见光单波段图像进行彩色化)。

    • 首先,对不同的彩色化融合方案进行定性比较,结果如图7图8所示。

      图  7  不同彩色化方案的部分结果示例

      Figure 7.  Part results of different color fusion schemes

      图  8  不同彩色化方案的局部放大示例

      Figure 8.  Examples of partial magnification results of different colorization schemes

      可以看出,MIT方法的自然度较高,但是色彩单一,没有突出目标。TNO方法的部分物体边缘清晰,但是对比度不高,目标不明显。BIT方法的目标较突出,但物体细节不明确。统计色彩映射法的色彩自然,可以更换渲染效果,但选择不同的参考图效果差异大。TOET的色彩查找表法的彩色化效果稳定且质量较高,但色调平和。直接借用现阶段先进的图像彩色化方法的自然度高,但没有热目标信息。

      不同于上述方法彩色化结果的色调单一化,本文方法固定双波段信息,通过面向类别的色彩查找表的构建,使彩色夜视结果稳定,且材料分辨力好,既符合人类日常认知又突出目标物体,采取的后处理手段既保持了图像边缘信息,又加强了图像对比度。对于热目标统一凸显为红色,使得其更容易被发现。如图8中,通过彩色夜视结果可以很明确地分辨不同类别物体,其颜色更为自然,并且明确凸显了热源物体。

    • 本文使用3个无参照指标进行客观质量评价,见表2

      MethodISMICMNC
      MIT0.113 3(0.035 2)0.142 3(0.038 2)505(111)
      TNO0.067 0(0.033 8)0.260 0(0.065 7)524(207)
      BIT0.101 6(0.030 9)0.212 9(0.042 4)819(205)
      SM0.142 1(0.033 8)0.321 6(0.027 8)938(205)
      LUT0.120 3(0.033 9)0.190 3(0.046 3)397(89)
      Colorization (Iizuka 2016)0.133 2(0.040 8)0.095 6(0.048 2)703(235)
      Our method0.198 7(0.035 7)0.190 8(0.017 2)121 5(311)

      表 2  不同彩色化方法的图像质量评价指标的平均值(标准差)

      Table 2.  Average (with standard deviation) of image quality assessment metrics of different methods

      第1个无参考度量是图像清晰度(ISM)[19]。清晰度的感知与图像的清晰度和边缘清晰度有关。通过边缘信息的定义,可以在空间域上测量图像的清晰度,较大的ISM值代表锐度值更大。

      由3×3大小窗口定义的Sobel梯度算子用于提取灰度图像的边缘。其中,$\nabla I\left( {x,y|w} \right)$为灰度图像$I$在像素点$\left( {x,y} \right)$的局部梯度,$\left| W \right|$为3×3滑动窗口的总个数。

      第2个无参考度量是全局图像对比度(ICM)[20]。ICM计算灰度级I和颜色亮度L直方图的动态范围的加权估计,ICM的范围是[0,1]。较大的ICM值对应于较高的感知图像对比度。

      其中:${C_{\rm g}}$${C_{\rm c}}$分别代表灰度对比度和颜色对比度;灰度级${I_k}$的范围是0~255,则${N_I}$为256;颜色亮度${L_k}$的范围是0~100,则${N_I}$为101。$S({X_k})$表示图像中是否有灰度或亮度值k存在,取值为0或1。$\alpha $为动态范围因子,在[0,1]区间内,$\alpha $越大则在直方图中的动态范围越大,即对比度更好。

      第3个无参考度量是图像中特征颜色的数量(NC)。使用最小方差量化将RGB图像转换为索引图像获得,上限为65 536种可能的颜色。

      观察几种不同方法在同一数据库中实验得到的结果,可以看出本文方法具有最高的图像清晰度(ISM)和最多的特征颜色(NC),并且具有较高的图像对比度(ICM),其中ICM指标并未取得最高的主要原因在于,构建类别色彩表时更注重自然度,使得各类别特征色原始对比度不高。对比主观分析结果,如图7(b)7(c)7(d)所示,可以看出ICM指标高的方法,对比度强,但是也形成了一定程度的假彩色失真现象,画面整体性差,自然度降低。文献[8]中进行的对比实验也证实了这点,自然度高的图像ICM并非最高。因此,客观指标仅作为参考依据,对主观分析进行印证,也在一定程度上证实了本文方法在彩色夜视领域的优越性。

    • 本文提出了一种将自然颜色应用于多波段夜间图像的新方法。该方法使用多波段语义分割框架,融合了不同波段信息,提高语义分割效果。利用预设面向类别的色彩查找表,固定了物体多波段信息对应的色彩,对夜视图像进行了局部彩色夜视。不同类别的色彩查找表可以将冷热目标很好地进行区分,侧重于突出不同物体的材质特性,并把具有通识色彩的物体还原成自然色彩,使得最后生成的夜视图便于观察分析。经过定性和定量(主观分析和客观图像质量指标)的评估表明,该方法具有较好的泛化性能,对于不同的环境,可以推导出不同的配色方案,并且能通过增减预设的色彩查找表,适应不同的环境,应用到不同的数据库中。

(8)  表(2) 参考文献 (19) 相关文章 (12)

目录

    /

    返回文章