高级检索

  • ISSN 1006-3080
  • CN 31-1691/TQ
引用本文:
Citation:

基于深度监督显著目标检测的草莓图像分割

    作者简介: 钱文秀(1995-),女,硕士生,研究方向为图像处理。E-mail:qfoxes@163.com;
    通讯作者: 常青, changqing@ecust.edu.cn
  • 中图分类号: TP391

Strawberry Image Segmentation Based on Deeply Supervised Saliency Detection

    Corresponding author: Qing CHANG, changqing@ecust.edu.cn ;
  • CLC number: TP391

  • 摘要: 草莓图像的分割效果直接影响着草莓采摘机器人的实时作业,而目前的草莓图像分割算法大多只研究完全成熟及无遮挡情况下的草莓分割,无法实现草莓的多级分类及遮挡检测。本文提出了一种结合显著性区域检测的草莓图像分割方法,可适用于不同明暗环境,并且有效地实现了对不同成熟度草莓的检测与分割,为后续实现多级分类提供了良好的数据支持。首先,使用限制对比度自适应直方图均衡化处理方法克服了实际采摘图像光线昏暗导致的分割困难;然后,使用结合短连接的整体嵌套显著目标检测算法,利用浅层侧面输出包含丰富细节优势及深层侧面输出定位显著区域优势,从而产生密集且准确的显著区;最后,将显著性区域作为Grabcut的前景进行分割,从而实现草莓图像的准确分割。实验数据及结果表明,本文方法在实际采摘中的遮挡及不同明暗环境下均可获得稳定而准确的分割结果。
  • 图 1  算法流程图

    Figure 1.  Flow chart of algorithm

    图 2  剪裁分配示意图

    Figure 2.  Clipping assignment schematic

    图 3  双线性插值运算

    Figure 3.  Bilinear interpolation operation

    图 4  CLAHE的处理效果对比图

    Figure 4.  Process image by CLAHE

    图 5  短连接结构图

    Figure 5.  Illustration of short connections

    图 6  不同算法的分割图比较

    Figure 6.  Comparison of segmentation graphs with different algorithms

    图 7  不同明暗环境本文算法分割图比较

    Figure 7.  Comparison of algorithm segmentation graphs in different light and dark environments

    图 8  数据集上的结果比较

    Figure 8.  Comparisons of results on data sets

    表 1  侧面输出信息

    Table 1.  Details of each side output.

    No.Layer n, K×k
    123
    1 Conv1_2 128,3×3 128,3×3 1.1×1
    2 Conv2_2 128,3×3 128,3×3 1.1×1
    3 Conv3_3 256,5×5 256,5×5 1.1×1
    4 Conv4_3 256,5×5 256,5×5 1.1×1
    5 Conv5_3 512,7×7 512,7×7 1.1×1
    6 Pool5 512,7×7 512,7×7 1.1×1
    下载: 导出CSV

    表 2  不同明暗环境下分割结果比较

    Table 2.  Comparison of segmentation results under different lighting and shading environments

    Lighting environmentPrecisionRecallF-measureIOU
    Bright 0.89 0.82 0.83 0.74
    Dark 0.87 0.83 0.81 0.7
    下载: 导出CSV
  • [1] 侯贵洋, 赵桂杰, 王璐瑶. 草莓采摘机器人图像识别系统研究[J]. 软件, 2018, 39(6): 192-196.
    [2] LYU J, SHEN G, MA Z. Acquisition of fruit region in green apple image based on the combination of segmented regions[C]// International Conference on Image. Chengdu, China: IEEE, 2017: 332-335.
    [3] WEI X, JIA K, LAN J, et al. Automatic method of fruit object extraction under complex agricultural background for vision system of fruit picking robot[J]. Optik, 2014, 125(19): 5684-5689. doi: 10.1016/j.ijleo.2014.07.001
    [4] 张红旗, 王春光, 李海军. 基于遗传算法的草莓图像FCM分割方法研究[J]. 农机化研究, 2015(4): 55-57. doi: 10.3969/j.issn.1003-188X.2015.04.013
    [5] KARLO N E, IVAN V, KRISTIJAN R, et al. A nearest neighbor approach for fruit recognition in RGB-D images based on detection of convex surfaces[J]. Expert Systems with Applications, 201, 114: 454-466.
    [6] 赵玲, 周桂红. 基于ISODATA算法的草莓图像分割[J]. 湖北农业科学, 2016, 55(18): 4812-4813.
    [7] 覃磊, 孙开琼, 李诗高, 等. 基于RGB颜色相似度的成熟草莓图像分割[J]. 浙江农业学报, 2016, 28(2): 330-337. doi: 10.3969/j.issn.1004-1524.2016.02.25
    [8] 刘辉, 石小龙, 漆坤元, 等. 融合深度信息的Grabcut自动图像分割[J]. 小型微型计算机系统, 2018, 39(10): 2309-2313. doi: 10.3969/j.issn.1000-1220.2018.10.031
    [9] AL Y Y B E. Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images[C]//Proceedings Eighth IEEE International Conference on Computer Vision. Canada: ICCV, 2001: 105-112.
    [10] SETIAWAN A W, MENGKO T R, SANTOSO O S, et al. Color retinal image enhancement using CLAHE[C]// International Conference on ICT for Smart Society. Indonesia: IEEE, 2013: 1-3.
    [11] HOU Q, CHENG M M, HU X, et al. Deeply supervised salient object detection with short connections[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 41(4): 815-828.
    [12] PETROU M, PETROU C. Image Processing: The Fundamentals[M]. New York: Thomson Engineering, 2013.
    [13] GOPAL S, SHEFALI S S. Biometric authentication using local subspace adaptive histogram equalization[J]. Journal of Intelligent & Fuzzy Systems: Applications in Engineering and Technology, 2017, 32(4): 2893-2899.
    [14] XIE S, TU Z. Holistically-nested edge detection[J]. International Journal of Computer Vision, 2015, 125(1/3): 3-18.
    [15] BOYKOV Y, VEKSLER O, ZABIH R. Fast approximate energy minimization via graph cuts[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(11): 1222-1239. doi: 10.1109/34.969114
    [16] ROTHER C, KOLMOGOROV V, BLAKE A. Grabcut: Interactive foreground extraction using iterated graph cuts[J]. ACM Transactions on Graphics, 2004, 23(3): 309-314. doi: 10.1145/1015706
    [17] KOLMOGOROV V, ZABIN R. What energy functions can be minimized via graph cuts?[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(2): 147-159. doi: 10.1109/TPAMI.2004.1262177
    [18] BORJI A, CHENG M M, JIANG H, et al. Salient object detection: A benchmark[J]. IEEE Transactions on Image Process, 2015, 24(12): 5706-5722. doi: 10.1109/TIP.2015.2487833
    [19] CHENG M M, MITRA N J, HUANG X, et al. Global contrast based salient region detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 37(3): 569-582.
    [20] HORNUNG A, PRITCH Y, KRAHENBUHL P, et al. Saliency filters: Contrast based filtering for salient region detection[C]// IEEE Conference on Computer Vision & Pattern Recognition. USA: IEEE, 2012: 733-740.
    [21] RAHMAN M A, WANG Y. Optimizing intersection-over-union in deep neural networks for image segmentation[C]// Advances in Visual Computing. USA: Springer International Publishing, 2016: 234-244.
  • [1] 于中宝邵方明 . 并行系统中排列图的可靠性近似算法. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180531001
    [2] 王学武夏泽龙顾幸生 . 基于事件触发的自适应邻域多目标进化算法. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20181120005
    [3] 张剑超杜文莉覃水 . 基于新型自适应采样算法的催化重整过程代理模型. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180915001
    [4] 孙运筑修光利段玉森伏晴艳 . 上海市淀山湖区域灰霾天大气颗粒物中碳组分的污染特征. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180412007
    [5] 刘佳丽叶炯耀 . 基于Ohta颜色空间的多信息融合火焰检测. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180910001
    [6] 席孝敏景希玮徐健公维光郑柏存 . CMC取代度对负极浆料流变性及分散稳定性的影响. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180718003
    [7] 高源安琦 . 轴承座同心度误差对深沟球轴承-转子系统振动性能的影响. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180415001
    [8] 陈立皇程华房一泉 . 基于注意力机制的DGA域名检测算法. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180326002
    [9] 常青张天宇赵冰冰 . 基于机器视觉的手机异形主板非标自动化检测算法. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180416006
    [10] 汪道成朱倩赵玉政杨 弋 . 基于NAD+/NADH比率荧光探针的乳酸检测法. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180428001
    [11] 肖凌云马海燕 . 茂金属催化剂催化丙烯聚合的β-Me消除选择性研究. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20190329005
    [12] 张雪芹魏一凡 . 基于深度学习的驾驶场景关键目标检测与提取. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20181023002
    [13] 程雅文豆伟涛陈国荣 . 二硫化钼复合材料的构建与对Aβ的灵敏检测. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180720001
    [14] 张融周颖晏琦帆 . 分子内弱相互作用对共轭性的影响. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180902001
    [15] 李俊潮陈启斌谭慧玲孟晨晨刘洪来 . 基于Boc-D-丙氨酸的手性聚合物纳米颗粒的聚集诱导发光. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180514001
    [16] 王兆东史炉炉赵红莉洪亚云周丽芳蓝闽波 . 可用于电子顺磁共振检测的pH响应载药胶束的制备与体外评价. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180725001
    [17] 王秋生曹红亮杲云 . 酸和谷胱甘肽的双重响应性聚合物胶束负载光敏剂用于肿瘤细胞的光动力治疗. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180411003
    [18] 董盛红陈金铸郭旭虹徐益升 . 可见光诱导Pd-Pt/RGO-g-C3N4催化苯甲醛选择性加氢. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180426001
    [19] 解冰朱宏擎 . 一种基于选择性卷积特征和最大后验高斯混合模型的细粒度图像分类算法. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20180603001
    [20] 肖潮田佳刘峰张显杨王廷虎许立人顾邯沙张伟安 . 基于pH响应两亲性卟啉嵌段共聚物的光动力与化学联合治疗. 华东理工大学学报(自然科学版), doi: 10.14135/j.cnki.1006-3080.20190128001
  • 加载中
图(8)表(2)
计量
  • 文章访问数:  2781
  • HTML全文浏览量:  1378
  • PDF下载量:  16
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-12-07
  • 网络出版日期:  2019-05-31

基于深度监督显著目标检测的草莓图像分割

    作者简介:钱文秀(1995-),女,硕士生,研究方向为图像处理。E-mail:qfoxes@163.com
    通讯作者: 常青, changqing@ecust.edu.cn
  • 华东理工大学信息科学与工程学院,上海 200237

摘要: 草莓图像的分割效果直接影响着草莓采摘机器人的实时作业,而目前的草莓图像分割算法大多只研究完全成熟及无遮挡情况下的草莓分割,无法实现草莓的多级分类及遮挡检测。本文提出了一种结合显著性区域检测的草莓图像分割方法,可适用于不同明暗环境,并且有效地实现了对不同成熟度草莓的检测与分割,为后续实现多级分类提供了良好的数据支持。首先,使用限制对比度自适应直方图均衡化处理方法克服了实际采摘图像光线昏暗导致的分割困难;然后,使用结合短连接的整体嵌套显著目标检测算法,利用浅层侧面输出包含丰富细节优势及深层侧面输出定位显著区域优势,从而产生密集且准确的显著区;最后,将显著性区域作为Grabcut的前景进行分割,从而实现草莓图像的准确分割。实验数据及结果表明,本文方法在实际采摘中的遮挡及不同明暗环境下均可获得稳定而准确的分割结果。

English Abstract

  • 近年来,中国的草莓种植面积逐步扩大,草莓采摘是整个草莓生产过程中最耗时、耗力的环节之一,约占整个生产过程劳动总量的50%[1],因此草莓的自动化信息采集、采摘对草莓的大规模种植和科学管理具有重要意义。草莓图像分割是机械化采摘、信息化管理的核心关键之一,草莓图像分割效果直接影响后续的信息采集和草莓采摘。

    现有文献大多只针对固定背景的水果图像、成熟且无杂物遮挡的草莓图像分割。其中,Lyu等[2]通过应用K-means对RGB、Lab颜色空间的G、B颜色通道分割后进行开运算、微小区域消除、融合等操作来分割出目标。然而,分割结果对初始聚类中心敏感,需连续对样本进行分类和调整,更新聚类中心,导致算法的时间复杂度增加。Wei等[3]提出了一种复杂农业背景下采摘机器人的水果图像自动提取方法,应用Ohta颜色空间的新特征作为输人,进行OTSU算法的阈值分割,虽然大多数时候能成功提取复杂农业背景下的成熟水果,但在处理石榴图像时部分果实图像会缺失,且存在光照、背景、时间复杂度或参数设定等缺陷,并不适用于实际背景下成熟草莓的图像分割。张红旗等[4]通过遗传算法寻找FCM图像分割方法的聚类中心,提出了基于遗传算法的草莓图像FCM分割方法,但需预先设置簇的数量,且遗传算法收敛速度较慢。Karlo等[5]提出了一种基于凸面检测和分类的RGB-D图像水果识别方法,但是该方法对光线强度比较敏感,强烈阳光照射的环境会影响分割效果。Zhao等[6]提出的基于ISODATA算法的草莓图像分割方法参数设置繁琐且仅对完全成熟的草莓图像分割效果良好。覃磊等[7]基于RGB颜色相度的成熟草莓图像分割(CS-BASED RSIS)仅应用于完全成熟草莓图像的分割,对未完全成熟的草莓分割效果明显下降。刘辉等[8]提出的融合深度信息的Grabcut自动图像分割,基于深度信息提取Grabcut的矩形框,因草莓对象的不规则和复杂背景的干扰,并不能精确地标记前景对象,降低了分割准确度。

    常用的Grabcut[9]算法使用矩形框指导分割目标,矩形框内除了不同成熟度或可能被叶子、杂物遮挡的草莓目标还包含其他复杂背景,影响了Grabcut分割的精确度。本文提出根据显著性区域制作掩模,用以标记Grabcut的前景和背景来指导目标草莓分割。为了使该算法在昏暗的环境中也能得到较好的分割结果,提出用限制对比度自适应直方图均衡化为基于HNSD架构显著区域的检测增强整体边缘,最终实现有效地检测显著草莓区域,不仅能适用于不同程度明亮、昏暗环境而且可以分割出完全成熟和未成熟的草莓图像。

    • 本文算法的主要步骤如图1所示。首先采用限制对比度自适应性直方图均衡化(Contrast-limited Adaptive Histogram Equalization,CLAHE)[10]增强原始图像,降低光线敏感度,然后使用结合短连接的整体嵌套显著目标检测(Holistically-Nested Salient Object Detection with Short Connections,HNSD)[11]查找显著性区域,最后将显著性区域作为Grabcut的前景进行分割得到分割图像。

      图  1  算法流程图

      Figure 1.  Flow chart of algorithm

    • 常用的直方图均衡化(Histogram Equalization,HE)是一种图像整体增强方法,不能有效增强局部信息,造成局部区域的明暗信息损失[12],而自适应直方图均衡化(Adaptive Histogram Equalization,AHE)[13]在强化图像局部细节的同时增加了图像噪声,因此,本文采用CLAHE对原始草莓图像进行增强处理。

      CLAHE通过限制局部直方图的高度来限制对比度的增强幅度,从而限制噪声和局部对比度。CLAHE算法基本流程如下:

      (1)将原图分割成$M \times N$个连续不重叠的子区域,子块大小与增强效果、细节丢失成正比。

      (2)对图像每个通道计算灰度直方图$H(i)$

      (3)设置阈值T(如图2所示),当$H(i) < T$时,$H(i){\rm{ = }}H(i){\rm{ + }}L$;当$H(i) \geqslant T$时,$H(i){\rm{ = }}H_{\max} $,即

      图  2  剪裁分配示意图

      Figure 2.  Clipping assignment schematic

      $H(i)$L$H_{\max} $三者的关系为

      其中:${N_{\displaystyle \sum {{\rm{shadow}}} }}$为阴影部分像素数;${N_{\rm{g}}}$为子区域灰度级数量。

      (4)对每个受限子区域进行直方图均衡化。

      (5)选取每个子区域的中心为参考点,对图像每个像素进行灰度双线性插值计算,如图3所示。

      图  3  双线性插值运算

      Figure 3.  Bilinear interpolation operation

      插值公式如下:

      式中:Gi)代表点(xy)处的灰度值;${G_{ - - }}(i)$为点(xy)左上方样本点;${G_{ - {\rm{ + }}}}(i)$${G_{{\rm{ + }} - }}(i)$${G_{{\rm{ + + }}}}(i)$分别是其他3个方位的样本点。

      图4示出了CLAHE的处理效果。可以看出,相比于左边昏暗环境下的暗红色草莓,右边的鲜红草莓具有明显的轮廓特征,更易于整体边缘检测,最终得到更优的显著区域。

      图  4  CLAHE的处理效果对比图

      Figure 4.  Process image by CLAHE

    • 结合短连接的整体嵌套显著目标检测是基于整体嵌套边缘检测(Holistically-Nested Edge Detector,HED)[14]的显著性检测结构,如表1所示,包含5个卷积层和1个池化层,在每个侧面输出连接3个具有不同滤波器通道和空间大小的卷积层。其中,“1”、“2”和“3”表示每层侧输出中使用的3个网络层,$n, k \times k$中的$n$$k \times k$分别表示通道数和卷积核尺度。

      No.Layer n, K×k
      123
      1 Conv1_2 128,3×3 128,3×3 1.1×1
      2 Conv2_2 128,3×3 128,3×3 1.1×1
      3 Conv3_3 256,5×5 256,5×5 1.1×1
      4 Conv4_3 256,5×5 256,5×5 1.1×1
      5 Conv5_3 512,7×7 512,7×7 1.1×1
      6 Pool5 512,7×7 512,7×7 1.1×1

      表 1  侧面输出信息

      Table 1.  Details of each side output.

      假设$T = \{ (X_n, Z_n), n = 1, \cdots, N\} $表示训练数据集,其中$X_n = \{ x_j^{(n)}, j = 1, \cdots, |{X_n}|\} $为输入图像,${Z_n} = \left\{ {z_j^{(n)}, j = 1, \cdots, \left| {{Z_n}} \right|} \right\}, z_j^{(n)} \in [0, 1]$表示图像对应的真值显著图,在下列的数学表达式中,去除下标n简化表示(例如,使用$Z$表示${Z_n}$)。假设输入图像独立于其他图像。将所有标准网络层表示为${{W}}$,假设有$M$层侧面输出。每个侧面输出与分类器相关联,其中相应的权重为${{w}} = ({{{w}}^{(1)}}, {{{w}}^{(2)}}, \cdots, {{{w}}^{(M)}})$。定义侧面输出函数为

      其中:${\alpha _m}$为第$m$个侧面输出的权重;$l_{{\rm{side}}}^{(m)}$表示第$m$个侧面输出的图像级类平衡交叉熵损失函数。使用标准交叉熵计算训练图像$X = \left\{ {{x_j}, j = 1, \cdots, \left| X \right|} \right\}$和真值显著图$Z = \left\{ {{z_j}, j = 1, \cdots, \left| Z \right|} \right\}$之间所有像素的损失函数。损失函数定义如下:

      其中,$\Pr \left( {{z_j} = 1|X;{{W}}, {{{w}}^{(m)}}} \right)$为第$m$个侧面输出中j处的激活值的概率。使用加权融合层具有更好地融合每个侧面输出的优势。融合层的融合损失为

      其中:${{f}} = \left( {{f_1}, \cdots, {f_M}} \right)$为融合权重;$A_{{\rm{side}}}^{(m)}$为第$m$层输出的激活值;$\hat M = M + 1$$\sigma ( \cdot , \cdot )$表示真值图和预测融合图之间的距离。因此,最终损失函数为

    • 引入一种自上而下的方法,即从较深的侧面输出到较浅的侧面输出层的一系列短连接。结合较深的侧面信息,较浅的侧面输出既可以准确地预测显著区域,又可以从较深的侧面输出中细化结果,从而产生密集且准确的显著区,因此在HNSD体系上引入短连接可更优地结合深层和浅层的优点。短连接结构图如图5所示。

      图  5  短连接结构图

      Figure 5.  Illustration of short connections

      定义新的第m侧激活$\hat R_{{\rm{side}}}^{(m)}$

      其中$r_i^m$是从侧面输出$i$到侧面输出$m(i > m)$短连接的权重,可通过直接将$r_i^m$设置为0来去除一些短连接。新的损失函数和融合损失函数分别为

      其中${{r}} = \left\{ {r_i^m} \right\}, i > m$,因此最终损失函数为

    • 较深的侧面输出能够找到显著区域的位置,但要付出损失细节的代价,而浅的侧面输出侧重于低级特征,但缺乏全局信息。通过适当地组合不同的侧面输出,可以提取视觉上更佳的对象。为了使模型达到更优的效果,HNSD使用如下的短连接方法:

    • 设置学习率为${\rm{1}}{{\rm{0}}^{{\rm{ - 8}}}}$,衰减权重为${\rm{0}}{\rm{.5}} \times {\rm{1}}{{\rm{0}}^{{\rm{ - 3}}}}$,动量为0.9,每个侧面输出的损失权重为1。使用全分辨率图像来训练网络,将最小批量设置为10。使用随机数初始化新添加的卷积层中的内核权重。融合层权重在训练阶段都初始化为0.166 7。

    • Grabcut算法是根据GraphCut[15-17]算法进行改进的一种基于图论的图像分割方法。它将图像映射成无向网络图,然后构建一个优化对象变量的能量函数,最后使用最大流/最小割方法优化能量函数。

      Grabcut简化了用户交互并使用了GMM而非直方图。首先定义一个无向图GVE),其中V表示所有无向图所有顶点的集合,E表示链接所有顶点的无向边的集合。在V集合内,添加源S和接收器T,使得所有像素点连接到两个端子。于是,无向图GVE)包含t-links (Neighbored)和n-links (Terminal)两种连接方式。所有表示像素的顶点的中心边为n-links;所有与额外两个端点相连的边为t-links。通常,无向图使用4邻域或8邻域连接两个像素。图像中含有N个像素,图像表示为${{z}} = \left( {{z_1}, {z_2}, ..., {z_N}} \right)$,定义能量函数为

      并结合了像素标记方法用来表示最佳分割。

      首先引入一组新的向量${{\alpha}} = \left\{ {{\alpha _1}, {\alpha _2}, ..., {\alpha _N}} \right\}$,用来标记每个像素属于前景或背景。得到显著图后,设置一个阈值对图像进行二值化。本文实验设置阈值为100,通过设置显著区域,其余像素属于背景来初始化Grabcut掩模图像,这样可以增加分割的准确性。

      根据吉布斯函数$E\left( {{{\alpha}} , {{h}}, {{\theta}} , {{z}}} \right) = U\left( {{{\alpha}} , {{h}}, {{\theta}} , {{z}}} \right) + V\left( {{{\alpha}} , {{z}}} \right)$进行最后分割步骤。其中,$U\left( {{{\alpha}} , {{h}}, {{\theta}} , {{z}}} \right) = $$ \displaystyle \sum {R\left( {{\alpha _n}, {h_n}, \theta , {z_n}} \right)} $,函数R定义为$R\left( {{\alpha _n}, {h_n}, \theta , {z_n}} \right) = - \lg p$ $({z_n}|{\alpha _n}, {h_n}, \theta ) - \lg \pi \left( {{\alpha _n}, {h_n}} \right)$$p( \cdot )$为高斯分布,$\pi(\cdot) $为混合权重系数。此时高斯分布模型为

      ${{\theta}} = \left\{ {\pi \left( {{{\alpha}} , {{h}}} \right), \mu \left( {{{\alpha}} , {{h}}} \right), \alpha = 0, 1;h = 1, ..., H} \right\}$,其参数分别对应第$h$个高斯模型的权值$\pi $、均值$\mu $以及协方差$\sum $

      平滑项V使用欧式距离求出:

      其中$\alpha , \beta $为常量。在Grabcut中,$\alpha = 50$是根据Rother等实验获得[16],而$\beta $根据图像对比度确定。

    • 本文实验使用的数据集是OpenMV摄像头采集的中国传统地垄种植草莓园里的草莓图像,制作5 000张像素为500$\times $500、格式为JPG的图像。评价指标包括F-measure[18-20]和IOU (Intersection Over Union)[21],计算公式如下:

      其中:$U$表示真值图中的真实目标;$U^{\prime}$为分割目标。选取文献[2]、文献[6-8]与本文算法进行比较。

    • 图6示出了相似光线强度下6张不同的草莓图像,以及本文算法与其他4种算法的直观视觉效果。其中第1、2行是完全成熟草莓对应不同算法的分割效果,文献[6-8]和本文算法皆取得了精确度较高的效果。第3、4行图像中包含完全成熟和完全青色的草莓对象,文献[6-7]仅完好地分割出了完全成熟部分,将青色未成熟草莓误判为背景;文献[2]、文献[8]保留了较多的背景;本文算法则分割出了较完整的成熟草莓和青色草莓。第5、6行为未完全成熟的草莓图像,文献[6-7]没有分割出完整的草莓对象,文献[2]、文献[8]依旧保留较多的草莓背景,而本文算法比较完整地分割出了未成熟目标草莓。结果表明,本文算法在相似光照强度下,可以有效地分割出不同成熟度的草莓。

      图  6  不同算法的分割图比较

      Figure 6.  Comparison of segmentation graphs with different algorithms

      图7示出了3张草莓图片在明亮光线和昏暗环境下,采样本文算法的分割效果,其中第2行为第1行的分割结果。可以看出,本文算法在昏暗的环境下也能完好地分割出草莓目标,可以适用于较大差异的光线环境,有效地去除过多的复杂背景,分割出未成熟和已成熟的草莓对象,在实际草莓采摘环境下取得了与真实值较接近的效果。

      图  7  不同明暗环境本文算法分割图比较

      Figure 7.  Comparison of algorithm segmentation graphs in different light and dark environments

    • 对在实际环境采集的5 000张草莓图像数据集计算F-measure、IOU指标,结果如图8所示。图8(a)示出了$\beta $=1时的准确率、召回率、F-measure。可以看出,文献[2]、文献[6-8]的回召率和精确率表现出明显的差异且明显低于本文算法。图8(b)示出了IOU的比较结果,显示了本文算法的实际分割对象与真值图具有较高的重叠率,证明了本文算法得到的F-measure、IOU均优于其他算法。

      图  8  数据集上的结果比较

      Figure 8.  Comparisons of results on data sets

      表2示出了本文算法在不同明暗环境下的草莓图像分割精确率、回召率、F-measure、IOU指标,可以看出,昏暗环境与明亮环境下的4种指标值没有较大的变化,表明本文算法可适用于不同程度的明暗环境。

      Lighting environmentPrecisionRecallF-measureIOU
      Bright 0.89 0.82 0.83 0.74
      Dark 0.87 0.83 0.81 0.7

      表 2  不同明暗环境下分割结果比较

      Table 2.  Comparison of segmentation results under different lighting and shading environments

    • 本文提出了基于深度监督显著目标检测的草莓图像分割研究。限制对比度自适应性直方图均衡化处理降低了对光线明暗的敏感度。基于短连接的深度监督显著目标检测算法查找显著性区域,可以准确的查找到草莓区域,最后Grabcut根据草莓区域作为前景得到更精确的分割目标。实验结果证明,本文方法在实际图像上获得了比其他算法更高的F-measure、重叠率指标,验证了该方法具有更优异的分割效果。未来将考虑更快的计算速度和算法应用环境的移植,以增强算法的实用性。

(8)  表(2) 参考文献 (21) 相关文章 (20)

目录

    /

    返回文章