-
摘要: 基于视网膜对视觉信息的处理方式, 提出一种视网膜功能启发的边缘检测层级模型. 针对视网膜神经元在周期性光刺激下产生适应的特性, 构建具有自适应阈值的Izhikevich神经元模型; 模拟光感受器中视锥细胞、视杆细胞对亮度的感知能力, 构建亮度感知编码层; 引入双极细胞对给光−撤光刺激的分离能力, 并结合神经节细胞对运动方向敏感的特性, 构建双通路边缘提取层; 另外根据神经节细胞神经元在多特征调控下延迟激活的现象, 构建具有脉冲延时特性的纹理抑制层; 最后将双通路边缘提取的结果与延时抑制量相融合, 得到最终边缘检测结果. 以150张来自实验室采集和AGAR数据集中的菌落图像为实验对象对所提方法进行验证, 检测结果的重建图像相似度、边缘置信度、边缘连续性和综合指标分别达到0.9629、0.3111、0.9159和0.7870, 表明所提方法能更有效地进行边缘定位、抑制冗余纹理、保持主体边缘完整性. 本文面向边缘检测任务, 构建了模拟视网膜对视觉信息处理方式的边缘检测模型, 也为后续构建由视觉机制启发的图像计算模型提供了新思路.
-
关键词:
- 边缘检测 /
- 视网膜 /
- Izhikevich模型 /
- 神经编码 /
- 方向选择性神经节细胞
Abstract: Based on the processing of visual information by the retina, this paper proposes a multi-layer model of edge detection inspired by retinal functions. Aiming at the adaptive characteristics of retinal neurons under periodic light stimulation, an Izhikevich neuron model with adaptive threshold is established; By simulating the perception ability of cones and rods for luminance and color in photoreceptors, the luminance perception coding layer is constructed; By introducing the ability of bipolar cells for separating light stimulation, and combining with the characteristics of ganglion cells sensitive to the direction of movement, a multi-pathway edge extraction layer is constructed; In addition, according to the phenomenon of delayed activation of ganglion cell neurons under multi-feature regulation, a texture inhibition layer with pulse delay characteristics is constructed; Finally, by fusing the result of multi-pathway edge extraction with the delay suppression amount, the final edge detection result is obtained. The 150 colony images from laboratory collection and AGAR dataset are used as experimental objects to test the proposed method. The reconstruction image similarity, edge confidence, edge continuity and comprehensive indicators of the detection results are 0.9629, 0.3111, 0.9159 and 0.7870, respectively. The results show that the proposed method can better localize edges, suppress redundant textures, and maintain the integrity of subject edges. This research is oriented to the task of edge detection, constructs an edge detection model that simulates the processing of visual information by the retina, and also provides new ideas for the construction of image computing model inspired by visual mechanism.-
Key words:
- Edge detection /
- retina /
- Izhikevich model /
- neural coding /
- direction-selective ganglion cells (DSGCs)
-
边缘检测作为目标分析和识别等高级视觉任务的前级环节, 在图像处理和工程应用领域中有重要地位. 以Sobel和Canny为代表的传统方法大多根据相邻像素间的灰度跃变进行边缘定位, 再设定阈值调整边缘强度和冗余细节[1]. 虽然易于计算且快速, 但无法兼顾弱边缘感知与纹理抑制之间的有效性, 难以满足复杂环境下的应用需要. 随着对生物视觉系统研究的进展, 人们对视觉认知的过程和视觉组织的功能有了更深刻的了解. 许多国内外学者在这些视觉组织宏观作用的基础上, 进一步考虑神经编码方式与神经元之间的相互作用, 并应用于边缘检测中. 这些检测方法大多首先会选择合适的神经元模型模拟视觉组织细胞的群体放电特性, 再关联例如视觉感受野和方向选择性等视觉机制, 以不同的编码方式将输入的图像转化为脉冲信号, 经过多级功能区块处理和传递后提取出图像的边缘. 其中, 频率编码和时间编码是视觉系统编码光刺激的重要方式, 在一些计算模型中被广泛使用. 例如, 文献[2]以HH (Hodgkin-Huxley)神经元模型为基础, 使用多方向Gabor滤波器模拟神经元感受野的方向选择性, 实现神经元间连接强度关联边缘方向, 将每个神经元的脉冲发放频率作为边缘检测的结果输出, 实验结果表明其比传统方法更有效; 文献[3]在 LIF (Leaky integrate-and-fire) 神经元模型的基础上进行改进, 引入根据神经元响应对外界输入进行调整的权值, 在编码的过程中将空间的脉冲发放转化为时序上的激励强度, 实现强弱边缘分类, 对梯度变化幅度小的弱边缘具有良好的检测能力. 除此之外, 也有关注神经元突触间的相互作用, 通过引入使突触的连接权值产生自适应调节的机制来提取边缘信息的计算方法. 例如, 文献 [4] 构建具有STDP (Spike-timing-dependent plasticity) 性质的神经元模型, 根据突触前后神经元首次脉冲发放时间顺序来增强或减弱突触连接, 对真伪边缘具有较强的辨别能力; 文献 [5] 则在构建神经元模型时考虑了具有时间不对称性的STDP机制, 再融合方向特征和侧抑制机制重建图像的主要边缘信息, 其计算过程对神经元突触间的动态特性描述更加准确. 更进一步, 神经编码也被应用于实际的工程需要. 例如, 文献 [6]针对现有的红外图像边缘检测算法中存在的缺陷, 构建一种新式的脉冲神经网络, 增强了对红外图像中弱边缘的感知; 文献 [7] 则通过模拟视皮层的处理机制, 使用包含左侧、右侧和前向3条并行处理支路的脉冲神经网络模型提取脑核磁共振图像的边缘, 并将提取的结果用于异常检测, 同样具有较好的效果. 上述方法都在一定程度上考虑了视觉组织中神经元的编码特性以及视觉机制, 与传统方法相比, 在对复杂环境的适应性更强的同时也有较高的计算效率. 但这些方法都未能考虑到神经元自身也会随着外界刺激产生适应, 从而使活动特性发生改变. 此外, 上述方法大多也只选择了频率编码、时间编码等编码方式中的一种, 并不能完整地体现视觉组织中多种编码方式的共同作用. 事实上, 在对神经生理实验和理论的持续探索中发现, 视觉组织(以视网膜为例)在对视觉刺激的加工中就存在着丰富的动态特性和编码机制[8-9]. 视网膜作为视觉系统中的初级组织结构, 由多种不同类型的细胞构成, 共同组成一个纵横相连、具有层级结构的复杂网络, 能够针对不同类型的刺激性选择相应的编码方式进行有效处理. 因此, 本文面向图像的边缘检测任务, 以菌落图像处理为例, 模拟视网膜中各成分对视觉信息的处理方式, 构建基于视网膜动态编码机制的多层边缘检测模型, 以适应具有多种形态结构差异的菌落图像边缘检测任务.
1. 材料和方法
本文提出的算法流程如图1所示. 首先, 根据视网膜神经元在周期性光刺激下脉冲发放频率发生改变的特性, 构建具有自适应阈值特性的Izhikevich神经元模型, 改善神经元的同步发放能力; 其次, 考虑光感受器对强弱光和颜色信息的不同处理方式编码亮度信息, 实现不同亮度水平目标与背景的区分; 然后, 引入固视微动机制, 结合神经节细胞的方向选择性和给光−撤光通路的传递特性, 将首发脉冲时间编码的结果作为双通路的初级边缘响应输出; 随后, 模拟神经节细胞的延迟发放特性, 融入对比度和突触前后偏好方向差异, 计算各神经元的延时抑制量, 对双通路的计算结果进行纹理抑制; 最后, 整合双通路边缘信息, 将二者融合为最终的边缘检测结果.
1.1 亮度感知编码层
构建神经元模型时, 本文综合考虑对神经元生理特性模拟的合理性和进行仿真计算的高效性, 以Izhikevich模型[10]为基础构建神经元模型. Izhikevich模型由Izhikevich在HH模型的基础上简化而来, 在保留原模型对神经元放电模式描述的准确性的同时, 也具有较低的时间复杂度, 适合神经元群体计算时应用, 其表达式如下式所示
$$ \left\{ \begin{aligned}& \frac{{\rm{d}}v}{{\rm{d}}t} = 0.04{v^2} + 5v + 140 + I\\ &\frac{{\rm{d}}u}{{\rm{d}}t} = a(bv - u)\\ &{\rm{if}}\; v > {v_{\rm{th}}}, \;{\rm{then}}\; v \leftarrow c,u \leftarrow u + d \end{aligned} \right. $$ (1) 其中, v为神经元的膜电位, 其初始值设置为 −70; u为细胞膜恢复变量, 设置为14; I为接收的图像亮度刺激; $v _{\rm{th}} $为神经元脉冲发放的阈值, 设置为30; a描述恢复变量u的时间尺度, b描述恢复变量u对膜电位在阈值下波动的敏感性, c和d分别描述产生脉冲发放后膜电位v的重置值和恢复变量u的增加程度, a, b, c, d这4个模型参数的典型值分别为0.02、0.2、−65和6. 若某时刻膜电位v达到$v _{\rm{th}} $, 则进行一次脉冲发放, 同时该神经元对应的v被重置为c, u被重置为u + d.
适应是神经系统中广泛存在的现象, 具体表现为神经元会根据外界的刺激不断地调节自身的性质. 其中, 视网膜能够适应昼夜环境中万亿倍范围的光照变化, 这种适应能够帮助其在避免饱和的同时保持对光照的敏感性[11]. 研究表明, 视网膜持续接受外界周期性光刺激时, 光感受器会使神经元细胞的活动特性发生改变, 导致单个神经元的发放阈值上升, 放电频率下降; 没有脉冲发放时, 对应阈值又会以指数形式衰减, 同时放电频率逐渐恢复[12]. 因此, 本文在Izhikevich模型的基础上作出改进, 加入根据脉冲发放频率对阈值进行自适应调节的机制, 如下式所示
$$ \left\{ \begin{aligned} &\frac{{\rm{d}}v}{{\rm{d}}t} = 0.04{v^2} + 5v + 140 + I\\& \frac{{\rm{d}}u}{{\rm{d}}t} = a(bv - u)\\ &{\rm{if}}\; v > {v_{\rm{th}}}, {\rm{then}} \;v \leftarrow c,u \leftarrow u + d,\frac{{\rm{d}}{v_{\rm{th}}}}{{\rm{d}}t} = \frac{v_{\rm{th}}}{\tau_1}\\&{\rm{else}}\; \frac{{\rm{d}}{v_{\rm{th}}}}{{\rm{d}}t} = - \frac{v_{\rm{th}}}{\tau_2} \end{aligned} \right. $$ (2) 其中, $ \tau _{1} $和$ \tau _{2} $分别为脉冲发放和未发放时阈值变化的时间常数, 其值越小, 阈值变化的幅度越大, 神经元敏感性变化的过程越快; 反之, 则表示阈值变化的幅度越小, 神经元敏感性变化的过程也就越慢. 生理学实验表明, 在外界持续光刺激下, 神经元对刺激产生适应导致放电频率降低后, 这种适应衰退的过程比产生适应的过程通常要长数倍[13]. 因此, 为了在准确模拟生理特性的同时保证计算模型的性能, 本文将$ \tau _{1} $和$ \tau _{2} $分别设置为20和40. 这样, 当某时刻某个神经元产生脉冲发放时, 则对应阈值$v _{\rm{th}} $根据$ \tau _{1} $的值升高, 神经元产生适应, 活跃度降低; 反之, 对应阈值$v _{\rm{th}} $根据$ \tau _{2} $的值下降, 神经元的适应衰退, 活跃度提升. 实现限制活跃神经元的脉冲发放频率, 促进不活跃神经元的脉冲发放, 改善神经元群体的同步发放能力, 减少检测目标内部冗余. 图2显示了改进前后的Izhikevich模型对图像进行处理后目标内部冗余情况.
图 2 改进前后的Izhikevich模型对图像进行脉冲发放的结果对比图Fig. 2 Comparison of the image processing results of the Izhikevich model before and after improvement为了规范检测目标图像的亮度范围, 本文将输入的彩色图像Img各通路的亮度映射到$ 0\sim255 $区间内, 如下式所示
$$ \begin{split} & I(;i) = \frac{{255(Img(;i) - \min (Img(;i)))}}{{\max (Img(;i)) - \min (Img(;i))}},\\ &i \in \{ {\rm{R}},{\rm{G}},{\rm{B}}\} \end{split} $$ (3) 其中, $ Img(;i) $和$ I(;i) $表示经亮度映射前和映射后的R、G、B三种颜色分量图像; max(·) 和min(·) 分别计算对应分量图像中的最大和最小像素值.
光感受器分两类, 分别为视锥细胞和视杆细胞[14], 都能将接收到的视觉刺激转化为电信号, 实现信息的编码和传递. 其中, 视锥细胞能够根据外界光刺激的波长来分解为三个不同的颜色通道[15]. 考虑到人眼对颜色信息的敏感性能有效区分离散目标与背景, 令图像中的每个像素点对应一个神经元, 将R、G、B三种颜色分量图像分别输入上文构建的神经元模型中, 在一定时间范围内进行脉冲发放, 如下式所示
$$ \begin{split} fires({x,y;i}) & = {\mathop{\rm{Izhikevich}}\nolimits}({I({x,y;i})}), i \in \{ {\rm{R}},{\rm{G}},{\rm{B}}\} \end{split} $$ (4) 其中, $ fires(x,y;i) $为每个神经元的脉冲发放次数, 函数Izhikevich(·)表示式(2)给出的神经元模型.
视杆细胞对光线敏感, 主要负责弱光环境下的外界刺激感知. 当光刺激足够强时, 视杆细胞的感知能力达到饱和, 视觉系统转为使用视锥细胞负责亮度信息的处理[16]. 因此, 除了对颜色信息敏感外, 视锥细胞对强光也有高度辨别能力. 考虑到作为检测对象的图像中, 目标与背景具有不同的亮度水平, 本文构建一种综合视锥细胞和视杆细胞亮度感知能力的编码方法, 以适应目标与背景不同亮度对比的多种情况, 如下式所示
$$ I_{\rm{base}} = \mathop {\max}\limits_i ({\mathop{\rm{var}}} (I(;i))), i \in \{ {\rm{R,G,B}}\} $$ (5) $$ \left\{ \begin{aligned} & fire{s_{\rm{Res}}}(x,y) = \mathop {\min } \limits_{{i}} (fires(x,y;i)), \\ &{I_{\rm{base}}}(x,y) < {\mathop{\rm ave}\nolimits}({I_{\rm{base}}})\\ & fire{s_{\rm{Res}}}(x,y) = \mathop {\max } \limits_{{i}} (fires(x,y;i)), \\ &{I_{\rm{base}}}(x,y)\ge{\mathop{\rm ave}\nolimits}({I_{\rm{base}}}) \end{aligned} \right. $$ (6) 其中, var(·) 计算图像亮度方差; ave(·) 计算图像亮度均值. 本文取三种颜色分量图像中方差最大的一幅作为基准图像$ I_{\rm{base}} $, 对于其中的像素值$ I_{\rm{base}}(x,y) $, 将其中亮度低于平均亮度的部分设置为三种颜色分量脉冲发放结果的最小值, 反之设置为最大值, 最终得到模型的亮度编码结果$ fires_{\rm{Res}}(x,y) $, 实现在图像局部亮度相对较低的区域由视杆细胞进行弱光感知, 亮度较高区域由视锥细胞处理, 强化计算模型对不同亮度目标和背景的区分能力, 凸显具有弱边缘的对象. 图3显示了亮度感知编码对存在弱边缘的对象的感知能力.
图 3 不同方式对存在弱边缘的菌落图像的处理结果Fig. 3 Different ways to process the image of colonies with weak edges1.2 基于固视微动的多方向双通路边缘提取层
人眼注视目标时, 接收的图像并非是静止的, 而是眼球以每秒2至3次的微动使投射在视网膜上的图像发生持续运动, 不断地改变照射在光感受器上的光刺激[17]. 本文考虑人眼的固视微动机制, 在原图像的灰度图像$ Img_{\rm{gray}} $上构建大小为3×3的微动作用窗口temp, 使窗口接收到的亮度信息朝8个方向进行微动, 如下式所示
$$ \left\{ \begin{aligned} & temp_{\theta_{i}}\left({i + p_i \times {{{\rm{d}}}}x,j + q_i \times {{{\rm{d}}}}y} \right)\\ &{\theta_i} = \arctan \displaystyle\frac{p_i}{q_i} \end{aligned} \right.$$ (7) $$ \ Dir(x,y) = \mathop {\max }\limits_{\theta _i} ({\rm{sum}}(\left| {temp_{\theta_{i}} - temp} \right|)) $$ (8) 其中, $p_i $和$q_i $是用于决定微动方向$\theta_i $的参数, 其值被设置为 −1、0或1, 通过计算反正切函数能够得到以45° 为单位、从0° 到315° 的8个角度的微动方向, 对应8个微动结果窗口$temp_{\theta _i}$; ${{{\rm{d}}}}x$和${{{\rm{d}}}}y$分别表示水平和竖直方向的微动尺度; Dir为计算得到的微动方向矩阵, 其中每个像素点的值为$ Dir(x,y) $; sum(·) 计算窗口中像素值的和. 本文取每个微动窗口前后差异最大的方向作为该点的偏好方向, 分别用数字1 ~ 8表示.
视网膜存在一类负责对运动刺激编码、具有方向选择性的神经节细胞 (Direction-selective ganglion cells, DSGCs)[18]. 经过光感受器处理, 转化为电信号的视觉信息, 通过双极细胞处理后传递给神经节细胞. 双极细胞可分为由光照增强 (ON) 激发的细胞和由光照减弱 (OFF) 激发的细胞[19], 分别将信号输入给光通路 (ON-pathway)和撤光通路 (OFF-pathways) 两条并行通路[20], 传递给光运动和撤光运动产生的刺激. 而神经节细胞同样包括ON和OFF两种, 会对给光和撤光所产生的运动方向做出反应[21]. 因此, 本文构造5×5大小的对特定方向微动敏感的神经节细胞感受野窗口, 将其对偏好方向和反方向微动所产生的响应分别作为给光通路和撤光通路的输入. 以偏好方向为45° 的方向选择性神经节细胞感受野窗口为例, 如下式所示
$$ \delta _{{\rm{ON}}}^{45}(x,y) = \left\{ \begin{aligned}& 1,& (y - x) > 0\\ &0,& (y - x )= 0\\& - 1,& (y - x) < 0 \end{aligned} \right. $$ (9) $$ \delta _{{\rm{OFF}}}^{45}(x,y) = - \delta _{{\rm{ON}}}^{45}(x,y) $$ (10) 通过上述定义, 可以形成以45° 为单位、从0° 到315° 的8个方向的感受野窗口, 与上文$ \theta _{i} $的8个方向对应. 之后本文在亮度编码结果$ fires_{\rm{Res}} $上构筑与感受野相同大小的局部窗口$ S_{xy} $, 根据最优方向矩阵Dir对应窗口中心点的方向, 取与其相同和相反方向的感受野窗口和亮度编码结果进行卷积运算 (本文用符号$* $表示卷积运算), 分别作为ON和OFF通道的输入, 如下式所示
$$ \left\{ \begin{aligned} &{I_p}(x,y) = \sum\limits_{{x_i},{y_i} \in {S_{xy}}} {fire{s_{{\rm{Res}}}}({x_i},{y_i})*\delta _p^\theta (x,y)} \\ &\theta = \frac{\pi }{4}(Dir(x,y) - 1) \end{aligned}\right. $$ (11) $$ \ T_{p} = {\rm{Izhikevich}}({I_{p}}), {p} \in {\rm{\{ON,OFF\} }} $$ (12) 考虑到眼球微动能够将静止的空间场景转变为视网膜上的时间信息流, 激活视网膜神经元的发放, 同时ON和OFF两通路也只在光刺激的呈现和撤去的瞬时产生电位发放, 因此本文采用首发脉冲时间作为编码方式, 将$T _{\rm{ON}} $和$T _{\rm{OFF}} $定义为两通路首次脉冲发放时间构成的时间矩阵, 并作为初级边缘响应的结果. 将1个单位的发放时间设置为0.25, 当总发放时间大于30时停止计算, 此时还未进行发放的神经元即被判断为非边缘.
1.3 多特征脉冲延时纹理抑制层
视网膜神经节细胞在对光刺激编码的过程中, 外界刺激特征的变化会显著影响神经元的反应时间. 研究发现, 当刺激对比度增大时, 神经元反应延时会减小, 更快速地进行脉冲发放; 反之, 则反应延时增大, 抑制神经元的活性[22]. 除此之外, 方向差异也会影响神经元活动, 突触前后偏好方向相似的神经元更倾向于优先连接, 在受到外界刺激时能够更快被同步激活[23]. 因此, 本文引入视网膜的神经元延时发放机制, 考虑方向和对比度对神经元敏感性的影响, 构造脉冲延时抑制模型. 首先结合局部窗口权重函数计算图像对比度, 如下式所示
$$\begin{split} &\omega ({x_i},{y_i}) =\\ &\quad0.5\left(\cos\left(\frac{\pi}{{ws}}\sqrt {{{(x - {x_i})}^2} + {{(y - {y_i})}^2}} \right) + 1\right) \end{split}$$ (13) $$ L\left( {x,y} \right) = \frac{1}{\mu }\sum\limits_{{x_i},{y_i} \in {S_{xy}}} {\omega \left( {{x_i},{y_i}} \right)I\left( {{x_i},{y_i}} \right)} $$ (14) $$\begin{aligned} & Con(x,y) = \\ & \quad\sqrt {\frac{1}{\mu }\sum\limits_{{x_i},{y_i} \in {S_{xy}}} {\omega ({x_i},{y_i})\frac{{{{(I({x_i},{y_i}) - L(x,y))}^2}}}{{{{(L(x,y))}^2}}}} } \end{aligned} $$ (15) 其中, $ \omega({x_i},{y_i}) $为窗口权重函数, L为亮度图像, Con为对比度图像, $ S_{xy} $为以(x, y)为中心的局部窗口, ($ x_{i} $, $ y_{i} $) 为方窗中除中心外的周边像素, ws为局部方窗的窗长, $\mu=\sum\nolimits_{{x_i},{y_i} \in {S_{xy}}} {\omega ({x_i}, {y_i})}$. 之后考虑局部方窗中心神经元和周边神经元方向差异, 同时用高斯函数模拟对比度大小与延时作用强度之间的关系, 构建脉冲延时抑制模型, 如下式所示
$$ D_{\rm{Dir}}(x,y) = \sum\limits_{x_i,y_i \in S_{xy}} {\exp \left(\frac{-(\Delta Dir{({x_i},{y_i}))}^2}{2{(\frac{\pi}{4})}^2}\right)} $$ (16) $$ D_{\rm{Con}}(x,y) = \exp \left(\frac{ -{{(Con(x,y))}^2}}{2{\delta ^2}}\right) $$ (17) $$ D(x,y) = {D_{\rm{Dir}}}(x,y) * {D_{{\rm{Con}}}}(x,y) $$ (18) 其中, $ D_{\rm{Dir}}(x,y) $和$ D_{\rm{Con}}(x,y) $分别表示方向延时抑制量和对比度延时抑制量; $ D(x,y) $为计算得到的综合延时抑制量; $ \Delta Dir\left({{x_i},{y_i}} \right) $为突触前后神经元微动方向的差异, 被定义为${\rm{min}}\left\{ {|\theta ({x_i},{y_i}) - \theta (x,y)|,} \right. $${2\pi - |\theta ({x_i},{y_i}) - \theta (x,y)}| \}$; $ \delta $用于调节对比度延时抑制量.
将上文计算得到的两个时间矩阵$T _{\rm{ON}} $和$T _{\rm{OFF}} $中进行过脉冲发放的神经元与综合延时抑制量相加, 同样设置1个单位的发放时间为0.25, 将经延时作用后总发放时间大于30的神经元设置为不发放, 即判定为非边缘, 反之则判定为边缘. 根据式(19)和式(20) 得到两通道边缘检测结果$Res _{\rm{ON}} $和$Res _{\rm{OFF}} $. 最后, 将两通道得到的结果融合, 得到最终边缘响应结果Res, 如下式所示
$$\begin{split} & Re{s_p}(x,y) ={T_{{p}}}(x,y) + D(x,y),\\ & p \in \{ {\rm{ON}},{\rm{OFF}}\} ,{T_p}(x,y) \ne 0 \end{split} $$ (19) $$ \left\{ \begin{aligned} & Res_{p}(x,y) = 0,\;\;\;Res_{p}(x,y) \ge 30\\ & Res_{p}(x,y) = 1,\;\;\;0 < Res_{p}(x,y) < 30 \end{aligned} \right.$$ (20) $$ \ Res = Re{s_{{\rm{ON}}}} \cup Re{s_{{\rm{OFF}}}} $$ (21) 2. 算法流程
基于视网膜对视觉信息的处理顺序和编码特性, 本文构建图4所示的算法流程, 具体步骤如下:
1) 根据视网膜在外界持续周期性光刺激下产生的适应现象, 在式(1)所示的Izhikevich模型上作出改进, 构建如式(2)所示的具有自适应阈值的Izhikevich模型.
2) 根据式(3)将作为检测目标的图像映射到0 ~ 255区间规范亮度范围, 接着分离3种通道的颜色分量, 根据式(4)输入到改进的Izhikevich模型中进行脉冲发放.
3) 根据式(5)的方差计算提取出基准图像, 再结合基准图像根据式(6)对三通道脉冲发放的结果进行亮度感知编码, 得到亮度编码结果.
4) 考虑人眼的固视微动机制, 根据式(7)和式(8)通过原图的灰度图像提取每个神经元的偏好方向, 得到微动方向矩阵, 接着根据式(9)和式(10)构筑8个方向的方向选择性神经节细胞感受野窗口.
5) 根据式(11)和式(12), 将感受野窗口与亮度编码图像作卷积运算, 并输入Izhikevich模型中得到ON和OFF通路的首发脉冲时间矩阵, 作为两通道的初级边缘响应.
6) 根据式(13) ~ 式 (15), 结合局部窗口权重计算图像对比度.
7) 考虑对比度和突触前后偏好方向对脉冲发放的延时作用, 根据式(16) ~ 式 (18)构建延时纹理抑制模型, 并根据式(19)和式(20)将纹理抑制模型和两通道的初级边缘响应相融合.
8) 根据式(21)将两通路纹理抑制后的结果在神经节细胞处进行整合, 得到最终边缘响应结果.
3. 结果
为了验证本文方法用于菌落边缘检测的有效性, 本文选择Canny方法和其他3种同样基于神经元编码的边缘检测方法作为横向对比, 并进行定性、定量分析. 首先, 选择文献[4]提出的基于神经元突触可塑性的边缘检测方法(Synaptic plasticity model, SPM), 用于对比本文方法对弱边缘的增强效果; 其次, 选择文献[24]提出的基于抑制性突触的多层神经元群放电编码的边缘检测方法 (Inhibitory synapse model, ISM), 验证本文的延时抑制层在抑制冗余纹理方面的有效性; 然后, 选择文献[25]提出的基于突触连接视通路方向敏感的分级边缘检测方法(Orientation sensitivity model, OSM), 对比本文方法在抑制冗余纹理的同时保持边缘提取完整性上的优势; 最后, 还以本文方法为基础, 选择去除亮度感知编码后的方法(No luminance coding, NLC)作为消融实验, 以验证本文方法模拟光感受器功能的亮度感知编码模块的有效性.
本文使用实验室在微生物学实验中采集的菌落图像和AGAR数据集[26]作为实验对象. 前者具有丰富的颜色和形态结构, 用于检验算法对复杂检测环境的适应性; 后者则存在更多层次强度的边缘信息, 菌落本身与背景的颜色和亮度水平也较为相近, 用于检测算法对颜色、亮度特征和弱边缘的敏感性. 本文通过局部采样生成150张512×512像素大小的测试图像, 其中38张来自实验室采集, 112张来自AGAR数据集. 然后分别使用上文的6种边缘检测算法提取图像边缘, 使每种算法得到150张边缘检测结果, 其中部分检测结果如图5所示.
图 5 Colony1 ~ Colony5的边缘检测结果(第1行为原图; 第2行为Canny检测的结果; 第3行为SPM检测的结果; 第4行为ISM检测的结果; 第5行为OSM检测的结果; 第6行为NLC检测的结果; 第7行为本文方法检测的结果)Fig. 5 Edge detection results of Colony1 to Colony5 (The first line is original images; The second line is the results of Canny; The third line is the results of SPM; The fourth line is the results of ISM; The fifth line is the results of OSM; The sixth line is the results of NLC; The seventh line is the results of the proposed method)定性分析图5可知, Canny、SPM和ISM方法在Colony4和Colony5等存在弱边缘的图像中往往会出现大面积的边缘丢失. OSM方法对弱边缘的敏感性强于以上3种方法, 但仍然会出现不同程度的边缘断裂, 且在调整阈值时难以均衡边缘连续性和目标菌落内部冗余. NLC方法同样丢失了Colony4和Colony5中几乎所有的边缘, 对于Colony3也只能检出其中亮度较低的菌落内部, 对于梯度变化不明显的边缘辨别力差. 与其他方法相比, 本文方法检出的边缘更加显著且完整性更高, 对于弱边缘也有很强的检测能力, 在Colony3、Colony4和Colony5等存在多层次水平强弱边缘的菌落图像中能够取得较好的检测结果. 为了对检测结果进行定量分析并客观评价各方法的优劣, 计算边缘图像重建相似度MSSIM[27]对检测结果进行重建, 并计算重建图像与原图像的相似度作为边缘定位的准确性指标. 首先对检测出的边缘图像做膨胀处理, 之后将原图像上的像素值赋给膨胀后边缘的对应位置, 得到的图像记为ET, 则边缘重建如下式所示
$$ \ R(x,y) = \frac{{\sum\limits_{k = 1}^8 {{d_k}{T_k}} }}{{\sum\limits_{k = 1}^8 {d_k}}} $$ (22) 其中, $T _{k} $为图像$ ET $上3×3窗口中8个方向的周边像素, $ d_{k} $为窗口中心像素点与周边像素的距离, 计算得到重建图像R. 重建图像的相似度指标如下式所示
$$ SSIM(A,B) = \frac{{2{\mu _A}{\mu _B}}}{{\mu _A^2 + \mu _B^2}} \times \frac{{2{\sigma _{AB}}}}{{\sigma _A^2 + \sigma _B^2}} $$ (23) $$ MSSIM(A,B) = \frac{1}{N}\sum\limits_{j = 1}^N {{SSIM}({a_j},{b_j})} $$ (24) 其中, $ \mu _{A} $和$ \mu _{B} $为原图像和重建图像的灰度均值, $ \sigma _{A} $和$ \sigma _{B} $为其各自的标准差, $ \sigma _{AB} $为原图像与重建图像之间的协方差. 将原图像和重建图像各自分为N个子图, 并分别计算相似度指标SSIM, 得到平均相似度指标MSSIM. 除此之外, 为了验证边缘检测方法检出边缘的真实性和对菌落内部冗余纹理的抑制能力, 本文计算边缘置信度BIdx[28], 根据边缘两侧灰度值的跃变程度判断边缘的真伪. 边缘置信度指标如下式所示
$$ \left\{ \begin{aligned} & b_{ij} = \frac{{1 + \sqrt {2{\sigma _{ij}} - 1} }}{2},&{\sigma _{ij}} \ge 0.5\\ & b_{ij} = 2{({\sigma _{ij}})^2}, &{\sigma _{ij}} < 0.5 \end{aligned} \right.$$ (25) $$ \ BIdx = \frac{1}{EdgeNum}\sum {{b_{ij}}} $$ (26) 其中, $ \sigma _{ij} $为边缘像素在原图像对应位置的邻域标准差, EdgeNum为边缘像素数量. 另外, 本文进一步计算边缘连续性 CIdx[29]来验证检出目标的边缘完整性. 首先将得到的边缘图像E分割为m个区域, 分别计算每个区域中的边缘像素$ E(x_k^i,y_k^i) $到其空间中心$ (\overline {{x_i}} ,\overline {{y_i}}) $的距离$ d_k^i $, 则连续性指标如下式所示
$$ \left\{ \begin{aligned} & c_k^i = \displaystyle\frac{d_k^i}{D},& d_k^i < D\\ &c_k^i = 1, & d_k^i \ge D \end{aligned} \right. $$ (27) $$ C_i = \sum\limits_{k = 1}^{{n_i}} {c_k^i} $$ (28) $$ SC_i = 2\left(\frac{1}{{1 + \exp\left(-\frac{C_i}{2}\right)}} - 0.5\right) $$ (29) $$ CIdx = \frac{{\sum\limits_{i = 1}^m {({n_i}S{C_i})} }}{{\sum\limits_{i = 1}^m {{n_i}} }} $$ (30) 其中, $ c_k^i $为边缘连续性的贡献值, D为阈值, $ C_{i} $为第i个区域的像素点的连续性贡献值之和, $ n_{i} $为第i个区域边缘像素点数量. 最后, 将计算得到的3个指标根据下式融合, 得到综合评价指标EIdx[21]
$$ \left\{ \begin{aligned} & EIdx = {w_{\rm{s}}}MSSIM+{w_{\rm{b}}}BIdx+{w_{\rm{c}}}CIdx\\ &w_{\rm{s}} = \displaystyle\frac{1}{2}\left(1 - \displaystyle\frac{{{EdgeNump}}}{{row \times col}}\right)\\ &w_{\rm{b}} = {w_{\rm{c}}} = \displaystyle\frac{1}{2}(1 - {w_{\rm{s}}}) \end{aligned} \right.$$ (31) 其中, row和col分别为原图像的行数和列数. 于是, 检测图像的各项性能指标如表1 ~ 表5所示, 图像重建的结果如图6所示.
表 1 不同检测方法下的重建相似度MSSIMTable 1 MSSIM of different methodsSerial number MSSIM Canny SPM ISM OSM NLC 本文方法 Colony1 0.7452 0.7725 0.8357 0.9265 0.9175 0.9371 Colony2 0.7951 0.7971 0.8490 0.9528 0.9447 0.9725 Colony3 0.8576 0.8662 0.8314 0.9149 0.8337 0.9278 Colony4 0.9690 0.9827 0.9838 0.9887 0.9893 0.9972 Colony5 0.9634 0.9758 0.9780 0.9771 0.9883 0.9933 表 5 不同检测方法下的各评价指标的均值和标准差Table 5 Average and standard deviation of indexes of different methodsCanny SPM ISM OSM NLC 本文方法 MSSIM 0.8119±0.0649 0.8435±0.0863 0.8692±0.0778 0.9422±0.0291 0.9184±0.0609 0.9629±0.0335 BIdx 0.2091±0.1542 0.1724±0.2056 0.1702±0.1023 0.2763±0.1401 0.2940±0.2221 0.3111±0.1604 CIdx 0.7972±0.0279 0.8101±0.1125 0.8205±0.0561 0.8397±0.2050 0.9149±0.0857 0.9359±0.0306 EIdx 0.6568±0.0562 0.6697±0.0548 0.6801±0.0513 0.7341±0.0281 0.7211±0.0860 0.7870±0.0437 
图 6 Colony1 ~ Colony5的重建结果 (第1行为原图; 第 2 行为 Canny 检测结果的重建; 第 3 行为 SPM 检测结果的重建; 第 4 行为 ISM 检测结果的重建; 第 5 行为 OSM 检测结果的重建; 第 6 行为 NLC 检测结果的重建; 第 7 行为本文方法检测结果的重建)Fig. 6 Reconstruction results of Colony1 to Colony5 (The first line is original images; The second line is the results of Canny; The third line is the results of SPM; The fourth line is the results of ISM; The fifth line is the results of OSM; The sixth line is the results of NLC; The seventh line is the results of the proposed method)分析边缘重建结果图6和表1中的MSSIM指标可知, 重建图像的质量很大程度上取决于边缘定位的准确性和检出边缘的完整性, 断裂不连续的边缘会对重建结果产生相当大的影响. 其中, 由于Canny、SPM和ISM的检测结果有多处边缘丢失, 因此在Colony2和Colony3等菌落不够密集、离散程度高的图像的重建结果中会出现8个方向的交错直线, 使重建相似度下降. 此外, 由于对弱边缘的敏感性不足也导致了未能重建出Colony4、Colony5中原本存在的菌落. OSM方法在Colony1、Colony2中具有较优的检测结果, 总体的重建相似度高于上述3种方法, 但在Colony3中出现了边缘断裂和内部虚假边缘共存的现象, 在Colony4中产生部分边缘丢失, 而在Colony5中则只检测出了显著性高的菌落中心, 导致重建图像未能还原菌落原本的形状. NLC方法则由于同样未能检出部分菌落, 总体的MSSIM指标低于OSM方法. 相比之下, 本文方法的重建相似度指标较优, 在5张菌落图像中, 由于边缘断裂引发的背景中的交错直线数量相比其他5种方法更少, 且由于完整地检测出了菌落的主体, 因此重建图像中基本没有出现目标丢失的现象. 由表5可知, 本文方法对150张菌落图像的MSSIM指标相比其他5种方法分别提升了18.60%、14.16%、10.78%、2.20% 和4.85%.
分析表2、表3和表4中的BIdx、CIdx和EIdx指标可知, 本文方法综合性能同样优于其他5种方法. 其中, SPM和ISM方法的边缘连续性不足, 且存在较多噪声, 导致边缘置信度和边缘连续性指标下降. Canny方法提取的边缘通常使用滞后阈值处理, 因此难以兼顾边缘置信度和边缘连续性指标, 与以上2种方法相比各有优劣. OSM方法由于对弱边缘的敏感性要高于上述3种方法, 因此边缘置信度指标显著高于前者. NLC方法由于对强边缘对象检测的显著程度更高, 因此在连续性指标上有一定优势, 但边缘断裂和误检的情况仍有出现. 而在添加亮度感知编码后的方法则更不容易发生边缘缺失, 因此在连续性指标上表现更好. 同时, 对真伪边缘的判别更加准确, 因此边缘置信度也较高. 由表5可知, 本文方法对150张菌落图像的BIdx指标相比其他5种方法分别提升了48.78%、80.45%、82.78%、12.60% 和5.82%, CIdx指标分别提升了17.40%、15.53%、14.06%、11.46% 和2.30%, 综合指标EIdx则分别提升了19.82%、17.52%、15.72%、7.21% 和9.14%.
表 2 不同检测方法下的边缘置信度BIdxTable 2 BIdx of different methodsSerial number BIdx Canny SPM ISM OSM NLC 本文方法 Colony1 0.4988 0.4618 0.4307 0.5801 0.5058 0.6026 Colony2 0.1821 0.1537 0.1553 0.3365 0.4615 0.4479 Colony3 0.1983 0.1510 0.1610 0.2634 0.1263 0.3257 Colony4 0.1631 0.1488 0.1906 0.1437 0.1521 0.2016 Colony5 0.1620 0.1896 0.1902 0.1882 0.1735 0.1654 表 3 不同检测方法下的边缘连续性CIdxTable 3 CIdx of different methodsSerial number CIdx Canny SPM ISM OSM NLC 本文方法 Colony1 0.8377 0.8530 0.8601 0.8676 0.9749 0.9652 Colony2 0.8069 0.8655 0.8533 0.8293 0.9177 0.9518 Colony3 0.8064 0.7408 0.7293 0.8269 0.7764 0.9406 Colony4 0.8143 0.8611 0.9044 0.8430 0.9015 0.9776 Colony5 0.9047 0.8448 0.8632 0.8592 0.8709 0.9571 表 4 不同检测方法下的综合评价指标EIdxTable 4 EIdx of different methodsSerial number EIdx Canny SPM ISM OSM NLC 本文方法 Colony1 0.7047 0.7122 0.7344 0.8173 0.8219 0.8473 Colony2 0.7191 0.6508 0.6722 0.7633 0.8244 0.8291 Colony3 0.6048 0.6543 0.6363 0.7258 0.6402 0.7784 Colony4 0.7287 0.7432 0.7649 0.7363 0.7454 0.7690 Colony5 0.7231 0.7454 0.7512 0.7443 0.7262 0.7737 4. 讨论
根据上述实验结果可知, 定性分析和定量分析的结果基本吻合, 本文方法的整体检测结果优于对比的其他方法.
Canny方法未考虑生物视觉系统对图像边缘的提取能力, 而是通过图像梯度、滞后阈值等数学原理进行计算, 虽然在检测速度上有优势, 但各项指标处于较低水平, 且使用高斯滤波进行预处理的行为也会使算法对弱边缘不敏感. SPM和ISM方法都以log-Gabor滤波器提取显著边缘后再输入神经元网络中用做后续的计算, 这种处理方式导致检测结果存在较多离散点, 使连续性指标不足. OSM方法以多方向感受野提取图像边缘, 并将神经元的空间距离和激励强度差异引入感受野模板的构建中, 因此对于弱边缘的检测能力相比以上3种方法更强, 且各项指标有显著提升. 但是对弱边缘的敏感性必然导致伪边缘的产生, 而OSM方法在边缘提取前未对检测目标进行预处理, 无法根据检测目标的特征自适应地调节检测模型的阈值, 因此对于强边缘、弱边缘和伪边缘的区分能力有限, 难以兼顾主边缘完整性和抑制伪边缘的需求. NLC方法由于未考虑视网膜中光感受器对不同水平亮度的感知方式, 导致对亮度差异不敏感, 在经过亮度分割后无法准确定位弱边缘与背景的交界处. 而本文方法相比NLC方法引入了视锥细胞和视杆细胞对颜色、亮度特征的处理能力, 构建亮度感知编码层作为预处理措施, 体现了视网膜在不同亮度水平刺激下具有的自适应性, 也证实了该模块的有效性, 在有效分离目标菌落与背景的同时消除了大部分菌落内部的伪边缘, 为后续的边缘提取提供便利.
另外, SPM考虑了神经元间的突触可塑性, 根据突触前后神经元首次脉冲发放时间的先后来强化或减弱突触连接, ISM则是考虑神经元侧抑制能力, 使先发神经元对后发神经元产生抑制作用. 这两种方法都仅考虑了首发脉冲时间编码, 未能充分考虑视网膜中多种编码方式的共同作用, 因此无论是抑制伪边缘的能力还是强化主边缘的能力都较为有限. OSM同样引入了侧抑制机制, 并进一步考虑了神经元空间距离、放电活动和突触前后最优方向的影响来细化边缘、减弱冗余, 一定程度上减弱了伪边缘的影响. 但由于边缘提取的显著程度不够, 在抑制作用下也会让部分弱边缘断裂, 使边缘置信度和边缘连续性指标普遍低于本文方法. 本文方法构建了给光、撤光两条通路共同提取边缘响应, 在检测结果的显著程度上有明显的优势, 更不容易因后续的抑制而发生边缘缺失, 因此边缘连续性指标较好. 同时, 本文引入神经元延时抑制特性, 考虑了对比度对神经元活性的影响, 对真伪边缘的判别更加准确, 因此边缘置信度也较高. 除此之外, 表中的各项指标还有一些值得注意的点. 对于以弱边缘为主的Colony4和Colony5, 尽管本文方法完整地检出了目标菌落, 在定性分析中明显优于其他5种方法, 但MSSIM指标却无显著优势, 其一在于MSSIM指标在菌落与背景亮度水平相近的图像上的计算结果难以呈现出差异, 其二在于Colony4和Colony5的图像中包含了部分培养皿的边缘, 该部分的重建结果拉高了整体的MSSIM 指标. 此外, 考虑到MSSIM本身的计算方式, 检测结果中的冗余纹理和伪边缘反而会使重现相似度更高. 另外, Colony2和Colony5中的本文方法的BIdx指标并不能达到6种方法中的最优, 其原因在于BIdx的计算公式只是根据边缘两侧灰度值的跃变程度来估计某一点为边缘的可能性, 并不能确切地反映出是否为真实边缘. 而Colony2和Colony5中的弱边缘到背景的亮度梯度变化极小, 反而被BIdx认为是非边缘. 解决方法可以是改变BIdx公式中的$ \sigma _{{ij}} $值以调节公式对边缘的敏感性, 或是手工标注基准边缘. 由此也可以看出, 与综合评价指标相比, 单一的指标并不能准确地评价一个算法的有效性.
通过逐一观察本文方法得到的150张检测结果, 发现了一些存在问题的案例, 如图7所示. 首先, 本文方法对图像清晰度的要求较高. 由于不同的培养皿照片中菌落的种类、大小、数量和分布密度存在很大差异, 为了保证菌落在作为检测对象的图像中具有较为合适的占比, 本文在局部采样时会根据原图的状况选取不同的窗口尺寸, 例如150×150像素、200×200像素等, 再将采样的结果统一放大至512×512像素. 这不可避免地会导致图像失真, 进而使检测结果出现较多噪声或边缘连续性下降(图7(a))的问题. 使用高斯滤波等方式能够在一定程度上减弱原图中存在的噪声, 但由于模糊了图中对象的边缘, 会进一步加剧对弱边缘的检测难度. 其次, 本文方法的亮度感知编码基于光感受器的性质对图像进行亮度水平分割, 由于对Izhikevich模型做出了改进, 因此能在一定程度上减少目标内部的冗余, 但对于内部纹理特征复杂的菌落仍会检出较多的冗余细节(图7(b)), 且菌落本身由于破碎或其他原因呈现无规则的形状也会导致边缘检测失败(图7(c)). 最后, 本文方法对于黏连菌落(图7(d))也应该做出进一步的处理, 如何区分黏连菌落间的分界线和菌落内部的纹理也是后续工作应该考虑的.
本文方法虽然通过实验验证了其有效性和可行性, 但仍有很多需要改进的地方. 视网膜对亮度、对比度、颜色、方向等图像特征都具有一定的处理能力, 能够根据其性质构建性能较高的边缘检测模型, 但仍只是视觉系统的初级组织结构. 主视通路的后续环节, 例如外侧膝状体和初级视皮层, 能够通过前馈连接得到来自视网膜的图像特征并做出相应的处理, 且同样拥有例如方向选择性、神经元间突触的动态连接等类似的特性[30]. 更高级的脑区则能对例如形状、频率、曲率等更复杂的特征选择性地产生反应并进一步分析、整合. 此外, 随着对视觉组织内部机理的深入探索, 视网膜本身存在的更多丰富性质也被不断挖掘出来, 例如, 光感受器中细胞的感受野结构会导致其对光刺激的敏感性发生变化[31], ON-神经节细胞和OFF-神经节细胞对运动方向的感知能力也会表现出不同的适应或敏感化的过程[32]等. 由于视觉系统本身的极度复杂性, 没有计算模型能对其进行完全的模拟, 但也得益于此才让人眼获得对图像信息近乎完美的处理能力. 在未来的工作中, 更为准确地模拟视觉组织特性和编码机制, 将是今后构建基于生物视觉的图像计算模型的关键.
5. 结论
本文针对边缘检测任务, 重点研究视网膜中各成分对视觉信息的处理能力, 模拟视网膜中存在的多种动态特性和编码方式构建边缘检测模型. 首先构建具有自适应阈值的Izhikevich神经元模型, 并综合考虑光感受器中视杆细胞和视锥细胞的作用功能, 实现多水平亮度感知, 强化对检测目标和背景的区分能力. 然后结合固视微动机制得到各个神经元的最优运动方向, 根据方向选择性神经节细胞对运动方向敏感的特性, 使检测目标沿着给光−撤光双通路传递, 分别提取目标的边缘. 再者引入神经元延时抑制特性, 使神经节细胞整合对比度和方向的多种特征计算各神经元的延时抑制量, 抑制感知纹理噪声的神经元的发放. 最后将双通路边缘检测结果融合, 得到最终边缘检测结果. 使用150张形态特征多样化的菌落图像作为检测目标验证本文方法的有效性, 对检测结果计算重建相似度MSSIM、边缘置信度BIdx、边缘连续性CIdx和综合指标EIdx, 并与其他5种方法对比进行定性、定量分析, 可知本文方法对于保留菌落边缘特征具有更大的优势, 尤其对于弱边缘, 检出的边缘显著性更高、连续性和完整性更好, 对冗余细节的抑制能力也更强, 对于不同亮度水平、形态特性、清晰度和边缘层次的菌落图像有着良好的适应性, 优于其他对比的方法, 也为未来能够取得更好的检测效果提供了新的模型框架和思路.
-
图 2 改进前后的Izhikevich模型对图像进行脉冲发放的结果对比图
Fig. 2 Comparison of the image processing results of the Izhikevich model before and after improvement
图 3 不同方式对存在弱边缘的菌落图像的处理结果
Fig. 3 Different ways to process the image of colonies with weak edges
图 5 Colony1 ~ Colony5的边缘检测结果(第1行为原图; 第2行为Canny检测的结果; 第3行为SPM检测的结果; 第4行为ISM检测的结果; 第5行为OSM检测的结果; 第6行为NLC检测的结果; 第7行为本文方法检测的结果)
Fig. 5 Edge detection results of Colony1 to Colony5 (The first line is original images; The second line is the results of Canny; The third line is the results of SPM; The fourth line is the results of ISM; The fifth line is the results of OSM; The sixth line is the results of NLC; The seventh line is the results of the proposed method)
图 6 Colony1 ~ Colony5的重建结果 (第1行为原图; 第 2 行为 Canny 检测结果的重建; 第 3 行为 SPM 检测结果的重建; 第 4 行为 ISM 检测结果的重建; 第 5 行为 OSM 检测结果的重建; 第 6 行为 NLC 检测结果的重建; 第 7 行为本文方法检测结果的重建)
Fig. 6 Reconstruction results of Colony1 to Colony5 (The first line is original images; The second line is the results of Canny; The third line is the results of SPM; The fourth line is the results of ISM; The fifth line is the results of OSM; The sixth line is the results of NLC; The seventh line is the results of the proposed method)
表 1 不同检测方法下的重建相似度MSSIM
Table 1 MSSIM of different methods
Serial number MSSIM Canny SPM ISM OSM NLC 本文方法 Colony1 0.7452 0.7725 0.8357 0.9265 0.9175 0.9371 Colony2 0.7951 0.7971 0.8490 0.9528 0.9447 0.9725 Colony3 0.8576 0.8662 0.8314 0.9149 0.8337 0.9278 Colony4 0.9690 0.9827 0.9838 0.9887 0.9893 0.9972 Colony5 0.9634 0.9758 0.9780 0.9771 0.9883 0.9933 
下载: 导出CSV
表 5 不同检测方法下的各评价指标的均值和标准差
Table 5 Average and standard deviation of indexes of different methods
Canny SPM ISM OSM NLC 本文方法 MSSIM 0.8119±0.0649 0.8435±0.0863 0.8692±0.0778 0.9422±0.0291 0.9184±0.0609 0.9629±0.0335 BIdx 0.2091±0.1542 0.1724±0.2056 0.1702±0.1023 0.2763±0.1401 0.2940±0.2221 0.3111±0.1604 CIdx 0.7972±0.0279 0.8101±0.1125 0.8205±0.0561 0.8397±0.2050 0.9149±0.0857 0.9359±0.0306 EIdx 0.6568±0.0562 0.6697±0.0548 0.6801±0.0513 0.7341±0.0281 0.7211±0.0860 0.7870±0.0437
下载: 导出CSV
表 2 不同检测方法下的边缘置信度BIdx
Table 2 BIdx of different methods
Serial number BIdx Canny SPM ISM OSM NLC 本文方法 Colony1 0.4988 0.4618 0.4307 0.5801 0.5058 0.6026 Colony2 0.1821 0.1537 0.1553 0.3365 0.4615 0.4479 Colony3 0.1983 0.1510 0.1610 0.2634 0.1263 0.3257 Colony4 0.1631 0.1488 0.1906 0.1437 0.1521 0.2016 Colony5 0.1620 0.1896 0.1902 0.1882 0.1735 0.1654
下载: 导出CSV
表 3 不同检测方法下的边缘连续性CIdx
Table 3 CIdx of different methods
Serial number CIdx Canny SPM ISM OSM NLC 本文方法 Colony1 0.8377 0.8530 0.8601 0.8676 0.9749 0.9652 Colony2 0.8069 0.8655 0.8533 0.8293 0.9177 0.9518 Colony3 0.8064 0.7408 0.7293 0.8269 0.7764 0.9406 Colony4 0.8143 0.8611 0.9044 0.8430 0.9015 0.9776 Colony5 0.9047 0.8448 0.8632 0.8592 0.8709 0.9571
下载: 导出CSV
表 4 不同检测方法下的综合评价指标EIdx
Table 4 EIdx of different methods
Serial number EIdx Canny SPM ISM OSM NLC 本文方法 Colony1 0.7047 0.7122 0.7344 0.8173 0.8219 0.8473 Colony2 0.7191 0.6508 0.6722 0.7633 0.8244 0.8291 Colony3 0.6048 0.6543 0.6363 0.7258 0.6402 0.7784 Colony4 0.7287 0.7432 0.7649 0.7363 0.7454 0.7690 Colony5 0.7231 0.7454 0.7512 0.7443 0.7262 0.7737
下载: 导出CSV
-
[1] Gong X Y, Su H, Xu D, Zhang Z T, Shen F, Yang H B. An overview of contour detection approaches. International Journal of Automation and Computing, 2018, 15(6): 656-672 doi: 10.1007/s11633-018-1117-z [2] Yedjour H, Meftah B, Lézoray O, Benyettou A. Edge detection based on Hodgkin-Huxley neuron model simulation. Cognitive Processing, 2017, 18(3): 315-323 doi: 10.1007/s10339-017-0803-z [3] 罗佳骏, 武薇, 范影乐, 高云圆. 基于视觉感光层功能的菌落图像多强度边缘检测研究. 中国生物医学工程学报, 2014, 33(6): 677-686Luo Jia-Jun, Wu Wei, Fan Ying-Le, Gao Yun-Yuan. Multi-intensity edge detection for colony images based on the function of photoreceptor in visual system. Chinese Journal of Biomedical Engineering, 2014, 33(6): 677-686 [4] 方芳, 范影乐, 廖进文, 张梦楠. 基于神经元突触可塑性机制图像边缘检测方法. 华中科技大学学报(自然科学版), 2015, (S1): 200−202, 206Fang Fang, Fan Ying-Le, Liao Jin-Wen, Zhang Meng-Nan. Image edge detection method based on synaptic plasticity mechanism. Journal of Huazhong University of Science and Technology (Natural Science Edition), 2015, (S1): 200−202, 206 [5] Fang T, Yuan J T, Yin R, Wu C L. A novel image edge detection method based on the asymmetric STDP mechanism of the visual path. Wireless Communications and Mobile Computing, 2022 [6] Wang B, Chen L L, Zhang Z Y. A novel method on the edge detection of infrared image. Optik, 2019, 180: 610-614 doi: 10.1016/j.ijleo.2018.11.113 [7] Chaoui C N, Ghomari A, Meftah B. Edge and anomaly detection of brain magnetic resonance images in a distributed environment. International Journal of Imaging Systems and Technology, 2022, 32(2): 642-657 doi: 10.1002/ima.22647 [8] Ocko S A, Lindsey J, Ganguli S, Deny S. The emergence of multiple retinal cell types through efficient coding of natural movies. In: Proceedings of the 32nd International Conference on Neural Information Processing Systems. Montreal, Canada: Curran Associates Inc., 2018. 9411−9422 [9] Maheswaranathan N, McIntosh L T, Tanaka H, Grant S, Kastner D B, Melander J B, et al. The dynamic neural code of the retina for natural scenes [Online], available: https://www.biorxiv.org/content/10.1101/340943v5, January 31, 2023 [10] Izhikevich E M. Simple model of spiking neurons. IEEE Transactions on Neural Networks, 2003, 14(6): 1569-1572 doi: 10.1109/TNN.2003.820440 [11] Ruda K, Rudzite A M, Field G D. The functional organization of retinal ganglion cell receptive fields across light levels [Online], available: https://www.biorxiv.org/content/10.1101/2022.09.15.508164v1, January 31, 2023 [12] Ding W, Xiao L, Jing W, Zhang P M, Liang P J. Population activity changes during a trial-to-trial adaptation of bullfrog retinal ganglion cells. Neuroreport, 2014, 25(10): 801-805 doi: 10.1097/WNR.0000000000000191 [13] Hübner C, Schütz A C. Rapid visual adaptation persists across saccades. iScience, 2021, 24(9): Article No. 102986 [14] Li Y C, Cohen E D, Qian H H. Rod and cone coupling modulates photopic ERG responses in the mouse retina. Frontiers in Cellular Neuroscience, 2020, 14: Article No. 566712 [15] Szatko K P, Korympidou M M, Ran Y L, Berens P, Dalkara D, Schubert T, et al. Neural circuits in the mouse retina support color vision in the upper visual field. Nature Communications, 2020, 11: Article No. 3481 [16] Grimes W N, Songco-Aguas A, Rieke F. Parallel processing of rod and cone signals: Retinal function and human perception. Annual Review of Vision Science, 2018, 4: 123-141 doi: 10.1146/annurev-vision-091517-034055 [17] Rucci M, Ahissar E, Burr D. Temporal coding of visual space. Trends in Cognitive Sciences, 2018, 22(10): 883-895 doi: 10.1016/j.tics.2018.07.009 [18] Huang X L, Rangel M, Briggman K L, Wei W. Neural mechanisms of contextual modulation in the retinal direction selective circuit. Nature Communications, 2019, 10: Article No. 2431 [19] Solomon S G. Retinal ganglion cells and the magnocellular, parvocellular, and koniocellular subcortical visual pathways from the eye to the brain. Elsevier, 2021, 178: 31-50 [20] Sugita Y, Miura K, Furukawa T. Retinal ON and OFF pathways contribute to initial optokinetic responses with different temporal characteristics. European Journal of Neuroscience, 2020, 52(4): 3160-3165 doi: 10.1111/ejn.14697 [21] Kerschensteiner D. Feature detection by retinal ganglion cells. Annual Review of Vision Science, 2022, 8: 135-169 doi: 10.1146/annurev-vision-100419-112009 [22] Jacoby J, Schwartz G W. Typology and circuitry of suppressed-by-contrast retinal ganglion cells. Frontiers in Cellular Neuroscience, 2018, 12: Article No. 00269 [23] Iacaruso M F, Gasler I T, Hofer S B. Synaptic organization of visual space in primary visual cortex. Nature, 2017, 547(7664): 449-452 doi: 10.1038/nature23019 [24] 廖进文, 范影乐, 武薇, 高云圆, 李轶. 基于抑制性突触多层神经元群放电编码的图像边缘检测. 中国生物医学工程学报, 2014, 33(5): 513-524 doi: 10.3969/j.issn.0258-8021.2014.05.01Liao Jin-Wen, Fan Ying-Le, Wu Wei, Gao Yun-yuan, Li Yi. Image edge detection based on spike coding of multilayer neuronal population with inhibitory synapse. Chinese Journal of Biomedical Engineering, 2014, 33(5): 513-524 doi: 10.3969/j.issn.0258-8021.2014.05.01 [25] 王典, 范影乐, 张梦楠, 武薇. 基于突触连接视通路方向敏感的图像分级边缘检测方法. 中国生物医学工程学报, 2015, 34(5): 522-532Wang Dian, Fan Ying-Le, Zhang Meng-Nan, Wu Wei. A hierarchical image edge detection method based on orientation sensitivity of visual pathway with synaptic connections. Chinese Journal of Biomedical Engineering, 2015, 34(5): 522-532 [26] Majchrowska S, Pawlowski J, Gula G, Bonus T, Hanas A, Loch A, et al. AGAR a microbial colony dataset for deep learning detection. arXiv preprint arXiv: 2108.01234, 2021. [27] Govindarajan B, Panetta K A, Agaian S. Image reconstruction for quality assessment of edge detectors. In: Proceedings of the IEEE International Conference on Systems, Man and Cybernetics. Singapore: IEEE, 2008. 691−696 [28] Meer P, Georgescu B. Edge detection with embedded confidence. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(12): 1351-1365 doi: 10.1109/34.977560 [29] 磨少清. 边缘检测及其评价方法的研究 [博士学位论文], 天津大学, 中国, 2011Mo Shao-Qing. Research on Edge Detection and Its Evaluation [Ph.D. dissertation], Tianjin University, China, 2011 [30] Niell C M, Scanziani M. How cortical circuits implement cortical computations: Mouse visual cortex as a model. Annual Review of Neuroscience, 2021, 44: 517-546 doi: 10.1146/annurev-neuro-102320-085825 [31] Huang X L, Kim A J, Ledesma H A, Ding J, Smith R G, Wei W. Visual stimulation induces distinct forms of sensitization of On-Off direction-selective ganglion cell responses in the dorsal and ventral retina. Journal of Neuroscience, 2022, 42(22): 4449-4469 doi: 10.1523/JNEUROSCI.1391-21.2022 [32] Kupers E R, Benson N C, Carrasco M, Winawer J. Asymmetries around the visual field: From retina to cortex to behavior. PLoS Computational Biology, 2022, 18(1): Article No. e1009771 -
下载:
计量
- 文章访问数: 603
- HTML全文浏览量: 268
- PDF下载量: 190
- 被引次数: 0
