贾志鑫，傅玲琳，杨信廷，史 策，王海燕，周瑾茹，王彦波,*

（1.浙江工商大学食品与生物工程学院，浙江食品质量安全工程研究院，浙江 杭州 310018 ；2.北京农业信息技术研究中心，北京 100097 ）

水产食品的感官品质可以从色泽、形状等方面体现，这些质量属性直接影响产品被消费者接受的程度，从而直接或间接影响大多数消费者的购买意愿。因此如何通过新的技术快速检测水产食品感官品质对于提高其经济价值具有重要的现实意义。机器视觉技术能够较好地满足这类需求，该技术旨在综合多项感官品质指标（如色泽、形状、尺寸等）对水产食品进行综合感官评定，相比于传统的通过专业人员视觉质量检测，具有成本低、耗时短和易于量化等优点[1]，得到了广泛的应用并取得了显着成果。鉴于此，本文综合分析机器视觉技术在鱼类、虾类、牡蛎和扇贝等水产食品感官检测方面的研究现状，探讨目前存在的问题并探究未来的研究方向，旨在实现水产食品感官品质的快速评价，保障消费者的食用安全和健康。

1 机器视觉技术系统

机器视觉技术是计算机学科的一个重要分支，自起步发展至今已经有50多年的历史，其功能以及应用范围随着工业自动化的发展逐渐完善和推广；20世纪50年代二维（two dimensional，2D）图像的统计模式识别已被开始研究；60年代研究人员开始进行三维（three dimensional，3D）机器视觉的研究；70年代中期，麻省理工学院人工智能实验室正式开设“机器视觉”的课程；80年代初，开始了全球性的研究热潮，机器视觉获得了快速发展，新概念、新理论不断涌现，时至今日，机器视觉技术始终保持着蓬勃发展的活跃状态。

图1 机器视觉系统Fig. 1 Machine vision system

机器视觉是一种用于识别物体，从数字图像中提取和分析量化信息的技术。典型的机器视觉系统通常由图像采集、图像处理和计算机统计分析程序3 个部分组成（图1），其中图像采集系统的基本元素包括：摄像机、照明设备、图像采集卡和计算机[2]。系统在对图像进行分析和特征提取时，为了达到不同的要求和结果，需使用各种方法进行统计分析，最后通过控制模块处理对象输出结果[3]。因此，机器视觉是一项综合技术，需要机械、控制、计算机和图像处理等多项技术的协调应用。

机器视觉系统的照明区域至关重要。光源必须具有稳定的能量分布，其强度必须均匀且可控。视觉系统受光照水平和光照质量的影响，通过适当地调整光照，可以从根本上改变物体在视觉上呈现的外观，使目标特征转变清晰或模糊[4]。光照会影响图像质量和系统的整体效率和准确性，Gunasekaran[5]、Andreadis[6]等指出，精密的光照仪器可以通过增强图像对比度来帮助系统进行图像分析。良好的光照可以减少反射、阴影和一些噪声，从而缩短处理时间。在设计用于食品工业的照明系统时，需要考虑照明的各个方面，包括位置、灯的类型和颜色质量。特别是对于一般的湿材料，如水生食物，可以使用偏振光将反射引起的问题最小化[7]。使用红外、近红外、紫外光和X射线源使仅靠可见光无法实现的质量检测成为可能[8]。使用特定波长或波长范围也已成功地应用于许多食物[9]。随着数码相机的发展，相机和图像采集系统通常合并到一个设备。相机结合图像采集系统设备通过电缆或无线方式与计算机连接。相机中可以有3 个光检测传感器，分别用于处理红、绿、蓝这3 种原色，或者一个传感器可以选择性地用于处理这3 种原色。图像采集系统可以控制相机的设置、图像采集的定时、光源，并可以对图像进行分析，对提取所需的特征进行决策，这些可能包括非接触式传感[4]、测量对象形状和尺寸、检测产品缺陷[10]、提供过程控制反馈以提醒生产线操作员过程中的系统故障[11]以及提供产品质量统计[12]。

机器视觉技术旨在通过电子感知和评估图像来模拟人类视觉的功能。这些系统通过捕获物体图像、处理图像以测量所需参数，将这些参数与预定义的检测标准进行比较，然后帮助对物体或制造过程做出决策或采取某种类型的纠正措施。研究表明，机器视觉技术的优势之一为该过程是非破坏性的。图像处理和图像分析是机器视觉的核心，需要可用于分类和测量的算法和方法[13]。机器视觉处理样品后可生成客观且精确的描述性数据，且操作快速，减少了大量劳动人员的密集型工作，使整个过程自动化，同时结果一致性高、效率高、成本低。研究发现，机器视觉技术具有非破坏性、最少侵损性以及永久记录特征值的简便性[14]。对于水产食品来说，机器视觉技术同样是一种很好的感官检测替代方案，可以大大提高生产效率和自动化程度。

2 机器视觉技术的应用

2.1 鱼类

从商业要求出发，鱼类的分选、分级、分类和品质评估是鱼类养殖、加工及其制品销售过程中重要过程[15]。一些研究人员也研究了不同鱼类长度和质量的关系[16]，其中对鱼类比较明确的检测要求包括精确的质量级别分类和对鱼类及其制品最少程度的损耗[17]。机器视觉技术可以在最小程度损耗的前提下实现鱼类样品的分类、分级和品质评估。

表1 机器视觉技术在鱼类品质检测中的应用Table 1 Application of machine vision technique in fi sh quality detection

水产食品在腐败期间随着肌红蛋白和一些其他物质含量的变化，其不同部位也会发生不同程度的颜色变化；而颜色是水产品重要的视觉质量标准，它包含了与人类视觉相对应的基本信息[23]，与消费者感知密切相关。消费者通常倾向于将颜色与新鲜、高品质和更好的味道联系起来。颜色可以通过人本体主观观察到，然而，这很难转化为可复制的数值[24]。颜色也可以通过仪器来确定，例如色度计和机器视觉系统。如表1所示，水产品方面，机器视觉主要用于鱼虾的颜色分析，以及被特殊处理鱼的颜色变化。基于这种原理加上机器视觉技术无损快速检测的优点，Shi Ce等[19]开发了一种机器视觉系统，用于罗非鱼4 ℃贮存期间基于瞳孔和鳃颜色变化对挥发性盐基氮（total volatile basic nitrogen，TVB-N）含量、TBA值和菌落总数（total viable count，TVC）进行建模和预测。该研究通过对瞳孔和鳃颜色的图像进行预处理，之后通过图像分析算法自动执行颜色参数转换，将获取图像的RGB值采用León[25]、Rotaru[26]等的方法分别转换成L*、a*、b*值和HIS值，并进一步计算出色差值∆E，将TBA值等腐败指标分别与3 套色泽指标建立多元回归数学模型，多元回归模型均显示出优异的预测结果，同时TVB-N含量、TVC和TBA值的预测值与实验值决定系数R2介于0.989～0.999之间，相关性好。所以，基于瞳孔颜色参数的机器视觉系统可以作为一种精确、实时、在线的方法，用于间接预测冷藏期间鱼的新鲜度。此外，Costa等[27]还开发了一种先进的鱼类新鲜度颜色评定方法，通过采用形态叠加法进行图像分析，获得了最重要的新鲜度判别区域，结果还量化了鲜鱼和非鲜鱼的显着比色差异。Dowlati等[22]利用机器视觉研究了养殖和野生金边鲷鱼在冰藏过程中眼睛和鳃的颜色变化，采用一种数字彩色成像系统，可以精确测量眼睛和鳃的L*、a*、b*值并记录其视觉成像特征，并采用简单回归法和人工神经网络（artificial neural networkgenetic algorithm system，ANNAS）法对眼部和腮颜色参数进行关联，发现利用鳃颜色的变化评价鱼的新鲜度比利用眼睛颜色变化评价鱼的新鲜度精确；然而为了拍照，鳃盖必须被移除，这具有破坏性和耗时性，因此又提出了一种绿色、低成本、简便快捷的鱼眼颜色参数在线检测方法。2D成像在一定程度上可以获取检测所需要的信息，但也存在片面、整体联系不强等局限性；3D成像技术可更好地弥补2D成像技术的不足，并可以获得全方位的鱼体图像，进而对其进行整体分析。Sture等[18]开发了一套完整机器视觉系统，将获取的图像信息建立并整合成3D成像，与单侧3D和2D方法相比，这种方法具有多种优异的特性，主要是能够整合3D图像各部位颜色信息以及进行准确可靠的3D几何描述；对不同质量等级的大西洋鲑鱼进行测试，然后将获得的数据应用到机器视觉和分类设备中，可根据外观捕获足够的信息准确区分大西洋鲑鱼的品质等级。

除根据颜色变化测定鱼类品质外，研究人员还建立了鱼骨面积与鱼肉、鱼片质量的联系。Rerkratn等[21]提出一种使用紫外线灯的机器视觉系统来计算鱼骨的面积和鱼片、鱼肉质量，将鱼样本图像分割为鱼片、鱼肉和鱼骨3 个部分，随后用于计算鱼骨面积，最后通过鱼骨面积的百分比评估鱼片样本的质量，其中应用到K均值聚类和阈值算法评估鱼片质量；因此该方法通过紫外灯照射后获取图像即可快速无损测定样品质量，但该方法对测定较难获得图片信息的活体鱼类具有局限性。Zheng Hongyuan等[20]提出了一种新的方法来克服对于原位测量很难准确快速检测鱼体的问题，该方法基于2D Ostu、帧差异和背景减法，成功将图像中的像素分为前景、重影、前景光圈等几个部分；将该方法用于日本青鳉鱼的基于机器视觉的监测系统中，结果在实时鱼类监测视频中可以有效检测到整条鱼体图像。

2.2 虾类

虾类同样是消费者喜爱的水产食品，因营养成分含量高、较易腐烂，人工测量可能会导致细菌和化学污染等问题[28]。因此，虾的感官品质评估引起了广泛关注，结合机器视觉技术系统，完全可以实现自动快速检测。

捕捞过程会对虾造成一定程度的破损，而有些破损虾的成像面积参数或者轮廓参数达到了完整虾的标准，进而对虾的进一步分级、品质测定等造成一定的影响。因此，实现对虾的无损快速分级具有重要意义（表2）。Zhang Dong等[29]提出了一种基于进化构建（evolution constructed，ECO）特征的方法，该方法将灰度值直接输入到基于ECO的质量评分算法中，其中28 个图像变换应用Gabor、中值模糊、自适应阈值等作为ECO，可以自动将破损的虾从完整虾群体中分离出来，准确率为95.1%；因此这种方法能够实现对完整虾和破损虾快速、准确、无损的分离和鉴定。Osterloff等[30]采用计算机视觉技术对虾进行即时无损自动检测，该技术采用时序颜色特征对比方法对半透明虾进行检测，利用时间颜色对比功能，可以区分完整虾和破损虾，并引入伪色视觉化方法，即虾的实时丰度图，提出不同时间段的丰度图，以展示该方法的应用价值。除在虾的完整度方面进行区分外，相关研究人员还建立了虾骨架线预测实际长度模型、投影面积估值质量的模型。Luo Yan等[31]利用基于图像分析的设备提取虾的主骨架线用来直接表示虾的长度参数，该方法选取10 个不同品种共40 个虾样本的400 张图像，采用Ostu算法进行区分，基于经典的骨架细化方法，提出一种在不影响主干长度的前提下有效去除主干分支的算法；结果表明，骨骼长度与实际长度相当吻合，最大R2为0.946，最小R2为0.747。Poonnoy等[32]利用非线性回归模型研究了寿司虾在其投影区域的质量估计，该方法联合视觉仪器和人工智能软件对图像进行处理，并计算出代表投影区域的像素个数，然后采用4 种数学模型进行权值估计，t检验结果显示，其中3 个质量预测模型的相对误差均无显着差异，在150 个寿司虾中最低平均绝对误差为0.20 g，均方根误差为0.25%，平均相对误差0.73%；结果证明该机器视觉系统在寿司虾质量自动测定中的应用可行性，从而为工业上迅速区分虾的质量等级提供了可靠的技术支持。Hosseinpour等[33]研究了虾干燥过程中水分含量和虾颜色的变化，通过分数转换模型成功地提取不同含水率下虾的L*、a*、b*值参数，最后，采用二次回归模型建立对虾干燥过程中水分含量与颜色参数之间的关系。

表2 机器视觉技术在虾类中品质检测的应用Table 2 Application of machine vision technique in shrimp quality detection

2.3 其他

市场上牡蛎、扇贝一般批量销售，所以牡蛎、扇贝的准确分级对其定价有重要意义。由于牡蛎形状不规则，在加工销售过程中根据其直径和质量分为小、中、大3 个等级[34]。牡蛎的分级、分类和计数可以通过机器视觉来完成。对于扇贝来说，分级同样是一个必不可少的过程，常见的方法如筛选和机械分级，都有可能对扇贝造成损害。因此，机器视觉技术也适用于扇贝的无损操作。市场上牡蛎和扇贝的大小决定其经济价值，因此准确测定两者的体积、质量等信息对其准确分级具有重要意义（表3）。Lee等[35]提出了一种结合激光三角剖分的算法，该方法用2D成像测量面积，进而转用3D表面重建进行体积测量，与Mathiassen等[36]实验中使用的三角测量技术不同，Lee等利用安装在牡蛎肉上方的多线激光可呈现出不同颜色的原理来检测，当摄像机垂直向下时，与待测样品垂直，相机只需要检测激光的颜色，然后采用两参数线性模型，将测量面积与体积联系起来，建立体积计算方程；然后通过测量牡蛎肉沿平行线上点的高度，建立一个更准确的体积预估模型，将初始体积预估模型的相对误差降低了40%以上。Xiong Guangming等[37]提出一种提取牡蛎的外形轮廓新方法，用转角相互关联（turn angles cross-correlation，TAC）对牡蛎壳形状进行分类的算法对样品（规则、不规则、品质优良的牡蛎各73、107、119 个）进行分级，准确率分别达100%、94.3%、91.96%。随后，将优质的牡蛎进一步进行小、中、大的级别分类[38]，该方法实现了整个牡蛎分级分类过程的快速无损操作，具有较高的应用价值。

扇贝的识别、分级主要根据其轮廓大小和对耳蜗的准确定位进行操作（表3）。Lin Aiguang等[39]开发了一种新的对扇贝壳进行识别的方法，该方法通过改进的随机霍夫变换法实现扇贝的轮廓提取和边缘检测，并通过分析扇贝边缘和中心相对位置确定耳廓方位，研究表明，该方法能快速、准确地完成耳蜗定位工作。郭常有等[40]尝试通过测量扇贝的大小和位置来实现扇贝的自动分类，采用改进的OPTA算法和跟踪算法提取扇贝图像的边界，以扇贝图像边界的最大距离以及中心点得到位置坐标；由于相机的操作与扇贝之间无触碰，避免了扇贝在检测过程中的振动、碰撞和损坏。王帅[41]研究了基于模糊识别理论的扇贝识别和分级方法，该方法采取Mamdani模糊推理模型选取了目标扇贝图像中提取的平均半径、圆相似度、像素点数量3 个特征作为模糊变量，建立模糊分类器进行识别和分级；实验证明该算法不但可以有效区分扇贝与干扰物，并且能够有效地对扇贝进行分级。

表3 机器视觉技术在牡蛎和扇贝中品质检测的应用Table 3 Application of machine vision technique in quality detection of oyster and scallop

3 结 语

本文总结了机器视觉的发展及其相关技术在水产品视觉质量检测中的应用。经过多年的发展，随着相机、照明系统、灯箱设计以及图像分析方法的进步，机器视觉技术得到了不断的改进。用于尺寸测量的参数范围从单纯的长度发展到面积、周长、宽度和高度，目的是为了对不同物种分类和分级。在色彩测量方面，机器视觉系统从分类和分级到新鲜度评估、肌肉颜色分析、皮肤颜色评估和颜色变化测定都得到了广泛的应用；但还存在一些问题急需解决，例如，在机器视觉设备方面，现有的机器视觉设备存在难以自定义并保持一致的照明，以及校准要求难以达标等问题；在数字图形图像处理技术方面，如何在有重叠物体的复杂情况下将目标物体从背景中分离，如何在保证精度的前提下提高图像的处理速度等，是目前面临的科学难题[42]。

机器视觉技术发展至今，相关软件和硬件产品都已成为该系统的重要组成部分，这对系统的集成性提出了更高的要求。工业上要求能够将测试系统和控制系统一体化自动化达到协同工作的目的，而非独立的感官检测应用。机器视觉系统易于向多传感器信息融合技术拓展，解决单一视觉系统的局限性。多传感器信息融合是利用计算机技术将来自多传感器的信息和数据进行分析和综合的信息处理过程，实际上是对人脑处理复杂问题的一种功能模拟。在未来，机器视觉将有可能通过电子鼻、电子舌和人工智能神经网络系统的结合，在水产品加工生产线上通过测量尺寸、颜色、质地和气味来完成质量检测。食品工业是使用机器视觉技术的前十大行业之一[43]，在现代自动化生产过程中，可以将机器视觉系统广泛地用于食品品质检测及相关领域，因为该系统能做到比手动方式更快、更便宜和更一致的操作。在世界范围内已有大量食品工业中使用机器视觉的例子[44]。

随着研究的深入，更多新的算法被开发出来以满足机器视觉技术现实应用的需求。目前机器视觉技术系统在水产食品的质量评价中应用效果显着，随着更多研究的数据和方法的积累，预计该技术将会更广泛地被应用。结合深度学习，机器视觉未来将向智能化方向发展，在可变条件下提供强大的特征匹配和验证。因此，需要改进摄像机和照度设置，以提供更清晰的图像，例如，控制光照条件以达到预期效果。为了提供更快的图像处理和更真实的图像分析，还需要简单高效的算法，可以测量多个参数，形成更全面的分析，模拟人眼的功能，从这个角度看，使机器视觉系统更像人类视觉系统是该技术的未来发展方向。机器视觉技术可能将在水产养殖中得到开发和商业应用，渔业链溯源[45]将在机器视觉的帮助下得以实现。当机器视觉技术发展到一定程度时，可以开发出具有视觉质量检测功能等具有实际应用意义的手机软件，运用智能手机的相机即可达到机器视觉系统从图像采集到数据处理的所有功能。一般消费者通过手机拍照可以看到目标产品的详细和最新信息，包括品种、大小、质量、颜色和新鲜度，从而为消费者在市场上做出更科学的水产品选择提供了一种快捷方便的方式，这也将推动控制设计和工业物联网的进一步发展，旨在切实保障水产食品的品质，提高其经济价值，最终使消费者受益。