单目视觉图像深度测量方法研究
相机与其它传感器相比,具有能够直观反映客观世界、数据量大、信息丰富等特点,而且通常价格较低、配置方便,是自动化装置和机器人感知环境传感器中的优先选择之一。但由于普通相机在拍摄时获得的是被拍摄场景投影到成像平面上的二维图像,丢失了场景的深度信息,这使得机器无法通过图像直接得到场景中物体的远近、大小和运动速度等信息,因此需要从二维图像中恢复深度信息,即深度测量。深度测量在工业自动化、智能机器人、目标检测和跟踪、智能交通、三维建模和3D视频制作等领域都有广泛的应用。深度测量方法有很多种,其中基于单目视觉的图像深度测量方法具有设备简单、成本低廉、操作方便等特点而成为研究热点,并且单目相机体积小,重量轻,在一些有空间大小或载荷限制的特定场合以及手眼系统等应用中,需要或只能使用基于单目视觉的图像深度测量方法,而目前该测量方法还很不成熟,有必要对其计算原理、技术方法等方面进行研究。
因此本文对基于单目视觉的图像深度测量方法开展研究,主要工作和创新点如下:(1)提出一种基于熵和加权Hu氏不变矩的目标物体绝对深度的测量方法。该方法用普通单目相机拍摄同一场景的两幅图像,拍摄时保持相机的参数不变,将相机沿光轴方向移动,分别在物距间隔为d的前后两处各拍摄一幅图像,然后采用LBF模型的方法分割出图像中的物体,并求出各个目标物体像的面积,再将物体像的熵的相对变化率和加权Hu氏不变矩结合起来实现图像内物体的自动匹配,最后运用本文推导的公式计算出各个目标物体的绝对深度。文中采用真实场景图像对该方法进行了实验验证并与其他方法进行了对比,结果表明了该方法的有效性。(2)提出一种基于SIFT特征的目标物体绝对深度的测量方法,该方法同样需要按照上面的方法获取同一场景的两幅图像,然后分别对这两幅图像进行图像分割和SIFT特征点提取,并进行图像中的目标物体匹配,接着用凸包和几何形状约束从匹配物体中选出一对最佳直线段,最后根据光学成像原理利用直线段长度计算出场景中静态目标物体的绝对深度信息。
由于是通过被测量物体上的两个SIFT特征点所成的直线段长度来计算出物体的绝对深度信息的,所以该方法鲁棒性较好,不受场景中被测量目标物体部分遮挡或缺失的限制,对比实验表明该方法测量精度高于现有其他方法。(3)提出一种基于梯度信息和小波分析的单幅图像相对深度测量方法。该方法首先利用图像
的梯度信息度量图像中物体边缘点处的散焦程度,即散焦半径。由于图像中常会出现两种情况:多条边缘非常靠近或交叉、物体和背景颜色差异较小即弱边缘的情况,当出现上述两种情况之一时,直接用梯度信息度量的散焦半径将比其真实值小,需要对这类测量值很小的散焦半径进行修正,所以,本文提出利用原图像的小波变换系数得到的综合系数来判断上述测量的哪些边缘点处的散焦半径需要修正,并根据本文给出的散焦半径修正公式进行修正,从而得到一幅稀疏散焦深度图,然后利用联合双边滤波器对稀疏散焦深度图进行滤波,消除噪声等引起的误差,最后运用Matting Laplacian的方法将稀疏深度图扩展为稠密深度图,实验结果表明了该方法具有较高的测量精度。
上述所提出的三种方法均只需要一个普通相机,不需要进行相机标定和相机内外参数调整等工作,操作方便,前两种适用于可以安装移动相机的导轨或支架或机械臂的场合,以及用于比较精密控制的自动化装置或者手眼系统中。而第三种方法因为仅需一幅普通相机拍摄的图像就可计算该幅图像全场景的相对深度图像,所以,对场景中的静态物体和动态物体的深度信息均可以测量估计,并且操作更加简便。
测量气体体积的装置深度解析 个个击破2010-12-09 09:01:00 阅读294 评论0 字号：大中小订阅 1．（15分）不同浓度的硫酸与锌反应时，硫酸可以被还原为SO2，也可被还原为氢气。为了验证这一事实，某同学拟用下图装置进行实验（实验时压强为10lkPa，温度为0℃）。 （1）若在烧瓶中放入1.30g锌粒，与c mol／L H2SO4反应，为保证实验结论的可靠，量气管的适宜规格是_____________ 。 A．200 mL B．400 mL C．500mL （2）若1.30g锌粒完全溶解，氢氧化钠洗气瓶增重l.28g ，则圆底烧瓶中发生反应的化学方程式为：_______________________________________。 （3）若烧瓶中投入a g锌且完全反应，氢氧化钠洗气瓶增重b g．量气瓶中收集到VmＬ气体，则有：ag／65g·mol－1＝bg／64g·mol－1＋V mL / 22400 mL·mol－1，依据的原理是____________________________。 （4）若在烧瓶中投入d g锌，加入一定量的c mol／L 浓硫酸V L，充分反应后锌有剩余，测得氢氧化钠洗气瓶增重mg，则整个实验过程产生的气体中，n（H2）/n（SO2）＝_______________（用含字母的代数式表示）。若撤走盛有无水氯化钙的U型管，n（H2）/n（SO2）的数值将（填偏大、偏小或无影响） （5）反应结束后，为了准确地测量气体体积，量气管在读数时应注意： ①； ②； ③。 2．（16分）实验室有一瓶Na2SO3。固体，可能含有NaCl、Na2SO4、BaCl2、K2CO3、K2SO4中的一种或几种杂质，通过下列实验确定该样品的成分及Na2S03的质量分数。请回答下列问题： 已知： ①取少量样品于试管中，加水振荡，未见沉淀生成： ②通过元素分析仪器的检测，得知该样品中不含K元素； ③用下图所示仪器进行合理组装，测定产生气体的体积（SO2在硫酸中的溶解忽略不计） （1）按气流从左到右方向，正确的连接顺序为：A接____，接，接B。（2）利用所组装置，由分液漏斗向烧瓶中滴加l0mL水，理论上将排入量筒中mL液体。 （3）液体X是，其作用是
单双眼视深度知觉 2007年05月09日星期三 12:43 摘要本次实验使用深度知觉测量仪比较了两名女性被试单双眼在辨别远近中的差异，并学习了测量视觉深度知觉准确性的方法，探讨了单双眼对视觉深度知觉中的影响。全班被试实验结果表明，双眼和单眼辨别远近的能力有显著差异。关键词：单双眼视深度知觉辐合角差 1 前言 最早的深度知觉实验是H.von Helnholtz设计的三针实验。他将两根针垂直地固定在同一距离上，让被试移动处于它们之间但不在同一距离的另一根针，直到是他看起来刚刚和那两根针一样远为止。这跟针和那两根针的连线的垂直距离，就是深度知觉的误差。 1919年H.J.Howard设计了一个深度知觉测量仪，代替三针实验。这个测量仪上有一根固定的棒，在它的旁边还有一根可以前后移动的棒。被试在6m远处通过一个长方形窗口只能看到这两根半棒的中间部分，让他拉动一根绳子来调节可以移动的那根半的位置，直到他认为两根棒一样远为止。两根棒的距离之差，就是深度知觉的误差。Howard用恒定刺激法，取75%点作为阈限，测定了106个被试，结果发现，双眼的平均误差为14.4mm，其中误差仅5.5mm的有14人；误差有360mm的有24人。但单眼的平均误差则达到235mm，单眼和双眼平均误差值比为20：1。这足以表明双眼在深度知觉中的优势。 1934年，L.S.Woodburne用光的细缝代替棒，而光的细缝可随距离变化，使网膜像始终保持恒定。实验结果也证明深度知觉的阈限大约是2.12弧秒。 如用长度（mm）表示深度知觉的误差，就必须注明测定时的观察距离有多远。为了简便起见，深度知觉的误差常用辐合角的差来表示。辐合角是双眼视轴在注视点出现相交所形成的夹角。被判断为等远的两个物体所形成的辐合角之差，就可以作为深度知觉准确性的指标，辐合角差的计算如下： A和B是由被试判断为距离相等的两个点，它们和被试的距离分别为D和D+△D，LR为目间距，常用ɑ表示。在计算辐合角的差是要将弧度换算为角秒。辐合角差的计算公式为： 因各人的目间距不尽相同，在比较两人的辐合角差时，要用各自的目间距计算辐合角。有人用多数人目间距平均值（65mm）计算辐合角，只是为了方便罢了。杨博民用类似Howard设计的深度知觉测量仪对大学生测定的结果与Howard 的结果基本一致（见表20-1）。 本次实验探讨单双眼对视觉深度知觉中的影响，我们的实验假设是，全班被试双眼和单眼辨别远近的能力有显著差异。 2 方法 2.1 被试：两名女性大学生，身体健康，视力或者矫正视力正常。年龄均为22岁。 2.2 仪器和材料： Howard-Dolman深度知觉的测量器，遮眼勺。 2.3 实验设计： 本次实验的自变量是深度线索（单眼、双眼）；因变量是被试的深度视觉误差。 2.4 实验程序： 2.4.1让被试用双眼观察。将深度知觉器上固定的直棒作为标准刺激，可以移动的直棒作为变异刺激。让被试坐在离仪器窗口0.5m处，眼睛与窗口等高；
深度图像的平面分割算法 王恒1,赵亮 摘 要: 三维激光扫描系统使用深度图像来重建城市建筑模型，现有激光点云数据处理系统程序直接 进行海量点云数据建模较为困难。因为实际模型往往含有复杂表面几何特征,如果利用深度图像直接进 行拟合,则会造成建筑模型的数学表示和拟合算法处理的难度加大,甚至无法使用数学表达式描述三维 模型。 深度图像拟合或深度图像分割,是将具有相同几何特征的点云数据划分同一个区域并进行曲面拟合。深度图像分割主要有两种方法：一种是基于边缘分割的方法，另一种基于区域生长的方法。由于深度图像获取方式的特点，其点云数据往往不连续含有较多的噪声。使用基于边缘分割算法，仅当所处理点云数据具有连续性并且噪声点比较少的情况下，方能有效实现边界点分割。因此深度图像的分割方法也较多的集中在基于区域的分割方法。利用高斯曲率和平均曲率及方向将点附近的曲面类型分为8种,对数据点进行初步分类,从初步分类的点集中找一个合适的生长点,用二次多项式函数来进行区域生长,实现了深度图像数据的分块与曲面拟合。本文提出的算法利用了建筑物包含大量平面的特点，将分割问题具体到了平面分割，从而避免了低精度估计高斯曲率和复杂的二次曲面拟合，完成了一种高效简洁的算法用来识别深度图像的平面特征。该算法借鉴了数字图像处理方法首先平面拟合邻近n*n区域的点集，计算出邻域点集的协方差矩阵及其特征值和特征向量；如果绝对值最小特征值小于阈值，则可以认为该点的局部平面拟合成功；最小特征值对应的特征向量为局部法向量。接着从左到右沿扫描线遍历深度图像中的每个坐标点，按照聚类分析的原则对该点和其上方、右上方、右方的三个坐标点的法向量按照具有相同方向和同处一个平面的两个相似度准则进行比对，来获得两个局部平面是否同处一个平面。本文提出的算法将深度图像分割成为若干个集合，每个集合的任意点都同处一个平面。本文根据深度图像的数据特征给出了合理高效的数据结构和算法，并以图例说明深度图像平面分割算法的有效性。 关键词：点云数据；深度图像；平面分割
单目视觉图像深度测量方法研究 相机与其它传感器相比,具有能够直观反映客观世界、数据量大、信息丰富等特点,而且通常价格较低、配置方便,是自动化装置和机器人感知环境传感器中的优先选择之一。但由于普通相机在拍摄时获得的是被拍摄场景投影到成像平面上的二维图像,丢失了场景的深度信息,这使得机器无法通过图像直接得到场景中物体的远近、大小和运动速度等信息,因此需要从二维图像中恢复深度信息,即深度测量。深度测量在工业自动化、智能机器人、目标检测和跟踪、智能交通、三维建模和3D视频制作等领域都有广泛的应用。深度测量方法有很多种,其中基于单目视觉的图像深度测量方法具有设备简单、成本低廉、操作方便等特点而成为研究热点,并且单目相机体积小,重量轻,在一些有空间大小或载荷限制的特定场合以及手眼系统等应用中,需要或只能使用基于单目视觉的图像深度测量方法,而目前该测量方法还很不成熟,有必要对其计算原理、技术方法等方面进行研究。 因此本文对基于单目视觉的图像深度测量方法开展研究,主要工作和创新点如下:(1)提出一种基于熵和加权Hu氏不变矩的目标物体绝对深度的测量方法。该方法用普通单目相机拍摄同一场景的两幅图像,拍摄时保持相机的参数不变,将相机沿光轴方向移动,分别在物距间隔为d的前后两处各拍摄一幅图像,然后采用LBF模型的方法分割出图像中的物体,并求出各个目标物体像的面积,再将物体像的熵的相对变化率和加权Hu氏不变矩结合起来实现图像内物体的自动匹配,最后运用本文推导的公式计算出各个目标物体的绝对深度。文中采用真实场景图像对该方法进行了实验验证并与其他方法进行了对比,结果表明了该方法的有效性。(2)提出一种基于SIFT特征的目标物体绝对深度的测量方法,该方法同样需要按照上面的方法获取同一场景的两幅图像,然后分别对这两幅图像进行图像分割和SIFT特征点提取,并进行图像中的目标物体匹配,接着用凸包和几何形状约束从匹配物体中选出一对最佳直线段,最后根据光学成像原理利用直线段长度计算出场景中静态目标物体的绝对深度信息。 由于是通过被测量物体上的两个SIFT特征点所成的直线段长度来计算出物体的绝对深度信息的,所以该方法鲁棒性较好,不受场景中被测量目标物体部分遮挡或缺失的限制,对比实验表明该方法测量精度高于现有其他方法。(3)提出一种基于梯度信息和小波分析的单幅图像相对深度测量方法。该方法首先利用图像
3.2 深度图像二值化 图像二值化是图像处理中的一项基本技术，也是很多图像处理技术的预处理过程。在颗粒分析、模式识别技术、光学字符识别(OCR)、医学数据可视化中的切片配准等应用中，图像二值化是它们进行数据预处理的重要技术。由于图像二值化过程将会损失原图像的许多有用信息，因此在进行二值化预处理过程中，能否保留原图的主要特征非常关键。在不同的应用中，图像二值化时阈值的选择是不同的。因此，自适应图像阈值的选取方法非常值得研究。研究者对图像二值化方法进行了讨论，在此基础上提出了一个新的图像二值化算法。该算法基于数学形态学理论，较好地保留了图像二值化时原图的边缘特征。本文主要研究二值化及灰度图像二值化方法。 3.2.1.灰度图像与二值图像 数字图像是将连续的模拟图像经过离散化处理后得到的计算机能够辨识的点阵 图像。在严格意义上讲，数字图像是经过等距离矩形网格采样，对幅度进行等间隔量化的二维函数。因此，数字图像实际上就是被量化的二维采样数组。一幅数字图像都是由若干个数据点组成的，每个数据点称为像素(pixel)。比如一幅 256×400，就是指该图像是由水平方向上256列像素和垂直方向上400行像素组成的矩形图。每一个像素具有自己的属性，如颜色(color)、灰度(grayscale)等，颜 色和灰度是决定一幅图像表现里的关键因素。数字图像又可分为彩色图像、灰度图像、二值图像。 3.2.1.1彩色图像 彩色图像是多光谱图像的一种特殊情况，对应于人类视觉的三基色即红（R）、绿（G）、蓝（B）三个波段，是对人眼的光谱量化性质的近似。彩色图像中的 每个像素的颜色有R、G、B三个分量决定，而每个分量有255种值可取，这样一个像素点可以有1600多万的颜色的变化范围。而灰度图像是R、G、B三个分量相同的一种特殊的彩色图像，一个像素点的变化范围为255种。图1-1为彩色图像。
2019年4月图 学 学 报 April2019第40卷第2期JOURNAL OF GRAPHICS V ol.40No.2 基于CNN特征提取和加权深度迁移的 单目图像深度估计 温静，安国艳，梁宇栋 (山西大学计算机与信息技术学院，山西太原 030006) 摘要：单目图像的深度估计可以从相似图像及其对应的深度信息中获得。然而，图像匹配歧义和估计深度的不均匀性问题制约了这类算法的性能。为此，提出了一种基于卷积神经网络(CNN)特征提取和加权深度迁移的单目图像深度估计算法。首先提取CNN特征计算输入图像在数据集中的近邻图像；然后获得各候选近邻图像和输入图像间的像素级稠密空间形变函数； 再将形变函数迁移至候选深度图像集，同时引入基于SIFT的迁移权重SSW，并通过对加权迁移后的候选深度图进行优化获得最终的深度信息。实验结果表明，该方法显著降低了估计深度图的平均误差，改善了深度估计的质量。 关键词：单目深度估计；卷积神经网络特征；加权深度迁移；深度优化 中图分类号：TP 391 DOI：10.11996/JG.j.2095-302X.2019020248 文献标识码：A 文章编号：2095-302X(2019)02-0248-08 Monocular Image Depth Estimation Based on CNN Features Extraction and Weighted Transfer Learning WEN Jing, AN Guo-yan, LIANG Yu-dong (School of Computer and Information Technology, Shanxi University, Taiyuan Shanxi 030006, China) Abstract: The depth estimation of monocular image can be obtained from the similar image and its depth information. However, the performance of such an algorithm is limited by image matching ambiguity and uneven depth mapping. This paper proposes a monocular depth estimation algorithm based on convolution neural network (CNN) features extraction and weighted transfer learning. Firstly, CNN features are extracted to collect the neighboring image gallery of the input image. Secondly, pixel-wise dense spatial wrapping functions calculated between the input image and all candidate images are transferred to the candidate depth maps. In addition, the authors have introduced the transferred weight SSW based on SIFT. The final depth image could be obtained by optimizing the integrated weighted transferred candidate depth maps. The experimental results demonstrate that the proposed method can significantly reduce the average error and improve the quality of the depth estimation. Keywords: monocular depth estimation;convolution neural network features; weighted depth transfer; depth optimization 收稿日期：2018-09-07；定稿日期：2018-09-12 基金项目：国家自然科学基金项目(61703252)；山西省高等学校科技创新项目(2015108) 第一作者：温静(1982 )，女，山西晋中人，副教授，博士，硕士生导师。主要研究方向为图像处理、计算机视觉等。E-mail：wjing@https://www.doczj.com/doc/c79950598.html,
左右（视差）一致的非监督式单目深度估计 摘要 以学习为基础的方法已经在对单张图片的深度估计上取得了可观的结果。大多数现有的方法是将深度预测作为监督式的回归问题来处理，然而这种方式需要大量相应的真实深度数据用于训练。然而，单单从复杂环境中获取高质量的深度数据就已经很有难度了。我们将在本文中对已有方式进行创新，不再对深度数据进行训练，而是训练更容易获得的双目立体连续镜头。 我们提出了一种新颖的训练目标，即使在缺少真实深度数据的情况下，仍然能够使用卷积神经网络来完成单张图片的深度估计。利用极线几何限制，我们通过训练有图像重构损失函数的网络生成了视差图像。我们曾发现单独进行图像重构会导致深度图像质量很差。为了解决这个问题，我们提出了一个新颖的训练损失函数，可以使左右图像产生的视差趋于一致，以此来提高当前方式的表现和健壮度。我们的方法在KITTI 驾驶数据集上展示出艺术般的单目深度估计效果，甚至优于基于真实深度数据的监督式学习的效果。 1.简介 在计算机视觉领域，对图片进行深度估计已经有了很久的历史。目前的成熟方式依赖于连续动作、X 射线下的形状、双目和多视角立体模型。然而，多数的上述技术是基于可获取相关场景的观测数据的假设。其中，数据可能是多角度的，或者观测是在不同的光线环境下进行的。为了突破这个限制，近期涌现出大量在监督式学习下对单目深度识别的讨论。这些方法试图直接在线下通过大量真实深度数据训练的模型来对图像中的每一个像素进行深度估计。这些方法虽然已经取得巨大的成功，但是是建立在可获取大量图像数据集和相应的像素深度的情况下的。 在单张图像里获取不受外表干扰的场景形状是机器感知的基础问题。很多此类的应用，比如在计算机图形学中合成对象的插入、在计算机摄影学中对深度的合成、机器人抓握，会使用深度为线索进行人体姿
图像深度与颜色类型 2011-09-07 17:06:44| 分类：图像处理| 标签：|举报|字号大中小订阅四．图像深度与颜色类型< XMLNAMESPACE PREFIX ="O" /> 图像深度是指位图中记录每个像素点所占的位数，它决定了彩色图像中可出现的最多颜色数，或者灰度图像中的最大灰度等级数。图像的颜色需用三维空间来表示，如RGB颜色空间，而颜色的空间表示法又不是惟一的，所以每个像素点的图像深度的分配还与图像所用的颜色空间有关。以最常用的RGB颜色空间为例，图像深度与颜色的映射关系主要有真彩色、伪彩色和直接色。 （一）真彩色（true-color）：真彩色是指图像中的每个像素值都分成R、G、B三个基色分量，每个基色分量直接决定其基色的强度，这样产生的颜色称为真彩色。例如图像深度为24，用R：G：B＝8：8：8来表示颜色，则R、G、B各用8位来表示各自基色分量的强度，每个基色分量的强度等级为28＝256种。图像可容纳224＝16M 种颜色。这样得到的颜色可以反映原图的真实颜色，故称真彩色。 （二）伪彩色（pseudo-color）：伪彩色图像的每个像素值实际上是一个索引值或代码，该代码值作为颜色查找表（CLUT，Color Look-Up Table）中某一项的入口地址，根据该地址可查找出包含实际R、G、B的强度值。这种用查找映射的方法产生的颜色称为伪彩色。用这种方式产生的颜色本身是真的，不过它不一定反映原图的颜色。在VGA显示系统中，调色板就相当于颜色查找表。从16色标准VGA调色板的定义可以看出这种伪彩色的工作方式（表06-03-2）。调色板的代码对应RGB颜色的入口地址，颜色即调色板中RGB混合后对应的颜色。 表06-03-216色标准VGA调色板
基于深度学习的图像深度估计及其应用研究场景深度估计是计算机视觉领域的一项重要课题。利用图像的深度信息,可以重构场景的三维结构信息,对机器人自主导航、物体识别与抓取等任务具有重要意义。 传统的视觉深度估计方法多利用场景的多视信息,通过三角几何对应关系从二维图像中恢复场景深度,计算量大且复杂。近年,随着深度学习的发展,利用卷积神经网络重构场景深度成为研究者关注的热点方向。 卷积神经网络可以利用图像数据及其配套的基准深度数据预先训练学习,在测试阶段可以实现端到端的全分辨率图像深度估计。该方法不仅速度快,实现简单,而且可实现场景的尺度恢复,有益于机器人的空间任务执行。 在此背景下,本文在深入研究近年基于卷积神经网络的深度估计方法基础上,提出创新性的端到端深度学习网络,实验证明所提方法可进一步提升算法性能。本文首先提出了一种端到端的学习方案,用于从稀疏深度图和RGB图像中预测尺度化的稠密深度图。 该方案中,首先利用稀疏采样生成稀疏深度图,然后将彩色图像和稀疏深度图作为网络输入,输出全分辨率深度图像。在训练过程中,稀疏深度图作为深度估计网络的监督信号来恢复场景的真实尺度。 为了更精确的估计场景深度,本文引入“correlation”层,人工模拟标准匹配过程来融合稀疏深度信息和彩色图像信息,即使用颜色信息来帮助提高基于稀疏深度图的预测精度。最后,利用精细化模块以全分辨率输出场景深度图像。 在NYU-Depth-V2和KITTI数据集上的实验结果表明,与前沿算法相比,该模型能够以全分辨率恢复尺度化的场景深度,具有更优的性能。本文提出了并行构
建的深度估计网络和相机位姿估计网络。 相机位姿估计网络以单目视频序列为输入,输出六自由度的相机相对位姿。深度估计网络以单目目标视图为输入,生成稠密的场景深度。 最后基于相机模型,生成合成视图,并把它作为监督信号联合训练两个并行的估计网络。与此同时,稀疏采样生成的稀疏深度图作为深度估计网络的另一个监督信号,帮助恢复其全局尺度。 深度估计网络获得的尺度信息又通过合成视图与目标视图的光度误差耦合传递给位姿估计网络。在测试阶段,深度估计器和位姿估计器可以分别独立的使用。 在KITTI数据集上对本文算法进行了实验评估,所提算法在多个指标上优于前沿算法。
多目视觉测量技术开题报告 第一章绪论 1.1研究背景和意义 多目视觉测量技术是计算机视觉技术的一个较小的研究分支。随着计算机运算能力的提高和图像采集成本的下降，计算机视觉技术发展越来越成熟，应用日益广泛。多目视觉测量技术通俗来讲，就是通过处理从多个角度采集的图像，获得场景的深度信息，进而用于三维场景的重建，构建三维立体模型。其中，基于双目视觉的测量理论尤为成熟，理解了双目视觉，可推及多目视觉技术。本文也将重点放在双目视觉技术的研究上。 多目视觉测量技术相对于一般测量技术具有非接触，高进度，高效率，自动化程度高的特点，具有非常广阔的应用前景。随着机器人技术产业的爆发增长，机器人具有了非常灵活的运动控制系统，但机器人大多依赖于既有程序，对周围环境的感知能力几乎为零。机器人迫切需要像人类一样的双眼去感知外界环境，多目视觉技术正好填补了这项空缺。 首先，多目视觉测量技术在导航中应用广泛。如无人机，Google的无人驾驶汽车都是通过采集图像来获取大量的环境信息，进而用于机器的行为控制。这项技术已经很成熟了，如美国卡梅隆大学的Navlab智能车的RALPH视觉系统，德国联邦大学的VaMoRs的BVV视觉系统，百度的无人车研究团队的导航系统也是基于计算机视觉技术。 虚拟现实被认为是下一个朝阳产业，以3D眼睛为代表的一系列虚拟现实设备也融入了多目视觉技术，由此通过平面图像的处理，使人产生3D感觉。增强现实技术是虚拟现实技术的升级版，其中对于真实环境信息的获取，3D立体环境的重建都是多目视觉测量系统的具体应用。 当今很火的3D打印技术也不例外，只需用户提供从不同角度拍摄的照片，机器就能自动生成对应的三维模型并打印出来，当然，此项技术构建的三维模型不是很精确，对拍摄的照片有较高的质量要求。我们可以应用软件感受一下，比如Google的photoscan，smart3D，Autodesk 123D Catch等。 多目视觉技术的从原理上理解较为简单，可用三角测距的原理概况，难点在于每幅图像上有上亿的像素点，三维重建技术是基于若干幅图像上的像素基于匹配而得到相应的深度信息。所以图像匹配算法直接决定了三维重建能否成功，是多目视觉测量技术的关键一步。由此也发展出了很多匹配算法，如区域匹配（也叫稠密匹配），特征匹配（也加稀疏匹配），相位匹配，在后文我会做相应的介绍。 1.2双目立体视觉技术 立体视觉是计算机视觉中的一个重要分支，一直是计算机视觉研究的重点和热点之一，它直接模拟了人类视觉处理景物的方式，可以在多种条件下灵活地测量景物的立体信息，其作用是其他计算机视觉方法所不能取代，对它的研究，无论是从视觉机理角度还是在工程应用中都具有十分重要的意义。本文主要研究基于双目立体视觉的测量技术。 一个比较典型的双目立体视觉检测系统一般以计算机为中心，由光源系统，双目视觉传感器、高速图像采集系统以及图像处理系统、控制系统等组成。计算机
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910340694.6 (22)申请日 2019.04.25 (71)申请人 东北大学 地址 110169 辽宁省沈阳市浑南区创新路 195号 (72)发明人 张云洲 刘及惟 冯永晖 王帅 裴美淇 (74)专利代理机构 北京易捷胜知识产权代理事 务所(普通合伙) 11613 代理人 韩国胜 (51)Int.Cl. G06T 7/50(2017.01) (54)发明名称 一种单目深度估计方法 (57)摘要 本发明实施例涉及一种单目深度估计方法， 其包括：获取待处理图像，并对所述待处理图像 进行缩放处理，得到缩放图像；对所述缩放图像 基于多尺度全卷积密集神经网络进行训练，得到 深度图；对所述深度图进行放大处理，得到与所 述待处理图像的尺寸大小相同的深度图；其中对 所述缩放图像基于多尺度全卷积密集神经网络 进行训练包括：对所述缩放图像进行特征提取， 得到浅层特征；通过多尺度模块对所述浅层特征 进行特征连接，得到深层特征；将所述深层特征 与处理后的浅层特征进行特征连接，得到所述深 度图。本发明实施例提供的方法通过多尺度全卷 积密集神经网络对待处理图像进行训练，不仅可 以大幅提高单目深度估计的准确率，还能提高单 目深度估计的精度。权利要求书2页 说明书8页 附图6页CN 110060286 A 2019.07.26 C N 110060286 A
1.一种单目深度估计方法，其特征在于，其包括： 获取待处理图像，并对所述待处理图像进行缩放处理，得到缩放图像； 对所述缩放图像基于多尺度全卷积密集神经网络进行训练，得到深度图； 对所述深度图进行放大处理，得到与所述待处理图像的尺寸大小相同的深度图；其中对所述缩放图像基于多尺度全卷积密集神经网络进行训练包括： 对所述缩放图像进行特征提取，得到浅层特征； 通过多尺度模块对所述浅层特征进行特征连接，得到深层特征； 将所述深层特征与处理后的浅层特征进行特征连接，得到所述深度图。 2.如权利要求1所述的单目深度估计方法，其特征在于，所述对所述缩放图像进行特征提取，得到浅层特征包括： 对所述缩放图像进行卷积运算； 利用DenseNet模块密集连接机制对所述卷积运算的结果进行特征提取， 得到层网络的输出为x l ， 其中表示非线性激活，表示密集连接操作。 3.如权利要求1所述的单目深度估计方法，其特征在于，所述通过多尺度模块对所述浅层特征进行特征连接，得到深层特征包括： 利用至少三个不同尺寸的、并行的卷积核进行卷积运算，其中所述不同尺寸的卷积核包括1×1、3×3、5×5； 对所述卷积运算的结果进行池化运算； 对所述池化运算的结果利用DenseNet模块进行特征提取，分别得到至少三个不同的特征图； 采用特征连接对所述至少三个不同的特征图进行特征连接，得到所述深层特征。 4.如权利要求3所述的单目深度估计方法，其特征在于，所述处理后的浅层特征为对所述浅层特征按照空间维度进行特征压缩处理得到的权重与所述浅层特征进行计算得到。 5.如权利要求4所述的单目深度估计方法，其特征在于，所述按照空间维度进行特征压缩处理包括： 全局平均池化、卷积、非线性激活、卷积和归一化处理。 6.如权利要求5所述的单目深度估计方法，其特征在于，所述将所述深层特征与处理后的浅层特征进行特征连接包括： 基于注意力机制的跳跃连接将所述深层特征与所述处理后的浅层特征进行特征连接。 7.如权利要求1所述的单目深度估计方法，其特征在于，所述对所述深度图进行放大处理包括： 基于上采样密集模块采用至少三个3×3的卷积核进行卷积运算； 对所述卷积运算的结果进行特征连接。 8.如权利要求1所述的单目深度估计方法，其特征在于，所述对所述缩放图像基于多尺度全卷积密集神经网络进行训练时采用边缘感知loss进行训练，其中所述边缘感知loss由berhu loss、梯度loss和边缘loss组成。 权 利 要 求 书1/2页2CN 110060286 A
邮局订阅号：82-946120元/年技术创新 软件时空 《PLC 技术应用200例》 您的论文得到两院院士关注 戈曼:硕士 基金项目:基金颁发部门:国家自然科学基金委;项目名称:彩色夜视中景物深度及空间透视立体视觉感的研究;编号: (61072090);基金申请人:孙韶媛基于单目深度估计的红外图像彩色化方法 Infrared Image Colorization Based on Monocular Depth Estimation (东华大学) 戈曼孙韶媛席林谯帅 GE Man SUN Shao-yuan XI Lin QIAO Shuai 摘要:针对夜视红外图像深度信息估计问题,根据红外图像的特点,用地平线检测和最大类间方差法分割得到一幅具有深度信息的图像,然后运用透视学中饱和度、色调对比度与深度的关系,用色彩传递算法对红外图像做彩色化处理,得到一幅视觉上具有立体感的彩色红外图像。 关键词:深度估计;彩色夜视;立体感;色彩饱和度;深度图中图分类号:TP391文献标识码:A Abstract:For the problem of estimating the depth from the night vision infrared image,according to the characteristics of infrared images,we use maximum between-cluster variance and the horizon detection methods to get a depth map of an infrared image.Then according the relationship between saturation,hue,and the depth in perspective,we transfer colors to the infrared image and obtain a color infrared image with three-dimensional visual perception. Keywords:depth estimation;color night vision;three-dimensional;color saturation;depth map 文章编号:1008-0570(2012)10-0413-02 1引言 在彩色夜视技术中,只关注色调的自然正确性是不够的,如何使彩色化后的夜视图像能在视觉效果上体现景物的空间立体感也是重要的研究方向。空间感可以帮助我们辨别景物的前后关系,识别路径及目标位置。实现夜视图像彩色化技术中的视觉立体感需要有图像中景物的深度数据提供距离信息。 目前机器视觉领域获得图像深度信息的较成熟的方法主要是利用双目视差以及运动视差的原理,即根据对极几何原理,结合拍摄时相机运动产生的视差信息来估计深度。例如基于双目、三目、多目、环目的三维立体化方法。夜视红外图像从拍摄角度上来讲属于单目图像,不存在视差,无法应用基于视差的深度估计算法。因此,针对夜视图像的特点,需要研究基于单目图像的即从单幅的二维夜视图像中估计景物的深度信息。 针对以上问题,本文根据红外图像的特点,用地平线检测和最大类间方差法分割得到一幅具有深度信息的图像,然后利用透视学中色调对比和饱和度变化来区分表达景物的深度,从而使得最终获得的彩色夜视图像在视觉效果上具有空间立体感。 2深度图获取 针对车载夜视应用领域,对车载红外红外图像中的景物分成行人、天空,道路,路边树木几类处理。夜视成像技术中,红外热成像反映的是景物的温度分布,首先根据先验知识设定阈值将图像中的行人作为第一类从图像中分割出来。然后进行地平线检测,再利用最大类间方差法进行景物分类,进而得到深度图。算法的详细介绍如下。 2.1地平线检测 图像处理中,一阶微分可以通过梯度法实现。在一幅图像中,边缘梯度值较大,平滑区梯度值较小,对于灰度级为常数的区域梯度值为零。一般采用差分来近似微分。梯度可用公式(1)来计算。 (1) 图像中地平线为天空和地面的分界线,区域的梯度值较大,为了排除其他位置由于灰度突然变化引起的大梯度值的干扰,采用直方图投票的方法,确定分界线(即地平线)的纵向坐标。 设图像大小为M ×N,采用统计的直方图为P u ,其中u=1···N,μ∈N 点(i,j)的梯度值为 (2) 可以得到地平线在图像中的纵坐标为: (3) 2.2基于最大类间方差法的景物分类 最大类间方差法是对图像的像素进行划分,通过划分使得各类之间的距离达到最大来确定其合适的门限。 设图像g 中灰度值i 得像素的数目为n i 个,总像素数为 (4) 各个灰度出现的概率为 (5) 设灰度t 为门限,将图像分为A 和B 两个区域,其中A 区域的灰度为0~t 的像素和B 区域的灰度为t+1~L-1的像素,则区域A 和B 的概率分别为 (6)(7) 区域A 和B 的平均灰度为 (8)(9) 413--
复杂光照环境下的单目视觉位姿测量技术研究单目视觉位姿测量技术由于精度高、速度快、结构简单、成本低、抗干扰能力强等优势在机器人、工业制造、交通运输、航空航天、生活娱乐等领域发挥着重要作用,但是复杂光照条件,如光照不均匀、低照度、阴影、局部反光、光照颜色和色温变化大等制约着视觉位姿测量技术在一些应用场景(隧道、球磨机、航天器、雨雪天气等)的有效实施,以此为背景,本文提出一套完整的单目视觉位姿测量技术,能在复杂光照条件下有效测量目标物位姿。首先设计合作靶标。进行仿真实验,通过大量的实验数据确定较优的靶标参数(特征点个数、特征点共面与否);通过视场计算确定合理的靶标尺寸;提出一种基于颜色的特征点编码方案,有效进行特征点匹配;最终设计出一种制作简单、易于识别、解码方便的合作靶标。然后针对复杂光照环境,进行图像增强、平滑滤波、颜色校正算法研究。 高斯同态滤波能均匀图像照度;中值滤波能有效去除低照度下的图像噪声;提出一种改进的镜面反射法,在图像颜色多与少、不同色温光照条件下均能有效校正图像颜色。接下来识别靶标特征点。将高斯同态滤波和Otsu算法结合,在光照不均匀、低照度、淡阴影、局部反光的环境中均能有效分割靶标区域;基于Hough直线变换识别靶标边框线,判定靶标区域;基于圆形度识别靶标特征点,改进连通域表示方法,解决圆形度计算异常的问题;定义了椭圆度,基于椭圆度识别靶标特征点;针对高斯同态滤波结合Otsu算法难以解决的靶标强阴影问题,提出一种基于椭圆度的靶标去阴影算法;在RGB颜色空间定义颜色距离,通过颜色识别进行特征点解码。最后解算位姿。 标定相机参数;根据识别的靶标特征点像素坐标,通过EPnP算法进行位姿解算,分别进行仿真实验和实物实验验证本文方法,实验结果证明,本文方法精度高,能满足实际需要。
图像深度与双目视觉 平行式双目视觉 双目视觉技术是基于视差原理，通过两台成像设备从不同的角度拍摄场景图像或是由单个成像设备在不同时刻从不同的角度拍摄场景图像，利用图像对中对应点所处图像对位置的偏差，以及三维成像原理就可以计算出被测点的深度信息。双目视觉的模型中，又可分为平行式双目视觉和非平行式双目视觉，其中平行式双目视觉模型最简单，应用也最为广泛，双目视觉模型的示意图如图所示。 平行式双目视觉 平行式双目视觉中，两成像平面共面，两摄像头光轴平行，且图像两图像垂直对准，则点P 在左右成像平面中的视差就是二者x坐标的之差。
非平行式双目视觉 非平行式双目视觉中，两成像平面相交，两摄像机光轴相交于远处一点或是空间异面，点A 在左右视图中形成的视差在成像平面的x、y方向均有分量，通过坐标变换矩阵来实现三维 重建和深度计算，计算量大且较难实现。 三角测量原理 基于平行式双目视觉，在获得空间某点P在左右视图中的视差d后，用三角测量的原理即可恢复出P点的深度信息，如图所示 三角测量原理
如图，两摄像机距离为T，焦距均为f，点P在左右视图中的视差为 ，则点P的深度信息可以用相似三角形的原理算出： 即： 从上式可以看出，图像的深度与相机焦距和两相机距离成正比，与视差成反比，对于同一个双目视觉系统，图像深度仅与视差有关，其二者成非线性关系。当视差接近于0时，微小的视差变化也会导致很大的深度变化；当视差较大时，微小的视差变化几乎不会引起深度多大的改变。结果就是，这样的双目视觉系统仅对于物体与摄像机相距较近的时候才有较高的深度精度。 图像深度与视差关系
立体匹配算法的一般步骤 一、匹配代价计算 匹配代价计算是整个立体匹配算法的基础，实际是对不同视差下进行灰度相似性测量。常见的方法有灰度差的平方SD（squared intensity differences），灰度差的绝对值AD（absolute intensity differences）等。另外，在求原始匹配代价时可以设定一个上限值，来减弱叠加过程中的误匹配的影响。以AD法求匹配代价为例，可用下式进行计算，其中T为设定的阈值。 二：匹配代价叠加 一般来说，全局算法基于原始匹配代价进行后续算法计算。而区域算法则需要通过窗口叠加来增强匹配代价的可靠性，根据原始匹配代价不同，可分为： 三：视差获取 对于区域算法来说，在完成匹配代价的叠加以后，视差的获取就很容易了，只需在一定范围内选取叠加匹配代价最优的点（SAD和SSD取最小值，NCC取最大值）作为对应匹配点，如胜者为王算法WTA（Winner-take-all）。而全局算法则直接对原始匹配代价进行处理，一般会先给出一个能量评价函数，然后通过不同的优化算法来求得能量的最小值，同时每个点的视差值也就计算出来了。 四：视差细化 大多数立体匹配算法计算出来的视差都是一些离散的特定整数值，可满足一般应用的精度要求。但在一些精度要求比较高的场合，如精确的三维重构中，就需要在初始视差获取后采用一些措施对视差进行细化，如匹配代价的曲线拟合、图像滤波、图像分割等。 有关立体匹配的介绍和常见匹配算法的比较，推荐大家看看Stefano Mattoccia 的讲 义 Stereo Vision: algorithms and applications，190页的ppt，讲解得非常形象详尽。
基于多尺度深度特征的视觉显著性 视觉显著性在认知和计算科学是一个基本的问题，包括计算机视觉。在本文中，我们发现一个高质量的视觉显著性模型可以使用深度卷积神经网络抽取多尺度特征来学习，这些在视觉识别工作中已经有很多成功的例子。为了学习显著性模型，我们提出一种为了在三个不同的尺度提取的特征可以和CNN的顶层充分连接的神经网络架构。接着我们提出了一个细化方法来加强显著性结果的空间一致性。最后，融合多个显著图计算为图像分割的不同水平可以更好的促进性能，收益率显著图比从单一分割产生的图像要好。为了促进视觉显著模型的进一步研究和评价，我们也建立一个新的拥有4447张挑战性图片的大型数据库及其注释。实验结果表明,我们提出的方法在所有公共基准能够实现最先进的性能,在MSRA-B数据集和我们的新数据集(HKU-IS)改善F-Measure的效果分别为5.0%和13.2%,降低了这两个数据集平均绝对误差分别为5.7%和35.1%。 1.介绍 总结，这篇文章有以下贡献： 一个新的视觉显著模型被提出用于从一个拥有多个完全连接层的深度神经网络的嵌套的窗口将多尺度CNN特征提取。用于显著性估计的深度神经网络是可以用一组标记的显著图区域来训练的。 一个完整的显著性框架是由进一步整合我们的用空间一致性模型和多级图像分割基于CNN的显著性模型开发而成的。 HKU-IS是用来显著性模型研究和评估而创建的一个新的具有挑战的数据集。这个数据集是对外公开的。我们提出的显著性模型已经成功地验证了这个新数据集和所有现有的数据集。 2.相关工作 视觉显著计算可以分为自底向上和自顶向下的方法或两者的混合。自底向上的模型主要是基于c enter-surround方案,通过低级视觉属性的线性或非线性结合来计算主显著图,如颜色、强度、结构和方向。自上而下的方法通常需要高层知识的整合,如在计算过程中目标和人脸识别检测。最近，设计区别特征和显著先验的工作已经取得了很大成效。大多数方法基本上都遵循区域对比框架,旨在设计更好的描述图像区域与其周边地区的特殊性的特性。在【26】中，三个新奇特征与条件随机场（条件随机场（conditional random field，简称 CRF），是一种鉴别式机率模型，是随机场的一种，常用于标注或分析序列资料，如自然语言文字或是生物序列。条件随机场为无向性之图模型，图中的顶点代表随机变量，顶点间的连线代表随机变量间的相依关系，在条件随机场当中，随机变量 Y 的分布为条件机率，给定的观察值则为随机变量 X。原则上，条件随机场的图模型布局是可以任意给定的，一般常用的布局是链结式的架构，链结式架构不论在训练（training）、推论（inference）、或是解码（decoding）上，都存在有效率的算法可供演算。）结合。在【33】中提出了一个基于低秩矩阵恢复的模型用于整合底层视觉特征与高层次先验。 显著先验和中心先验与边界先验一样被广泛应用于启发结合低级线索的和改善显著估计。这些显著先验直接结合其他显著的线索权重或者用于特征学习算法。虽然这些经验对于很多图像来说可以改变显著结果，但当显著目标偏离中心或明显在图像边界重叠就会失败。我们应该注意到目标位置线索和基于背景的背景模型在我们的框架中并没有被忽视，而是一直通过CNN的多尺度特征提取和神经网络训练含蓄地纳入进我们的模型。 最近，CNNs在视觉识别工作中取得了很多成就，包括图像分类、目标检测和场景解析。Dona hue等在【11】中指出从ImageNet数据集训练的Krizhevsky的CNN提取的特征可以转化成一般的任务。Razavian等在【30】中拓展他们的结果并得出深度学习和CNNs对于所有的视觉识别任务可以成为一个强有力的候选的结论。然而，CNN特征并没有探索视觉显著性研究主要是因为在【11,30】