基于摄像头的图像采集与处理应用
1、摄像头工作原理
图像传感器，是组成数字摄像头的重要组成部分。根据元件的材料不同，可分为CCD （Charge Coupled Device，电荷耦合元件）和CMOS（Complementary Metal-Oxide Semiconductor，金属氧化物半导体元件）两大类。
电荷藕合器件图像传感器CCD（Charge Coupled Device），它使用一种高感光度的半导体材料制成，能把光线转变成电荷，通过模数转换器芯片转换成数字信号，数字信号经过压缩以后由相机内部的闪速存储器或内置硬盘卡保存，因而可以轻而易举地把数据传输给计算机，并借助于计算机的处理手段，根据需要和想像来修改图像。CCD由许多感光单位组成，通常以百万像素为单位。当CCD表面受到光线照射时，每个感光单位会将电荷反映在组件上，所有的感光单位所产生的信号加在一起，就构成了一幅完整的画面。
互补性氧化金属半导体CMOS（Complementary Metal-Oxide Semiconductor）和CCD一样同为在图像传感器中可记录光线变化的半导体。CMOS主要是利用硅和锗这两种元素所做成的半导体，使其在CMOS上共存着带N（带–电）和P（带+电）级的半导体，这两个互补效应所产生的电流即可被处理芯片纪录和解读成影像。然而，CMOS的缺点就是太容易出现杂点, 这主要是因为早期的设计使CMOS在处理快速变化的影像时，由于电流变化过于频繁而会产生过热的现象。
CCD和CMOS在制造上的主要区别是CCD是集成在半导体单晶材料上，而CMOS是集成在被称做金属氧化物的半导体材料上，工作原理没有本质的区别。CCD制造工艺较复杂，采用CCD的摄像头价格都会相对比较贵。事实上经过技术改造，目前CCD和CMOS的实际效果的差距已经减小了不少。而且CMOS的制造成本和功耗都要低于CCD不少，所以很多摄像头生产厂商采用的CMOS感光元件。成像方面：在相同像素下CCD的成像通透性、明锐度都很好，色彩还原、曝光可以保证基本准确。而CMOS的产品往往通透性一般，对实物的色彩还原能力偏弱，曝光也都不太好，由于自身物理特性的原因，CMOS的成像质量和CCD还是有一定距离的。但由于低廉的价格以及高度的整合性，因此在摄像头领域还是得到了广泛的应用
工作原理：为了方便大家理解，我们拿人的眼睛来打个比方。当光线照射景物，景物上的光线反射通过人的晶状体聚焦，在视网膜上就可以形成图像，然后视网膜的神经感知到图像将信息传到大脑，我们就能看见东西了。摄像头成像的原理和这个过程非常相似，光线照射景物，景物上的光线反射通过镜头聚焦，图像传感器就会感知到图像。
具体部分是这样的，摄像头按一定的分辨率，以隔行扫描的方式采集图像上的点，当扫描到某点时，就通过图像传感芯片将该点处图像的灰度转换成与灰度一一对应的电压值，然后将此电压值通过视频信号端输出。如图1所示，摄像头连续地扫描图像上的一行，则输出
就是一段连续的电压信号，该电压信号的高低起伏反映了该行图像的灰度变化。当扫描完一行，视频信号端就输出一个低于最低视频信号电压的电平（如0.3V），并保持一段时间。这样相当于，紧接着每行图像信号之后会有一个电压“凹槽”，此“凹槽”叫做行同步脉冲，它是扫描换行的标志。然后，跳过一行后（因为摄像头是隔行扫描的），开始扫描新的一行，如此下去，直到扫描完该场的视频信号，接着会出现一段场消隐区。该区中有若干个复合消隐脉冲，其中有个持续时间远长于其它的消隐脉冲，称为场同步脉冲，它是扫描换场的标志。场同步脉冲标志着新的一场的到来，不过，场消隐区恰好跨在上一场的结尾和下一场的开始部分，得等场消隐区过去，下一场的视频信号才真正到来。摄像头每秒扫描25幅图像，每幅又分奇、偶两场，先奇场后偶场，故每秒扫描50 场图像。奇场时只扫描图像中的奇数行，偶场时则只扫描偶数行。摄像头有两个重要的指标：分辨率和有效像素。分辨率实际上就是每场行同步脉冲数，这是因为行同步脉冲数越多，则对每场图像扫描的行数也越多。事实上，分辨率反映的是摄像头的纵向分辨能力。有效像素常写成两数相乘的形式，如“320x240”，其中前一个数值表示单行视频信号的精细程度，即行分辨能力；后一个数值为分辨率，因而有效像素=行分辨能力×分辨率。
图 1 摄像头视频信号
2、图像采集
CCD摄像要能有效地对视频信号进行采样，首先要处理好的问题是如何提取出摄像头信号中的行同步脉冲、消隐脉冲和场同步脉冲，否则，单片机将无法识别所接收到的视频信号处在哪一场，也无法识别是在该场中的场消隐区还是视频信号区，更无法识别是在视频信号区的第几行。这里有两种可行的方法。第一，直接采用A/D转换进行提取。当摄像头信号为行同步脉冲、消隐脉冲或场同步脉冲时，摄像头信号电平就会低于这些脉冲模式之外时的摄像头信号电平。据此，可设一个信号电平阈值来判断A/D转换采样到的摄像头信号是否为行同步脉冲、消隐脉冲或场同步脉冲。第二，就是给单片机配以合适的外围芯片，此芯片要能够提取出摄像头信号的行同步脉冲、消隐脉冲和场同步脉冲以供单片机作控制之用。
由于单片机的处理速度有限，而一些脉冲的间隔时间又较短，我们就采用了第二种方法进行信号提取。LM1881 视频同步信号分离芯片可从摄像头信号中提取信号的时序信息，
如行同步脉冲、场同步脉冲和奇、偶场信息等，并将它们转换成TTL 电平直接输给单片机的I/O 口作控制信号之用。LM1881的端口接线方式如图2所示。
图2 LM1881
其中，引脚2 为视频信号输入端，引脚1 为行同步信号输出端（如图3中的b）。引脚3 为场同步信号输出端，当摄像头信号的场同步脉冲到来时，该端将变为低电平，一般维持230us，然后重新变回高电平（如图3中的c）。引脚7 为奇-偶场同步信号输出端，当摄像头信号处于奇场时，该端为高电平，当处于偶场时，为低电平。事实上，不仅可以用场同步信号作为换场的标志，也可以用奇-偶场间的交替作为换场的标志。
图3 LM1881 信号时序图
CMOS摄像头的灰度值、以及场、行中断直接给出数字量，无需A/D转换以及帧、场分离。
图像采集的关键是时序的把握。此外，中断的优先级一定要保证，要不然无法采集到完整的图像。摄像头每秒扫描25幅图像（即25帧数据），每幅又分奇、偶两场，先奇场后偶场，故每秒扫描50场图像。奇场时只扫描图像中的奇数行，偶场时则只扫描偶数行。我们使了ECT的通道1捕捉场中断，通道0捕捉行中断。
如下面摄像头信号采集时序图所示：
（1）在采集时乎略TCLK，首先是因为它太快了，捕捉不到，另外也没有必要捕捉到它。
图4 摄像头信号采集时序图
采集图像时尽快地一个点一个点的取就行了，和模拟摄像头一样。
（2）VYNSC是判断是否一幅图像开始，周期是20mS，其中高电平持续时间很短，忽略；HREF是判断是否一行图像的开始，周期是63us左右，其中高电平持续时间为40us，低电平持续时间23us ，那么可以算一下一场有多少行：20ms/63us=317，当然实际上没有这么多，消隐和无效信号去掉之后只有292行。
（3）必须明确：场中断要通过下降沿捕捉，行中断要通过上升沿捕捉。若用IRQ捕捉行中断必须加反相器。
（4）有效的灰度数据是在行中断之后的上升沿内，所以不要在行中断后的23US后采集，那是废数据。计算一下一行OV6620有多少个点：40us/110ns=363消隐和无效信号去掉之后只有356个点。
3、图像处理
本设计针对的是基于摄像头简单黑白道路采集。摄像头采集到赛道图像后，必须对图像数据进行正确的处理，才能提取出赛道位置，保证后续工作的顺利进行。
图像处理简单的来说就是根据摄像头传回来的视频信号中提取出黑线的位置。常用的黑线提取算法划分为二值化算法、直接边缘检测算法和跟踪边缘检测算法。二值化算法的思路是：设定一个阈值valve，对于视频信号矩阵中的每一行，从左至右比较各像素值和阈值的大小，若像素值大于或等于阈值，则判定该像素对应的是白色赛道；反之，则判定对应的是黑色的目标引导线。记下第一次和最后一次出现像素值小于阈值时的像素点的列号，算出两者的平均值，以此作为该行上目标引导线的位置。直接边缘检测算法：采用逐行搜索的算法，
首先找到从白色像素到黑色像素的下降沿和从黑色像素到白色像素的上升沿，然后计算上升沿和下降沿的位置差，如果大于一定的标准值，即认为找到了黑线，并可求平均值算出黑线的中心点。至于上升沿、下降沿的检测，可以通过上上次采样数与这次采样数的差值的绝对值是否大于一个阈值来判断，如果“是”且差值为负，则为上升沿；如果“是”且差值为正，则为下降沿。跟踪边缘检测算法：由于黑色的目标引导线是连续曲线，所以相邻两行的左边缘点比较靠近。跟踪边缘检测正是利用了这一特性，对直接边缘检测进行了简化。其思路是若已寻找到某行的左边缘，则下一次就在上一个左边缘附近进行搜寻。这种方法的特点是始终跟踪每行左边缘的附近，去寻找下一列的左边缘，所以称为“跟踪”边缘检测算法。
4、图像应用
我们采用的是直接边缘检测算法，因为该方法抗环境光强变化干扰的能力更强，同时还能消除垂直交叉黑色引导线的干扰。由于智能车上安装的摄像头相对于赛道存在一定的倾斜角度，因此会造成采集到的赛道图像具有一定的梯形失真，即图像中的赛道远端窄、近端宽，远端图像不清晰而近端图像清晰可靠，如图5所示
图5 图像采集的还原图
所以就将一场图像分为两部分，近端部分和远端部分。为了给单片机处理节约时间我们采用了全场动态范围来提取黑线即首先取得第一幅图像得到近处基准行黑线位置，在此基础上确定下一幅图像搜索范围由于黑先是连续变化的，远端部分黑线就根据前两行黑线位置的偏差量再加上一个固定范围来寻找。在图像滤波算法中，还应考虑以下几个方面：首先，根据图像模型去噪，例如，由于赛道的黑色引导线是绝对连续的，故两个中间有黑线的行之
间不能有全白行（注意中间二字：如果黑线在边缘，则可能是由于摄像头的视野太窄或智能车身不正导致在过弯道时只能看到部分黑色引导线），这主要是解决光线对摄像头的反光问题；其次，在理想的情况下，根据赛道的黑色引导线的连续性，如果某一行求取的中心线位置与相邻的两行都相差很大，则可以认为该行数值错误，抛弃该行的数据或使用其前后两行数据的平均值来替代该错误数值用以校正。这样一来提取出的黑线就比较可靠了，不过在实际调试中远处图像畸变比较大而且行距也大，偶尔还是可能会出现错误提取黑线，但是这对车体的控制影响不是很大。
摄像头车相对于电磁车与光电车最大的优势在于有较远的前瞻，所以图像精度就非常重要了即行分辨率和分辨率越高图取出来的黑线位置就越稳定可靠，这也是所有控制算法的基础。由于单片机内存只有8K，存储图像数据的数组就不能开的太大，否则再加上一些全局变量，静态变量，临时变量，明显内存就不够用了。我们想到的第一个解决办法是买到更大内存的单片机可是这个没实现，经过尝试与多方设想我们采用动态内存刷新来提高图像精度然后再加上锁相环超频到64M提高了图像的纵向与横向精度，从而使前瞻达到了原来的两倍多。为了使智能车适应能力更强抗啊绕能力越好，我们将原来静态阈值改为动态阈值，使得每一行之间的阈值过度更加自然。因为不同的场合光线强度不一样从而阈值也就不一样，相邻两行之间的灰度值不会相差很大。
注，动态阈值取法和内存刷新说明：
1）动态阈值取法：将前一行的边沿检测范围内的所有大于阈值的点做和的平均，所有小于阈值的点同样做和得平均，再将两个平均值相加除2作为下一行的阈值2）内存刷新：将采得的图像数据循环放入一维数组里，当数据存满时，在确保所采的第一行摄像头中的数据已经被处理的前提下，将该行数据覆盖，以此类推。已达到内存实时刷新的目的。
本帖最后由 superyongzhe 于 2009-11-16 23:24 编辑 我想大家肯定还遇到一个问题，那就是如何知道自己采集的图像是否正确呢？可以使用串 口，大家把我那个程序里面的printp.c 复制到你的工程里，再把includes.h里面的声明添加到你的程序里，在串口初始化程序里 设置好波特率（如何设置可参考《单片 机嵌入式在线开发方法》一书中的相关内容，也可以看芯片资料）。上位机可以使用“串口 助手就可以了”，很简单的。如果大 家还有什么问题就赶快提出来把，我尽量给大家解决，因为这里面前车的东西比较繁杂，我 一下说不清楚。最好有个电视机，能 够看到摄像头摄在那里，这样会更容易校对 近几天看到论坛里有很多网友遇到CCD图像采集的麻烦，我在最开始的时候也为这个烦恼过，由于本人比较菜，在度过大概半个月的绝望日夜后，在刚准备放弃时突然发现我已经采集到正确的图像了。特再次分享，希望能解决大家当前遇到的麻烦。 在采集图像之前，我们首先要知道摄像头输出信号的特性。目前的模拟摄像头一般都是PAL制式的，输出的信号由复合同步信号，复合消隐信号和视频信号。其中的视频信号才是真正的图像信号，对于黑白摄像头，图像越黑，电压越低，图像越白，电压越高。而复合同步信号是控制电视机的电子枪对电子的偏转的，复合消隐信号是在图像换行和换场时电子枪回扫时不发射电子。由于人眼看到的图像大于等于24Hz时人才不会觉得图像闪烁，所以PAL 制式输出的图像是25Hz，即每秒钟有25幅画面，说的专业点就是每秒25帧，其中每一帧有625行。但由于在早期电子技术还不发达时，电源不稳定，容易对电视信号进行干扰，而交流电源是50Hz所以，为了和电网兼容，同时由于25Hz时图像不稳定，所以后来工程师们把一副图像分成两场显示，对于一幅画面，一共有625行，但是电子枪先扫描奇数场1，3，5.....，然后再扫描2,4,6.....，所以这样的话，一副图像就变成了隔行扫描，每秒钟就有50场了。其中具体的细节请参考这个网站 电视原理与系统 /zjx/zjx09/zjx090000.htm 只用看前面的黑白全电视信号和PAL制式就可以了（当然如果感兴趣可以全部看完）。 通过上面的内容如果你对PAL制式信号了然于心，那么就可以开始图像的采集了，PAL 输出的信号有复合同步信号，复合消隐信号和视频信号。那么我们首先就是要从这三种信号中分理出复合同步信号，复合消隐信号和视频信号，以便我们对AD采样到的值进行存储，
第二讲文本素材的采集与处理 本讲目标： 1．明确文本素材的五种获取方法。 2．掌握扫描仪的使用方法，会用扫描仪获取大量文本，并能利用文字识别软件对获取的文本进行修改编辑。 重点：获取文本素材的方法。 难点：大量文本的采集—扫描仪扫描文字识别法。 一、五种文本素材的获取方法 文本素材的获取有直接获取与间接获取两种方式，直接获取是指通过多媒体教学制作工具软件的文字工具或在文字编辑处理软件中用键盘直接输入或复制，一般在文本内容不多的场合下使用该方式。间接获取是指用扫描仪或其他输入设备输入文本素材，常用于大量文本的获取。 文本素材的获取方法如下： （1）键盘输入方法 键盘输入方法是文本输入的主要方法，使用计算机输入汉字，需要对汉字进行编码，根据汉字的某种规律将汉字用数字或英文字符编码，然后由计算机键盘输入。汉字有音、形、义三个要素，根据汉字读音的编码叫音码，根据汉字字形的编码叫形码，兼顾汉字读音和字形的编码叫音形码或形音码。在常用的多媒体教学制作软件中，都带有文字工具，在文本内容不多的情况下，可以直接输入文字，对输入的文字可进行直接编辑处理。 （2）手写输入方法 使用“输入笔”设备，在写字板上书写文字，来完成文本输入，利用手写输入法获取文本的方式，类似于平时我们在纸上写字，但对在写字板上书写的文字要经选择。手写输入方法使用的输入笔有两种：一种是与写字板相连的有线笔，另一种是无线笔。无线笔携带和使用均很方便，是手写输入笔的发展方向。写字板也有两种，一种是电阻式，另一种是感应式。 （3）语音输入方法 将要输入的文字内容用规范的语音朗读出来，通过麦克风等输入设备送到计算机中，计算机的语音识别系统对语音进行识别，将语音转换为相应的文字，完成文字的输入。 语音输入方法目前开始使用，但识别率还不是很高，对发音的准确性要求比较高。 （4）扫描仪输入法 将印刷品中的文字以图像的方式扫描到计算机中，再用光学识别器（OCR）软件将图像中的文字识别出来，并转换为文本格式的文件。目前，OCR的英文识别率可达90%以上，中文识别率可达85%以上。 （5）从互联网上获取文本 从互联网上可以搜索到许多有用的文本素材，在不侵犯版权的情况下，可以从互联网上获取有用的文字。从互联网的html页面上获取部分文本的方法是：首先拖动鼠标选取有用的文本，或单击鼠标右键，在弹出的快捷菜单中，选择“全选”命令，将整个页面上文字全部选中，然后选择“复制”命令，打开文字处理软件（如Word），选择“编辑”/“粘贴”命令，就可以将复制的文字在文字处理软件中进行编辑处理了。如果将互联网上其他格式的文本文件（如：.pdf，.caj）格式的文件进行保存，然后使用部分有用文本，常用的方法是：选择“文件”菜单中的“另存为”命令，将文本文件进行保存，
LabVIEW应用于实时图像采集及处理系统 2008-7-29 9:35:00于子江娄洪伟于晓闫丰隋永新杨怀江供稿 摘要：本文在LabVIEW和NI-IMAQ Vision软件平台下，利用通用图像采集卡开发一种图像实时采集处理虚拟仪器系统。通过调用动态链接库驱动通用图像采集卡完成图像采集，采集图像的帧速率达到25帧每秒。利用NI-IMAQ Vision视频处理模块，进行图像处理，以完成光电探测器的标定。该系统具有灵活性强、可靠性高、性价比高等优点。 主题词：虚拟仪器;图像处理;LabVIEW;动态链接库 1.引言 美国国家仪器（NI）公司的虚拟仪器开发平台LabVIEW，使用图形化编程语言编程，界面友好，简单易学，配套的图像处理软件包能提供丰富的图像处理与分析算法函数，极大地方便了用户，使构建图像处理与分析系统容易、灵活、程序移植性好，大大缩短了系统开发周期。在推出应用软件的基础上，NI公司又推出了图像采集卡，对于NI公司的图像采集卡，可以直接使用采集卡自带的驱动以及LabVIEW中的DAQ库直接对端口进行操作。 但由于NI公司的图像采集卡成本很高，大多用户难以接受，因此硬件平台往往采用通用图像采集卡，软件方面的图像处理程序仍采用LabVIEW以及视频处理模块编写。本文正是基于这样的目的，提出了一种在LabVIEW环境下驱动通用图像采集卡的方案，在TDS642EVM高速DSP视频处理板卡的平台下，完成实时图像采集及处理。 在图象处理的工作中主要完成对CCD光电探测器的辐射标定。由于探测器在自然环境下获取图像时，会受到来自大气干扰，自身暗电流，热噪声等影响，使CCD像元所输出信号的数值量化值与实际探测目标辐射亮度之间存在差异，所以要得到目标的精确图像就必须对探测器进行辐射标定。 2.图像采集卡简介 闻亭公司TDS642EVM（简称642）多路实时视频处理板卡是基于DSP TMS320DM642芯片设计的评估开发板。计算能力可达到4Gips，板上的视频接口和视频编解码芯片Philips SAA7115H相连,实现实时多路视频图像采集功能,支持多种PAL,NTSC和SECAM视频标准。本系统通过642的PCI接口与主机进行数据交换。PCI支持“即插即用（PnP）”自动配置功能，使图像采集板的配置变得更加方便，其一切资源需求的设置工作在系统初启时交由BIOS处理，无需用户进行繁琐的开关与跳线操作。PCI接口的海量数据吞吐,为其完成实时图像采集和处理提供保证。 3.系统组成及工作原理
#include
void skip_a_row() { u16 i; u8 temp; for (i=0;i<320;i++) { //跳过一个像素 FIFO_RCK=0; FIFO_RCK=1; temp=(0x00ff&GPIOB->IDR); FIFO_RCK=0; FIFO_RCK=1; temp=(0x00ff&GPIOB->IDR); } } void Get_a_Image() { u16 i,j; for (i=0;i 0引言 视频监控目前已得到广泛的应用，一般采用如下方案：使用具有较高成像质量的CCD(charge-coupled device)传感器摄像头，通过S-VIDEO端子实时传送数据，这种方案需要摄像头与采集端设备连线，同时监控中心需要有较大的存储空间来存储图像与视频片段，还需要电视墙来对不同地点的目标进行实时监控，此方案适合于公共场所的安防和监控，实时性高，但能耗大，成本昂贵。对于需要远程监控的生产环境，例如农业、种植业、畜牧业以及工业厂房的监控，包括动物的异常举动，种植现场环境的突然变化，厂房可疑人员的入侵监控等，上述方案难以满足图像与视频中信息智能处理的需要，而基于嵌入式ARM-Linux的无线图像采集系统成为合适的选择。在802.11无线协议应用经已成熟的前提下，研究的重点在于传感器节点所采用的硬件平台和数据流格式，当前的主流方案包括：①ARM+DSP(digital signal processing)[1]：由ARM 架构CPU(central processing unit)担任传感器节点的总控制角色，利用DSP信号处理芯片的高速处理能力对图像数据进行压缩和相关预处理，该方案适合需要较多数值运算的JPEG (joint photographic experts group)数据流。②FPGA(field-progra-mmable gate array)+视频编解码芯片[2]：利用FPGA的并行处理能力同时传送和处理多组图像与视频数据，由于FPGA的硬件可重写性，该方案适合于在实验阶段进行设计上的查错和优化。③ARM：使用高主频的ARM架构CPU，同时担任中央控制和图像处理的角色。ARM为通用精简指令集架构，具有足够的流水线来应对复杂的逻辑运算，适用于处理逻辑运算量较大的压缩算法，例如PNG格式所采用的Deflate压缩算法，同时，ARM-Linux架构具有成熟的工作基础，固采用方案3设 收稿日期：2010-01-10；修订日期：2010-03-09。 目前工作成果： 一、USB图像获取 USB设备在正常工作以前，第一件要做的事就是枚举，所以在USB摄像头进行初始化之前，需要先枚举系统中的USB设备。 （1）基于USB的Snap采集图像 程序运行结果： 此程序只能采集一帧图像，不能连续采集。将采集图像函数放入循环中就可连续采集。 循环中的可以计算循环一次所用的时间，运行发现用Snap采集图像时它的采集速率比较低。运行程序时移动摄像头可以清楚的看到所采集的图像有时比较模糊。 （2）基于USB的Grab采集图像 运行程序之后发现摄像头采集图像的速率明显提高。 二、图像处理 1、图像灰度处理 （1）基本原理 将彩色图像转化成为灰度图像的过程成为图像的灰度化处理。彩色图像中的每个像素的颜色有R、G、B三个分量决定，而每个分量有255中值可取，这样一个像素点可以有1600多万（255*255*255）的颜色的变化范围。而灰度图像是R、G、B三个分量相同的一种特殊的彩色图像，其一个像素点的变化范围为255种，所以在数字图像处理种一般先将各种格式的图像转变成灰度图像以使后续的图像的计算量变得少一些。灰度图像的描述与彩色图像一样仍然反映了整幅图像的整体和局部的色度和亮度等级的分布和特征。图像的灰度化处理可用两种方法来实现。 第一种方法使求出每个像素点的R、G、B三个分量的平均值，然后将这个平均值赋予给这个像素的三个分量。 第二种方法是根据YUV的颜色空间中，Y的分量的物理意义是点的亮度，由该值反映亮度等级，根据RGB和YUV颜色空间的变化关系可建立亮度Y与R、G、B三个颜色分量的对应：Y=0.3R+0.59G+0.11B，以这个亮度值表达图像的灰度值。 （2）labview中图像灰度处理程序框图 处理结果： DSP实习报告 题目：图像采集系统的设计 班级：xxx 姓名：xxx 学号：xxx 指导老师：xxxx 目录 一.实习题目 (3) 二.实习背景知识 (3) 三.实习内容 (5) 四.实习程序功能与结构说明 (8) 六．实习心得 (19) 一、实习题目 图像采集系统的设计 二、实习目的： 1、熟练掌握数字信号处理的典型设计方法与技术手段； 2、熟悉D6437视频输入，输出端的操作及编程。； 3、掌握常用电子仪器设备的使用方法； 4、熟悉锐化变换算法。 三、实习背景知识 1、计算机 2、CCS3.3.软件 3、DSP仿真器 4、EL_DM6437平台 EL-DM6437EVM是低成本，高度集成的高性能视频信号处理开发平台，可以开发仿真达芬奇系列DSP应用程序，同时也可以将该产品集成到用户的具体应用系统中。方便灵活的接口为用户提供良好的开放平台。采用该系列板卡进行产品开发或系统集成可以大大减少用户的产品开发时间。板卡结构框图如图所示： 板卡硬件资源： TMS320DM6437 DSP ，可工作在400/600 MHz； 2 路视频输入，包括一个复合视频输入及一个S端子视频输入； 保留了视频输入接口，可以方便与CMOS影像传感器连接； 3 路视频输出，包括2路复合视频，一路S端子输出； 128MByte 的DDR2 SDRAM存储器，256MBit的Nor Flash存储器；用户可选的NAND Flash接口； 可选的256K字节的I2C E2PROM； 1个10M/100Mbps自适应以太网接口； 1 路立体声音频输入、1路麦克风输入，1路立体声音频输出； USB2.0高速接口，方便与PC连接； 1个CAN总线、1个UART接口、实时时钟（带256Byte的电池保持RAM）；4个DIP开关，4个状态指示LED； 可配置的BOOT模式； 10层板制作工艺，稳定可靠； 标准外部信号扩展接口； JTAG仿真器接口； 单电源+5V供电； 板卡软件资源： PCB图像采集系统研究背景意义及国内外现状 1 研究背景 2 AOI系统的研究和国内现状 3 研究意义 1 研究背景 印刷电路板(Printed Circuit Board，PCB)又称为印刷线路板或印制电路板。印刷电路板是各种电子产品的主要部件，有“电子产品之母”之称，它是任何电子设备及产品均需配备的，其性能的好坏在很大程度上影响到电子产品的质量。几乎每一种电子设备都离不开PCB，小到电子手表、计算器，大到航空航天、军用武器系统等，都包含各式各样，大小各异的PCB板。近年来，随着生产工艺的不断提高，PCB正在向超薄型、小元件、高密度、细间距方向快速发展。这种趋势必然给质量检测工作带来了很多挑战和困难。因此PCB故障的检测已经成为PCB制造过程中的一个核心问题，是电子产品制造厂商非常关注的问题。在生产线上，厂家为保证PCB板的质量，就得要求100％的合格率，对所有的部件、子过程和成品都是如此。在过去靠人工对其进行检测的过程中，存在以下几个不可避免的缺点： (1)容易漏检。由于是人眼检测，眼睛容易疲劳，会造成故障不能被发现的问题。并且人工检测主观性大，判断标准不统一，使检测质量变得不稳定。 (2)检测速度慢，检测时间长。比如对于图形复杂的印刷电路板，人工很难实现快速高效的检测，因此人工检测不能满足高速的生产效率。 (3)随着技术的发展，设备的成本降低，人工费用增加，仍然由人工进行产品质量控制，将难于实现优质高效，而且还会增加生产成本。 (4)在信息技术如此发达的今天人工检测有不可克服的劣势，例如：对检测结果实时地保存和远距离传输，对原始图像的保存和远距离传输等。 (5)有些在线检测系统是接触式检测，需要与产品进行接触测量，因此，有可能会损伤产品。 因此，人工检测的精确性和可靠性大打折扣，传统意义上的检测方法不再能适应现代电路板检测的要求。如果漏检的有错误的电路板进入下一道工序，随着每一项工艺步骤的增加，到最终经过贴装阶段后，仍然会被检测出来是有故障的，那时，制造厂商与其花费大量的人力和成本来检测、返修这块电路板，还不如选 1. 图像处理 4.2.1目标指引线的提取 智能车通过图像采样模块获得车前方的赛道图像信息，往下介绍如何 分析此二维数组来提取黑线，我们采用边缘检测的方法。 二维数组的行数和列数即为像素的图像坐标，我们若求出了黑线边缘 的图像坐标，就知道了黑线的位置。黑线边缘的特点是其左、右两像素为 一黑一白，两像素值的差的绝对值大于某阀值，大于可根据试验确定；而 其余处的相邻两像素或全白，或全黑，像素值差的绝对值小于该阀值。这 样，只要我们对两数组每行中任何相邻两点做差，就可以根据差值的大小 是否大于该阀值来判断此两点处是否为黑线边缘，还可以进行根据差值的 正负来判定边缘处是左白右黑，还是右黑左白。 从最左端的第一个有效数据点开始依次向右进行阀值判断：由于实际 中黑白赛道边缘可能会出现模糊偏差，导致阀值并不是个很简单介于两相 邻之间，很可能要相隔两个点。因此：第line为原点，判断和line+3的差 是否大于该阀值，如果是则将line+3记为i，从i开始继续在接下的从i+3到该行最末一个点之间的差值是否大于阀值，如果大于则将line+i/2+1的坐 标赋给中心给黑线中心位置值，如5-4 图4-4单行黑线提取法 利用该算法所得到的黑线提取效果不仅可靠，而且实时性好；在失去 黑线目标以后能够记住是从左侧还是从右侧超出视野，从而控制舵机转向让赛车回到正常赛道。 试验表明：只要阀值取得合适，该算法不仅可靠，而且实时性较好。 如果更进一步可以设置阀值根据现场情况的变化而变化。在黑线引导线已经能够可靠提取的基础上，我们可以利用它来进行相应的弯、直道判定，以及速度和转向舵机控制算法的研究。 2. 基于摄像头的图像采集与处理应用 1、摄像头工作原理 图像传感器，是组成数字摄像头的重要组成部分。根据元件的材料不同，可分为CCD （Charge Coupled Device，电荷耦合元件）和CMOS（Complementary Metal-Oxide Semiconductor，金属氧化物半导体元件）两大类。 电荷藕合器件图像传感器CCD（Charge Coupled Device），它使用一种高感光度的半导体材料制成，能把光线转变成电荷，通过模数转换器芯片转换成数字信号，数字信号经过压缩以后由相机内部的闪速存储器或内置硬盘卡保存，因而可以轻而易举地把数据传输给计算机，并借助于计算机的处理手段，根据需要和想像来修改图像。CCD由许多感光单位组成，通常以百万像素为单位。当CCD表面受到光线照射时，每个感光单位会将电荷反映在组件上，所有的感光单位所产生的信号加在一起，就构成了一幅完整的画面。 互补性氧化金属半导体CMOS（Complementary Metal-Oxide Semiconductor）和CCD一样同为在图像传感器中可记录光线变化的半导体。CMOS主要是利用硅和锗这两种元素所做成的半导体，使其在CMOS上共存着带N（带–电）和P（带+电）级的半导体，这两个互补效应所产生的电流即可被处理芯片纪录和解读成影像。然而，CMOS的缺点就是太容易出现杂点, 这主要是因为早期的设计使CMOS在处理快速变化的影像时，由于电流变化过于频繁而会产生过热的现象。 CCD和CMOS在制造上的主要区别是CCD是集成在半导体单晶材料上，而CMOS是集成在被称做金属氧化物的半导体材料上，工作原理没有本质的区别。CCD制造工艺较复杂，采用CCD的摄像头价格都会相对比较贵。事实上经过技术改造，目前CCD和CMOS的实际效果的差距已经减小了不少。而且CMOS的制造成本和功耗都要低于CCD不少，所以很多摄像头生产厂商采用的CMOS感光元件。成像方面：在相同像素下CCD的成像通透性、明锐度都很好，色彩还原、曝光可以保证基本准确。而CMOS的产品往往通透性一般，对实物的色彩还原能力偏弱，曝光也都不太好，由于自身物理特性的原因，CMOS的成像质量和CCD还是有一定距离的。但由于低廉的价格以及高度的整合性，因此在摄像头领域还是得到了广泛的应用 工作原理：为了方便大家理解，我们拿人的眼睛来打个比方。当光线照射景物，景物上的光线反射通过人的晶状体聚焦，在视网膜上就可以形成图像，然后视网膜的神经感知到图像将信息传到大脑，我们就能看见东西了。摄像头成像的原理和这个过程非常相似，光线照射景物，景物上的光线反射通过镜头聚焦，图像传感器就会感知到图像。 具体部分是这样的，摄像头按一定的分辨率，以隔行扫描的方式采集图像上的点，当扫描到某点时，就通过图像传感芯片将该点处图像的灰度转换成与灰度一一对应的电压值，然后将此电压值通过视频信号端输出。如图1所示，摄像头连续地扫描图像上的一行，则输出 基于摄像头得图像采集与处理应用 1、摄像头工作原理 图像传感器,就是组成数字摄像头得重要组成部分。根据元件得材料不同,可分为 CCD(Charge Coupled Device,电荷耦合元件)与CMOS(plementary MetalOxide Semiconductor,金属氧化物半导体元件)两大类。 电荷藕合器件图像传感器CCD(Charge Coupled Device),它使用一种高感光度得半导体材料制成,能把光线转变成电荷,通过模数转换器芯片转换成数字信号,数字信号经过压缩以后由相机内部得闪速存储器或内置硬盘卡保存,因而可以轻而易举地把数据传输给计算机,并借助于计算机得处理手段,根据需要与想像来修改图像。CCD由许多感光单位组成,通常以百万像素为单位。当CCD表面受到光线照射时,每个感光单位会将电荷反映在组件上,所有得感光单位所产生得信号加在一起,就构成了一幅完整得画面。 互补性氧化金属半导体CMOS(plementary MetalOxide Semiconductor)与CCD一样同为在图像传感器中可记录光线变化得半导体。CMOS主要就是利用硅与锗这两种元素所做成得半导体,使其在CMOS上共存着带N(带–电)与P(带+电)级得半导体,这两个互补效应所产生得电流即可被处理芯片纪录与解读成影像。然而,CMOS得缺点就就是太容易出现杂点, 这主要就是因为早期得设计使CMOS在处理快速变化得影像时,由于电流变化过于频繁而会产生过热得现象。 CCD与CMOS在制造上得主要区别就是CCD就是集成在半导体单晶材料上,而CMOS就是集成在被称做金属氧化物得半导体材料上,工作原理没有本质得区别。CCD制造工艺较复杂,采用CCD得摄像头价格都会相对比较贵。事实上经过技术改造,目前CCD与CMOS得实际效果得差距已经减小了不少。而且CMOS得制造成本与功耗都要低于CCD不少,所以很多摄像头生产厂商采用得CMOS感光元件。成像方面:在相同像素下CCD得成像通透性、明锐度都很好,色彩还原、曝光可以保证基本准确。而CMOS得产品往往通透性一般,对实物得色彩还原能力偏弱,曝光也都不太好,由于自身物理特性得原因,CMOS得成像质量与CCD还就是有一定距离得。但由于低廉得价格以及高度得整合性,因此在摄像头领域还就是得到了广泛得应用 工作原理:为了方便大家理解,我们拿人得眼睛来打个比方。当光线照射景物,景物上得光线反射通过人得晶状体聚焦,在视网膜上就可以形成图像,然后视网膜得神经感知到图像将信息传到大脑,我们就能瞧见东西了。摄像头成像得原理与这个过程非常相似,光线照射景物,景物上得光线反射通过镜头聚焦,图像传感器就会感知到图像。 具体部分就是这样得,摄像头按一定得分辨率,以隔行扫描得方式采集图像上得点,当扫描到某点时,就通过图像传感芯片将该点处图像得灰度转换成与灰度一一对应得电压值,然后将此电压值通过视频信号端输出。如图1所示,摄像头连续地扫描图像上得一行,则输出就就是 摄像头采集赛道黑线信息是本系统赛道信息获取的主要途径，本章将从摄像头工作原理、图像采样电路设计、和采样程序流程图三个方面进行介绍。 8.1 摄像头工作原理摄像头常分为彩色和黑白两种摄像头，主要工作原理是：按一定的分辨率，以隔行扫描的方式采样图像上的点，当扫描到某点时，就通过图像传感芯片将该点处图像的灰度转换成与灰度成一一对应关系的电压值，然后将此电压值通过视频信号端输出。 在示波器上观察可知摄像头信号如图8.1所示。摄像头连续地扫描图像上的一行，就输出一段连续的电压视频信号，该电压信号的高低起伏正反映了该行图像的灰度变化情况。当扫描完一行，视频信号端就输出一低于最低视频信号电压的电平（如0.3V），并保持一段时间。这样相当于，紧接着每行图像对应的电压信号之后会有一个电压“凹槽”，此“凹槽”叫做行同步脉冲，它是扫描换行的标志。然后，跳过一行后（因为摄像头是隔行扫描的方式），开始扫描新的一行，如此下去，直到扫描完该场的视频信号，接着就会出现一段场消隐区。此区中有若干个复合消隐脉冲（简称消隐脉冲），在这些消隐脉冲中，有个脉冲，它远宽于（即持续时间长于）其他的消隐脉冲，该消隐脉冲又称为场同步脉冲，它是扫描换场的标志。场同步脉冲标志着新的一场的到来，不过，场消隐区恰好跨在上一场的结尾部分和下一场的开始部分，得等场消隐区过去，下一场的视频信号才真正到来。摄像头每秒扫描25 幅图像，每幅又分奇、偶两场，先奇场后偶场，故每秒扫描50 场图像。奇场时只扫描图像中的奇数行，偶场时则只扫描偶数行。 8.2 图像采样电路设计在本次比赛中赛道仅由黑白两色组成，为了获得赛道特征，只需提取探测画面的灰度信息，而不必提取其色彩信息，所以本设计中采用黑白摄像头。型号为： XB-2001B，分辨率为320*240。为了有效地获取摄像头的视频信号，我们采用LM1881提取行同步脉冲，消隐脉冲和场同步脉冲，电路原理图8.2所示。将视频信号通过一个电容接至LM1881的2脚，即可得到控制单片机进行A/D采样的控制信号行同步HS与奇偶场同步号 ODD/EVEN。 实时图像采集系统的设计与实现 引言 随着数字多媒体技术的不断发展，数字图像处理技术被广泛应用于身份识别、电视会议、监控系统、工业检测等各种商用、民用及工业生产领域中。这些数字图像处理系统中，一个共同的特点的就是数据量庞大，尤其是在图像帧率及分辨率要求比较高的场合下，以指纹识别系统为例，图像分辨率的高低直接影响系统的鲁棒性，一般来说，为了能够清晰的辨别指纹中的特征结构，指纹图像需要达到至少500DPI的分辨率。通常，为了能够满足各类手指大小以及采集方式的要求，图像采集系统的尺寸都不可能做得太小（一般在2英寸以上），这就要求图像解析度至少达到1024×768，最好是1280×1024(1.3M)，如果要做到实时采集和处理（30F/s），数据量将达到1280×1024×30×8＝300Mbit/s。 伴随着超大规模集成电路和DSP处理技术的飞速发展，新的高速CPU和高性能DSP处理芯片不断推出市场，在这些技术的有力支持下，复杂的图像处理算法往往容易实现。与此同时，图像数据采集部分由于缺乏专用芯片的支持，而且受限于系统总线带宽，已经成为数字图像系统中的主要瓶颈所在。 主流的图像采集方式 目前数字图像采集主要采用两种方式： 一种是以专用的数据采集卡，配合PC机的各种高速数据总线如PCI，USB2.0，firewire1394等采集数据。 PC机的优势是拥有大量的高速内存可以用作数据采集时的缓存，而且它的各种数据总线具有比较高的数据传输率，PCI总线的速率为32(Bit)×66＝2112Mbit/s，USB2.0的数据传输峰值可以达到480 Mbit/s，firewire也可以达到400Mbit/s的传输速率。问题在于，PC机的体系结构决定了任何外设都只可能是从设备，只能请求总线资源，而不能主动占有。在Windows(或是Linux)这些实时多任务操作系统的调度下，即使在系统不运行其它应用程序的情况下，系统时间片和系统资源也会被操作系统内核和各类外设分享。尤其是PCI总线，包括内存、硬盘在内的很多PC内置设备都会用到PCI，实际留给采集程序的总线带宽将大打折扣。正因为如此，现在基于PC的数据采集设备性能都不太理想，采集1.3M象素图像时只能达到每秒7、8帧的帧率，达不到实时性要求。 另外，对PC机的依赖直接限制了这类系统的应用范围，也间接提高了系统成本。 另一种方法是基于嵌入式DSP和FPGA的采集方法。通过FPGA或CPLD 的控制和调度，利用DSP的数据通道来采集数据。嵌入式平台具有便携性好，成本较低的优势，越来越多的应用到数字图像处理的各个领域。 一个成熟的系统体系结构要求系统内各部分分工明确，同时又具有一定的通用性和可移植性。嵌入式平台上的DSP芯片在数字信号处理方面有着独到的优势，但是通用性能无法和PC机上的CPU相比，通常主要用来处理复杂的运算。实时数据采集属于简单而繁琐的任务，用DSP完成可谓大材小用，势必影响整个系统的性能。即使是某些DSP可以用DMA方式采集数据，但是由于图像的 单片机摄像头数据采集与处理 题目单片机摄像头数据采集与处理 _自动化学院_院(系) 自动化_专业学 号 08009123 姓名孙博指导教师符影杰顾问教师起止日期 2012.12.20 –2013.06.10 设计地点中心楼 224东南大学毕业设计(论文)报告摘要单片机摄像 头数据采集与处理摘要随着计算机的发展，随着图像采集处理技术的进步和社会 的发展，其被广泛的运用于社会社交，远程医疗及实时监控等各个方面。图像测量 是一种非接触式的检测方法，可应用于工业、民用等许多领域。图像采集与处理是 图像测量的基础，关系到测量的精度与速度。基于单片机摄像头图像采集与处理技 术拥有广泛的应用市场和广阔的发展前景。本文中基于低功耗单片机的摄像式实时 图像测量系统，通过图像测量的方法，可直接安装在常规电表前，采用摄像技术和 图像识别技术实现数据采集，将读表数据直接在单片机中处理并显示出结果，采用 串口传输技术将数据存储于上位机上并显示，无需人工干预，具有成本低、安装简 单、智能化程度高的特点。针对本设计的特点，采用一种基于图像处理技术 的数码 管检测系统，设计了静态图像采集和静态图像处理的控制方案。首先，通过分析与 实验，完成各功能模块核心元件的选型与外围电路设计。经过硬件调试，完成了最 小系统、图像采集、数据存储、结果显示和数据传输等功能模块的硬件设计。其次， 在硬件平台的基础上，实现各个功能模块的软件功能。基于本装置的 控制 要求，分别选用了 MSP430F149 单片机和STC12LE5A60S2 单片机和OV7670 图像传感器作为核心部件，设计并完成了两套图像测量系统。实验结 果表 明，该装置满足测量要求，达到了研究的预期目的。关键词:图像测量、图像 处理、 摄像头、单片机 .I.东南大学毕业设计(论文)报告 Abstract Singlechip camera data acquisition and processing Abstract With the development of computer technology along with the development of image acquisition andprocessing technology and the progress of society image technology is widely used in socialnetworkingtelemedicine and real-time monitoring. Image measurement is a sort of non-contactmeasurement which can be applied to many fields such as industrial civil. Image acquisition andprocessing is the basis of image measurement which is related to the precision and 15个图像采集系统的经典设计应用案例 图像采集是视频信号处理系统的前端部分，正在向高速、高分辨率、高集成化、高可靠性方向发展。图像采集系统在当今工业、军事、医学各个领域都有着极其广泛的应用，如使用在远程监控、安防、远程抄表、可视电话、工业控制、图像模式识别、医疗器械等各个领域都有着广泛的应用。本文为大家介绍的是一些基于不同方案的图像采集系统的设计案例。 基于STM32的嵌入式双目图像采集系统设计 本文基于嵌入式的图像采集系统选择了意法半导体（ST）公司生产的 STM32F103ZET6芯片为主控芯片，FIFO结构的AL422B芯片实现图像数据缓存，SD卡实现图像存储以及四线制电阻触摸屏实现外部控制。实现通过OV7670双摄像头采集图像数据，经主芯片控制存储、显示。 基于TMS320F2812的视频图像采集系统的设计 本设计采用DSP的片上ADC实现图像采集，用DSP和CPLD搭建数据采集系统时，不必外接专业的图像采集芯片，避免了复杂的硬件设计，同时提供了足够的处理能力。本设计采用TI公司的TMS320F2812芯片采集图像，并搭建TMS320C6416t 处理图像，实现了基于DSP的视频图像采集。 基于FPGA的嵌入式图像采集系统设计 本文实现了一种基于CycloneII系列FPGA与视频信号处理芯片SAA7113H的嵌入式图像采集系统。系统结构简单、系统稳定、功耗低、成本低、速度快以及接口方便，可以满足视频监控系统等的需要。图像采集系统中采用FPGA作为采集控制部分，可以提高系统处理的速度及系统的灵活性和适应性，对于不同的视频图像信号，只要在FPGA内对控制逻辑稍作修改，便可实现信号采集。 基于CPLD的线阵CCD图像采集系统 介绍了一种基于CPLD的图像采集系统,详细论述了线阵CCD的驱动方法、图像信号的处理与传输,并给出了测试结果。此系统很好地完成了高速运动状态下的图像采集工作。 基于TMS320F206 DSP的图像采集卡设计方案 在利用电话线传输视频图像这一低比特率多媒体通信领域中，如果选用图像处理的专用芯片，都会使产品价格大幅度标升。本文介绍的采用TI公司的低档DSP 芯片TMS320F206和视频A/D芯片TLC5510的图像采集卡，则为低比特率多媒体通信提供了一个廉价的解决方案。 基于CCD星载相机图像采集电路设计与实现 本文中的CCD相机图像采集电路其CCD传感器接收前端光学系统的成像，偏压电路为CCD传感器提供必需的偏置电压，可编程逻辑器件产生的时序脉冲经过驱动电路对CCD进行控制采集，输出保护电路可对CCD进行有效地防护保护，预处理电路对CCD输出的带噪模拟信号进行处理后便于后续电路使用。 摄像头视频采集压缩及传输原理 摄像头基本的功能还是视频传输，那么它是依靠怎样的原理来实现的呢？所谓视频传输:就是将图片一张张传到屏幕，由于传输速度很快，所以可以让大家看到连续动态的画面，就像放电影一样。一般当画面的传输数量达到每秒24帧时，画面就有了连续性。 下边我们将介绍摄像头视频采集压缩及传输的整个过程。 一．摄像头的工作原理（获取视频数据） 摄像头的工作原理大致为：景物通过镜头（LENS）生成的光学图像投射到图像传感器表面上，然后转为电信号，经过A/D（模数转换）转换后变为数字图像信号，再送到数字信号处理芯片（DSP）中加工处理，再通过USB接口传输到电脑中处理，通过显示器就可以看到图像了。下图是摄像头工作的流程图： 注1：图像传感器（SENSOR）是一种半导体芯片，其表面包含有几十万到几百万的光电二极管。光电二极管受到光照射时，就会产生电荷。 注2：数字信号处理芯片DSP（DIGITAL SIGNAL PROCESSING）功能：主要是通过一系列复杂的数学算法运算，对数字图像信号参数进行优化处理，并把处理后的信号通过USB等接口传到PC等设备。 DSP结构框架: 1. ISP（image signal processor）（镜像信号处理器） 2. JPEG encoder（JPEG图像解码器） 3. USB device controller（USB设备控制器） 而视频要求将获取的视频图像通过互联网传送到异地的电脑上显示出来这其中就涉及到对于获得的视频图像的传输。 在进行这种图片的传输时，必须将图片进行压缩，一般压缩方式有如H.261、JPEG、MPEG 等，否则传输所需的带宽会变得很大。大家用RealPlayer不知是否留意，当播放电影的时候，在播放器的下方会有一个传输速度250kbps、400kbps、1000kbps…画面的质量越高，这个速度也就越大。而摄像头进行视频传输也是这个原理，如果将摄像头的分辨率调到640×480，捕捉到的图片每张大小约为50kb左右，每秒30帧，那么摄像头传输视频所需的速度为50×30/s＝1500kbps＝1.5Mbps。而在实际生活中，人们一般用于网络视频聊天时的分辨率为320×240甚至更低，传输的帧数为每秒24帧。换言之，此时视频传输速率将不到300kbps，人们就可以进行较为流畅的视频传输聊天。如果采用更高的压缩视频方式，如MPEG-1等等，可以将传输速率降低到200kbps不到。这个就是一般视频聊天时，摄像头所需的网络传输速度。 二．视频压缩部分 视频的压缩是视频处理的核心，按照是否实时性可以分为非实时压缩和实时压缩。而视频传输（如QQ视频即时聊天）属于要求视频压缩为实时压缩。 下面对于视频为什么能压缩进行说明。 视频压缩是有损压缩，一般说来，视频压缩的压缩率都很高，能够做到这么 高的压缩率是因为视频图像有着非常大的时间和空间的冗余度。所谓的时间冗余度指的是两帧相邻的图像他们相同位置的像素值比较类似，具有很大的相关性，尤其是静止图像，甚至两帧图像完全相同，对运动图像，通过某种运算（运动估计），应该说他们也具有很高的相关性；而空间相关性指的是同一帧图像，相邻的两个像素也具备一定的相关性。这些相关性 目录 0 前言 (1) 1总体方案设计 (1) 2 系统硬件设计 (3) 3 软件设计 (9) 3.1软件设计概述 (9) 3.2程序流程图 (9) 3.3子程序模块设计 (10) 4系统调试及结果分析 (11) 5结论及进一步设想 (14) 参考文献 (14) 课程设计体会 (15) 附录1 元件清单 (16) 附录2 系统电路图 (17) 附录3 源程序 (18) 基于单片机的图像采集系统 刘杰薇沈阳航空航天大学自动化学院 摘要：传统的工业级图像处理采集系统大多是由CCD摄像头、图像采集卡和PC机组成，虽已得到了广泛的应用，但是它具有结构复杂，成本高，体积大，功耗大等缺点。随着单片机的迅速发展，开发一种智能控制及智能处理功能的微型图像处理采集系统成为可能，并且也克服了传统图像处理采集系统的诸多缺点。 本设计的图像采集系统采用AT89C51单片机为中心器件，利用74LS373寄存器、62256存储器。将软、硬件有机地结合起来，使得系统能够实现对摄像头传输的图像信号的采集，并保存在外置存储芯片中。其中软件系统采用C语言编写程序，包括延时程序、地址顺延程序等，硬件系统利用PROTEUS强大的功能来实现，简单切易于观察，在仿真中就可以观察到实际的工作状态。 关键字：单片机；图像采集；数字摄像头 0前言 近年来随着科技的飞速发展，单片机的应用正在不断的走向深入，同时带动着传统控制检测日新月异更新。在实时检测和自动控制的单片机应用系统中，单片机往往是作为一个核心部件来使用，仅单片机方面的知识是不够的，还要根据具体的硬件结构，以及针对具体的应用对象的软件结合，加以完善。数字图像采集由于其大数据量通常采用DSP等高速处理器来实现。在某些领域方面图像实时性的要求并没有那么高，因此，本文采用STC89C51单片机作为控制器进行图像采集。 1总体方案设计 方案一： 由于C51单片机的RAM存储容量有限，而且受到C51单片机的IO工作频率的限制，直接通过C51单片机采集完整一帧的数字信号很难实现。因此，在C51单片机和数字摄像头之间加入一个先进先出存储器，由PC端通过串口控制C51单片机启动采集信号，采集一帧数据先放入存储器，然后单片机从存储器读出数据并通过串口发送至PC显示。整体设计框图如下： 1、图像采集处理 我们将OpenCV软件安装在安卓手机中，对手机拍照后的图像进行辨别处理以及定位处理，通过蓝牙模块，将信号传给单片机。 示意图： （1）、利用手机进行拍照、识别的原因： 我们查阅相关资料，找到了蓝牙助手v1.0这个软件，它是一款手机软件，实现了对于安卓手机蓝牙的基本操作以及安卓手机与单片机的通信。安装了次软件的安卓手机就可以借助HC-05蓝牙串口模块，控制单片机等系统，并可以接受从单片机等传送来的数据。 利用这个软件的原因是因为此软完成了蓝牙串口协议的设置，开发者使用时可以免去复杂的设置。 （2）、所用设备HC-05蓝牙串口 实物图： 模块与单片机的连接方式： 参数设置： 工作模式：从模式；波特率：9600bps；设备名称：HC-05；配对密码：1234，如按默认参数则无需以下个性设置。所有设置好的参数掉电都可保存）： 1）、给模块提供合适的工作电源，带底板模块的工作电源为3.6~6V，不带底板核心模块为3.3V 2）、正确连接数据线，单片机的TXD和RXD必须与蓝牙模块的RXD,TXD交叉连接 进入AT命令模式有两种方法： a.蓝牙模块工作后拉高KEY脚电平进入AT模式1，LED状态为快闪，此时设置AT命令使用的波特率与通信时波特率一致，如通信时使用9600则此时设置AT命令的波特率 也应该选择9600 b.在模块上电的同时也令KEY脚为高电平，则进入AT模式2，LED状态为慢闪，固定使用38400,8,N,1的通信格式设置参数进入AT模式后只有保持KEY脚为高电平才能使用全部的AT命令。AT命令后面必须有回车换行符。如果使用SSCOM则在字符串输入框输入“AT”并勾选“发送新行”即可。 （3）、手机与蓝牙从机模块的连接及通信测试： 首先打开手机蓝牙，然后用手机的蓝牙管理程序扫描蓝牙设备，这时会找到蓝牙从机模块，然后进入蓝牙助手v1.0这个软件，在此软件中再次查询蓝牙从机模块，这时点击连接，会提示输入密码，例如模块初始配对码为1234。输入后，会提示配对未连接。此操作只要进行一次即可被手机记住，下次自动配对。因为蓝牙设备是串口设备，需要打开端口才可以连接，这时模块的灯还是闪烁的，当你打开端口后，灯才会变成连接成功状态。 下一步进行测试，在蓝牙助手v1.0中，输入字符后点击send，这时数据就会通过蓝牙发送到蓝牙模块，并从模块的TXD发出，此时单片机连接到模块的TXD-RXD进行数据通信了。 （4）、如何利用opencv软件进行物体的识别区分以及定位 识别特定的物体，可以用模板匹配的方法，大致说来就是先拍一张模板，再在图像里检测目标，模板匹配对比的是图像的像素值。 我们设想的具体方式为： 1）、在比赛前，分别拍摄架子上的物品（第一层和第二层），作为OpenCV图像库中的模版图像（patch）；（其角度为正面照，若增强其区分的精确度，则可多角度完成一个物品的模版照） 2）在机器人启动前，我们将要拿去的东西输入进机器人； 3）、寻找一幅图像的匹配的模板，OpenCV已经为我们集成好了相关的功能，具体函数为matchTemplate； 4）、比赛时在现场分5次拍摄图像（每四个物品一次拍成），最中间无巡线部分，采用相隔1S的时间段的频率进行拍摄，知道拍摄出的图片物品在正中间即可，这就确定了物品的位置。 5）、接下来就是在所拍摄的图像中寻找和模板图像（patch）最相似的区域。OpenCV提供给我们的函数matchTemplate。该函数的功能为，在输入源图像Source image（I）中滑动框，寻找各个位置与模板图像Template image（T）的相似度，并将结果保存在结果矩阵result matrix（R）中。该矩阵的每一个点的亮度表示与模板T的匹配程度。然后可以通过函数minMaxLoc定位矩阵R中的最大值； 6）、手机根据找到的物体的位置，生成指令，并通过串口传递给单片机，最后机器人则针对匹配度最高的物品进行拿取操作。 通过查找资料，OpenCV的函数库中能够应用于匹配的方法有一下几种： CV_TM_SQDIFF 平方差匹配法，最好的匹配为0，值越大匹配越差 CV_TM_SQDIFF_NORMED 归一化平方差匹配法无线图像采集系统的设计与实现
基于Labview的图像采集与处理
图像采集系统设计
PCB图像采集系统研究背景意义及国内外现状
对摄像头采集图像的处理(1)
基于摄像头的图像采集与处理应用
基于摄像头的图像采集与处理应用
摄像头图像采集及处理范文
实时图像采集系统的设计与实现
单片机摄像头数据采集与处理
15个图像采集系统的经典设计应用案例
摄像头视频采集压缩及传输原理
基于单片机的图像采集系统设计
图像采集处理模块
相关主题
文本预览