机器人立体视觉同步采集技术研究

立体嘲获燃术在机器人立体视觉、航拍、汽车摄像等工程领域的嘲实时获韧空间位置计算具有重要应用 ，其关键技术主要集中在双摄像同步采集、视差匹配陕速计算、图像特征提取等方面。双摄像帧同步采集是立体嘲获取的关键前提，是立体匹配与特征提取的基矗目前使用分立摄像头的立体视觉采集方法主要有以下三种。(1)基于 DirectShow单摄像原理，创建两个图像采集设备，在自定义的过滤器中合成后输出，实现双摄像头数据合并与显示，动、静态嘲下都会存在两路摄像丢直，这种方法在监控领域有着广泛应用目。(2)使用 DirectShow技术，复制单摄像原理，建立相同的两个数据流处理流程 ，由于没有相应关联及实时反馈，动态场景下会出现左右图像丢直。(3)采用嵌入式方法控制双摄像头同步采集，在摄像设备与计算机之间加入嵌入式控制设备分时读取摄像数据，实时性不高，增加了立体视觉开发难度及成本嘲。

双摄像系统只有帧同步才能保证立体对图像的同步采集，从而保证时序上的匹配性。在机器人拟人视觉方面，针对立体对图像采集时存在帧不完全同步问题，提出-种基于DirectShow技术、利用摄像数据流反馈构建的立体对图像同步采集系统保证立体对图像采集的时序同步。

2 立体嘲获取参数要求立体嘲的获取前提是构建拟人双目视觉进行立体对图像采集，使用平行立体视觉系统，先标定左右摄像头 ，简化后的双目立体视觉成像模型，如图 1所示。图中i -左右摄像头的焦距；左右摄像头间的距离即双目立体视觉系统的基线 ； -空间任意-点，在世界坐标系的坐标为( ，y，z)。 在左(右)摄像坐标系下的坐标分别为(X1，Y，， )，(ZY )，其中，2FJ 左右摄像是水平平行配置，没有垂直方向视差，只有水平方向视差。

将左(右)摄像头移到世界坐标系统的原点，右(左)摄像头保持同步移动，Z为 点到小孑L处的距离，则 点在左、右图像中的 坐标表示为：， ， (1)1 )因为基线长度是 曰，并存在关系X 曰，左右图像视差为来稿日期：2012-09-12基金项目：江西侍育厅重点科技项目(GJJ09012)作者简介：梁发云，(I970-)，男，安徽肥东县人，博士，硕导，副教授 ，主要研究方向：裸眼立体与虚拟现实技术l72 梁发云等：机器人立体视觉同步采集技术研究 第7期p -，求解得到距离：Z尝 (2)式(2)表示 ，物体与像平面的距离 z和视差 P有关联，视差大小与景深成反比例关系，即左有图像视差中包含嘲的物体空间信息。根据视差 P、基线 B和焦距 厂可以汁算出点的空间坐标，然后确定同-点在左右图像中的对应关系，得到相应的视差图像，实现立体嘲恢复与重建。

xB/2 x0 B/2图 1双目 L体视觉成像模型Fig.1 hnagig Model of Binocular Stereo Vision基于立体嘲重建原理以及嘲获取时景深与视差的关系，立体嘲获取时首先选取两个同等参数摄像头，满足如下参数要求：精确调整左右摄像位置关系，防止左右摄像坐标系旋转导致的同-空间点在左右罔像上的位置 、形状变化；保证左右摄像头调焦参数同步，避免出现左右图像大小差异、旋转运动差异、图像质量差异和垂直误差；立体嘲获取时通过软件特性保证左右摄像数据流严格同步，包括左右摄像头同步识别、同步开始采集及采集过程中的帧同步，防止出现左右图像的左丢烛右丢直。

3机器人立体视觉系统立体视觉系统框罔，曼几图 2所示。利用两个摄像头采集左右格式立体对图像，然后经过立体处理程序显示在裸眼3D显示器上 ，人眼可以直接观看到立体效果，或通过机器人立体视觉处理平台实现机器人双目测距 与 体嘲重建。

CCDlCCD2H 同步采集系统l l立体对图像- - 篷 擘l I 臻图2立体视觉系统框图Fig.2 Block diagram of Stereo Vision System立体视觉系统包括 ：两个具有相同参数的 CMOS摄像头，安装有 DirectX SDK的计算机主机，裸眼3D显示器。如果摄像设备采集输出的的不是数字信号，需要应用图像采集卡1]啭 模拟信号转换成数字信号。使用USB CMOS数字摄像头。

该系统目的是采集左右格式立体对图像 ，为保证双目视差，在运行系统前需调整双 CMOS摄像头的安装参数并使其完全-样。同时进行双目摄像标定，先分别对左右摄像头标定得到其内外参数，再通过同-世界坐标中的-组定标点建立左右摄像头间的位置关系。双 CMOS摄像头的安装距离为 6.5cm，在-个拥有高线性精度的导轨上可以左右移动，使双摄像图像平面位于同-平面上，并且保证双摄像头坐标轴平行、水平轴重合，调整使其符合并模拟人的双眼视差实现立体视觉。

4立体对图像同步采集方法采集系统软件是基lF DirectShow技术的应用程序，采用Microsoft Visual Studio 2005开发平台，配置相应的 DirectShow开发环境。基于 DirectShow的应用程序采用过滤器网管理器(FilterGraph Manager)控制各类过滤器(Filter)的连接以及多媒体流在过滤器图(FilterGraph)中的流向。本系统使用相同参数的双摄像头模拟人的双眼(称为左右眼”)，具有相同的友好名字(如同5中显示的 USB视频设备 1和 USB视频设备 2)，使用 Graph Edit查找 Capture Filter Souree可以得到左右摄像头分别相对应的示名字，根据双摄像头构建两路源过滤器。系统视频捕捉过滤器连接图，如图 3所示。从 CMOS摄像头经过-系列过滤器流处理后存储到计算机文件系统或者传输到裸眼 3D 示屏幕 上。

图3视频捕捉过滤器连接图Fig.3 Graph of Video Capture Filter立体对图像同步采集的关键在于注册、枚举两个摄像头，创建关联的两个设备捕捉过滤器及构建两个捕捉过滤器图链路并在程序中使用关联反馈方法，实现左右摄像设备同时枚举 、左右两路数据流在两个过滤器图表中同步流动。存程序之初先进行初始化 COM，结束调用时反初始化 COM。创建基本组件如过滤器图表管理 器 (Filter Graph Manager)、视频捕捉 图表构 造器(Capture Graph Builder)、源过滤器 (Snuree Fiher)、Grab Filter、Infee Filter、Render Filter、NUI I Render Filter等，通过过滤器图管理器获扔口如 Media Control、Video Window Control，这些组件同时创建两个，基于这些组件同时构建两路过滤器图。为防止出现 Capture Filter只有捕捉管脚没有预览管脚 ，同时插入两个Smart Tee Filter，为增加预览捕捉管脚 Capture Filter必须被连接到 Smart Tee Filter，这个过滤器分数据流为捕捉流与预览流两路。

根据左右两路多媒体数据流流向，给出左右格式立体图像同步采集主要算法。系统程序流程图，如图4所示。

(1)枚举双摄像设备 ，采取循环枚举视频采集设备的方法 ，只有发现两个摄像设备同时存在后转入下-流程，同时引人左右摄像数据流反馈模式，如果某-摄像头fJ现故障中断采集。

(2)构建两个 filter graph链路，其多媒体数据流流向如视频捕捉过滤器图，如图3所示。具体的过滤器链路构建方法见系统程序流程图，如图4所示。

(4)通过构建显示窗 口函数 SetDisplayWindow(m-camera，174 机械 设 计 与制造No.7July.201 3 图 9立体图像 2Fig.9 Stereo Image 2选取图像中魔方上顶点为特征点进行视差分析，静态嘲左右图像视差实验，如表 1所示。动态嘲左右图像视差实验.如表 2所示。实验数据表明：静态嘲左右图像几乎没有垂直视差，只有水平视差；动态嘲下，水平视差也在合适的观看范围内，但垂直视差会出现微波动。因为操作问题或左右摄像头参数不完全- 致性导致水平视差与垂直视差存在微小波动，但基本控制在很小的范围内，几乎可以忽略不计。

表 1动态图像 1视差分析Tab.1 Paralax Analysis of Dynamic Image 1为验证方法帧同步效果，对引言所提文献中方法进行试验.从表 3中可以看出文献中方法在动态嘲下丢帧尤为严重，而这里方法解决了这个问题。同时进行动态嘲视差效果对比试验，统计数据表明：方法实现了帧同步，获取的图像视差比较稳定，而帧不同步时不能得到合适的视差图像，在测距方面也存在-定误差 应用方法的图像帧速率与引言中方法 3相比有-定提高，实时性好。

表 3左右图像丢轴果比较Tab.3 Results Comparison of Left-RightImage Throwing Frame通过实验分析得出：在静态嘲下，如果左右图像帧不同步，仍然可以合成立体图像；在动态嘲下，如果左右图像帧稍微不同步，就会出现左右图像帧数相同但开始采集时间不同的问题，导致进行左右合成的不是立体嘲拍摄的同-帧，合成后的立体图像就不能呈现良好的立体效果。在机器人立体视觉领域，对于立体嘲获闰双目测距 ，不管是静态嘲还是动态嘲，- 旦出现丢直，就不能正确重建三维嘲，也不能得到真实物体距离，也许偏差很小，但在工程应用领域依然不容忽视。

6结束语基于 DirectShow技术设计的左右格式立体对图像同步采集系统 ，引入左右摄像数据流反馈方式，在摄像过程中利用软件实时调整并获取立体图像对，严格保证左右图像采集时的帧同步。

通过分析帧同步与左右图像视差的关系验证同步性的重要性。不管是静态嘲拍摄还是动态嘲拍摄，在多次实际运行中系统稳定可靠，获得的左右格式立体对图像清晰，既满足了立体嘲获取参数要求还能够获得适合观看需要的立体对图像视差 ，可用于立体嘲恢复、重建与机器人测距，及 3D视频获龋