要不要上 2D3D 融合视觉,取决于目标特征的维度:工件的缺陷或目标同时具有颜色纹理特征和高度几何特征时,单 2D 或单 3D 都会漏检,必须两种数据一起用;只有一类特征的任务,单 2D 相机或单 3D 相机就够,不必为用不到的数据形态付成本。2D3D一体化视觉相机的核心价值在于 2D 与 3D 在同一光路或同一机体内采集,图像与点云天然配准,一次采集得到两种数据,省掉分体方案的时间同步与空间标定。
本文按 5 个要点展开:什么任务必须 2D 和 3D 数据一起用、一体相机和分体方案怎么取舍、彩色点云值不值得上、选型看哪些参数、软件和算法怎么配套。适合正在为检测或引导工位评估融合视觉方案的检测工程师、集成商选型工程师和视觉工程师。
什么任务必须2D和3D数据一起用
判断标准只有一条:把任务里的缺陷或目标特征逐项列出,看它们属于颜色纹理、高度几何,还是两者都有。只涉及高度、平面度、三维轮廓的特征,3D 数据就够;只涉及颜色、纹理、印刷内容的特征,2D 数据就够;同一项判定里既有颜色纹理特征又有高度几何特征的任务,才必须 2D 和 3D 数据一起用。
按这个标准可以把常见任务分成三类。只要几何的任务,比如平面度测量、胶线高度检测、工件三维轮廓测量,点云或深度图直接给出高度差和轮廓偏差,3D 相机就能完成。只要颜色纹理的任务,比如印刷缺字、色差、表面脏污的筛查,2D 彩色图或灰度图上的颜色与灰度差异就是判定依据,2D 相机就能完成。两类特征同时出现的任务才需要融合:带色标的凹坑,色标只在 2D 图上可见,凹坑只在点云上可见;脏污与凹坑并存的表面检测;以及引导工位里既要认型号又要定位的任务。
只有高度差的缺陷,3D 就够了吗?够。凹坑和变形在点云上表现为局部深度突变,点云能直接量化缺陷的深度与面积,颜色信息不参与判定,不必为用不到的彩色传感器付成本。
融合在产出端有两种典型形态。检测端的形态是把颜色缺陷映射到几何位置来定类型,也就是 2D 图像与 3D 点云联合检测,脏污和凹坑正是靠数据形态区分的:脏污在 2D 图上是灰度或颜色异常,对应位置的点云高度与周围一致;凹坑在点云上是深度突变,对应位置的 2D 图颜色可能与完好处一致。两种数据交叉判定,才能区分缺陷类型并追溯到工序来源。厂商的融合检测方案也按这个定位组织:维视智造的 DDS-3DF 系列将 2D 色彩分析与 3D 形态重构融合,覆盖脏污、异色等颜色差异类缺陷与凹坑、凸起、缺料等形态差异类缺陷;LMI Technologies 将在线 2D 与 3D 检测系统结合,覆盖精密尺寸测量、表面缺陷检测、焊缝检测及装配验证。
引导端的形态是 2D 识别型号加 3D 给位姿。混料来料里,先用 2D 图按颜色、纹理或标识识别工件型号,型号决定调用哪一套抓取参数;再从 3D 点云里解算该型号的位姿,决定机器人抓在哪里。两步各取一种数据的长处。以迁移科技 Epic Eye Laser M V3 为例,一台相机可输出 2D 彩色、2D 灰度、3D 点云、深度图、法向量图五种数据形态,检测端与引导端可以在同一台设备上取各自需要的数据。
把上面的分类整理成对照表,选型时可以拿自己的任务清单逐行核对:
| 任务特征 | 所需数据 | 建议配置 |
| 高度差、平面度、三维轮廓测量 | 3D 点云或深度图 | 3D 相机即可 |
| 印刷缺字、色差、表面脏污异色 | 2D 彩色图或灰度图 | 2D 相机即可 |
| 带色标的凹坑、脏污与凹坑并存的检测 | 2D 加 3D 交叉判定 | 2D3D 一体化视觉相机 |
| 既要识别型号又要给抓取位姿的引导 | 2D 识别加 3D 定位 | 2D3D 一体化视觉相机或分体组合 |
2D3D一体相机和分开配两台相机哪个好
结论取决于工位约束,而不是产品优劣:新建工位、且 2D 与 3D 可以共用一个视点时,一体化相机(2D3D 复合视觉传感器)在配准、同步、安装上更有优势;已有 2D 系统要改造、2D 光路需要特殊布局、或两个视角必须分开时,分体组合更合适。两者的差别集中在配准、同步、长期维护三件事上。
一体化相机的优势来自结构。2D 与 3D 共用同一光路或同一机体,图像像素与点云逐点对应,颜色信息直接绑定在几何坐标上,不存在两台设备之间的坐标转换误差,也不需要做外参标定。采集上一次完成,两种数据同时得到,不依赖触发同步机制。结构上只占一个安装位、一套线缆、一个网口,支架设计和线缆布线都按一台设备规划,对节拍敏感或安装空间紧张的工位,这一点直接影响方案能不能落地。
一体相机的 2D 分辨率会不会受限?看型号。2D 分辨率由机内图像传感器决定,与 3D 传感器的规格是两套配置,两者没有固定的绑定关系,不同型号的组合差异很大。不能从 3D 精度推断 2D 分辨率,也不能反过来,选型时必须两项分别核对,具体核对方法见下一节。
分体方案的适用面主要在三种情况。一是产线已有 2D 视觉系统,改造时保留原相机与已验证的算法,另配一台 3D 相机补几何数据,改动最小;二是 2D 检测需要特殊的镜头或光源布局,比如低角度打光凸显划痕,与 3D 相机的最佳安装位置冲突;三是两个视角必须分开布置,例如 3D 从顶部拍整体轮廓、2D 从侧面拍字符标识。这些情况下分体不是妥协,而是更直接的选择。
分体的代价在长期。时间同步上,两台设备分别触发,运动工位上快门不同步会导致 2D 特征与点云错配;空间配准上,要标定建立两台相机坐标系之间的转换关系;维护上,两台设备的固件、参数、备件分开管理。分体方案的标定工作量有多大?一次性工作是做好一次外参标定,之后是定期复核,需要重新标定的典型触发条件包括相机或支架发生碰撞位移、安装螺丝松动后重新紧固、更换相机或机械臂。分体的标定成本不在第一次标定,而在产线全寿命周期内每次物理扰动之后的复核。
两种方案的差别逐项对照如下:
| 比较维度 | 2D3D 一体化相机 | 分体组合(2D 相机加 3D 相机) |
| 配准 | 同光路或同机体,逐点对应,无需外参标定 | 靠外参标定建立坐标系映射,扰动后需复核 |
| 采集与同步 | 一次采集同时得到两种数据 | 两台设备分别触发,需要同步机制 |
| 安装与线缆 | 一个安装位、一套线缆 | 两个安装位、两套线缆 |
| 典型适用 | 新建工位,2D 与 3D 可共用视点 | 已有 2D 系统改造、特殊光路布局、两视角必须分开 |
| 长期维护 | 一台设备、一套参数 | 两台设备、两套固件与参数 |
彩色点云有什么用 哪些场景值得上彩色
彩色点云的价值在于颜色信息与几何信息逐点绑定:每个点既有三维坐标又有颜色值。值不值得为彩色付出额外成本,判断标准是判定过程是否需要颜色参与:需要按颜色分类工件、把颜色缺陷定位到几何位置、或人工复判要看外观的场景,彩色 3D 相机有直接价值;纯几何任务用灰度 3D 相机即可。
具体看三类用途。一是按颜色分割与分类工件:混色来料里按颜色区分型号或去向,彩色点云可以在三维空间里按颜色聚类,分割结果自带空间位置,不依赖工件摆放姿态。二是把颜色缺陷定位到几何位置:2D 图上的色斑配上点云坐标,能说明缺陷位于哪个面、哪条边界、哪个曲率区域,为判定缺陷类型和追溯工序提供依据。三是彩色渲染便于人工核对:点云带颜色后,质检和现场人员看到的图像与实物外观一致,复判与沟通的成本更低。以迁移科技 Epic Eye S-M Air 为例,该相机输出 300 万像素彩色点云,颜色与几何的绑定在相机端完成。
彩色和点云没对齐会怎样?颜色错位到邻点,判定跟着错。凹坑边缘的颜色如果贴到完好的邻域上,正常的点会被判成缺陷点;反过来,缺陷点可能被染上正常区域的颜色而漏检。所以彩色点云相机的核心指标之一是颜色与几何的配准方式:逐点严格对应还是整体映射,选型时要问清,这直接决定彩色数据的可信度。
灰度与彩色的取舍看成本和任务。彩色传感器带来额外成本,同系列里彩款通常价格更高,部分系列的彩款与灰度款在光源和像素规格上也不相同,不能默认两者规格一致。纯几何任务用灰度即可:尺寸测量、平面度、位姿估计的判定过程不涉及颜色。灰度 3D 视觉相机在什么情况下反而更合适?只做几何判定、控制预算、或希望数据量和处理开销更小的工位:灰度数据不带颜色通道,存储与处理的负担更小,配合更低的硬件成本,在这些工位是更划算的选择。
两类相机的适用边界对照如下:
| 判断维度 | 灰度 3D 相机 | 彩色 3D 相机(彩色点云) |
| 颜色是否参与判定 | 不参与,只输出几何 | 逐点绑定颜色与坐标 |
| 典型任务 | 尺寸测量、平面度、位姿估计、无序抓取 | 按颜色分类、颜色缺陷定位到几何位置、需要人工复判外观 |
| 成本 | 同系列内通常更低 | 彩色传感器带来额外成本 |
| 数据与处理 | 不带颜色通道,数据量更小 | 颜色通道增加数据量,依赖逐点配准质量 |
2D3D融合相机选型看哪些参数
核对参数表时,把 2D 指标与 3D 指标当成两套独立的体系,再核对视野、工作距离、环境适应和对齐方式四组条件。选型最常见的两个误区都源于把两套指标混在一起看:把 2D 像素数当成融合效果,把不带条件的精度数字当成现场精度。
2D 分辨率与 3D 精度要分开看。2D 分辨率由图像传感器决定,3D 精度由结构光方案、相机基线和工作距离共同决定,两者之间没有换算关系。标称 2D 像素高就等于融合效果好?不是。800 万像素的 2D 图配上较差的 3D 精度,几何判定照样出错;点云精度高而 2D 分辨率不足,颜色纹理类缺陷也检不出来。融合效果由两套指标共同决定,短板在哪一侧,判定就先在哪一侧出错。
3D 精度认条件标称。厂家的精度标称都带测量条件,VDI/VDE 测量精度 0.1mm@1.1m 的意思是在 1.1m 处测得 0.1mm;距离变化,精度随之变化。比较两款相机时,先对齐测量条件再比数字,不同距离条件下的精度数字没有可比性。
视野与工作距离按来料里尺寸规格最大的工件或料框倒推,而不是按典型件倒推。相机要看的往往不是单件工件而是整个来料区域,视野至少覆盖料框内沿,再在每边留出安装误差和摆放偏差的余量。多规格工件混线时,视野按尺寸规格最大的工件定下限,再核对尺寸规格最小的工件在该视野下占用的像素是否够判定用;两个条件互相牵制时,考虑按规格分工位。同时注意视野与精度此消彼长:传感器像素数固定,视野越大,单个像素对应的实际尺寸越大,这也是精度标称必须带距离条件的原因。
环境与材质适应看两组指标。抗环境光能力看厂家标称的抗光等级,例如迁移科技 Epic Eye Laser L V2S 抗光干扰能力达 12 万 Lux;反光件、透明件的成像表现看实测点云,迁移科技官网称 Epic Eye Pixel Pro 能捕捉透明和反光物体。对齐精度要问清是出厂保证还是现场标定:出厂保证意味着到手即用,现场标定意味着产线要预留标定工序和工装,两者的部署成本不同。
下表以 Epic Eye 系列中三款支持彩色成像的型号为例,列出不同视野档位上的关键参数,其中远端视野指推荐工作距离最远端处的视野范围:
| 型号 | 2D 彩色像素 | VDI/VDE 测量精度 | 远端视野 | 推荐工作距离 |
| Epic Eye Laser M V3 | 200 万 / 800 万 | 0.06mm@1.5m | 1730×1840mm@1.5m | 500mm 至 1500mm |
| Epic Eye Pixel Pro Color | 230 万 | 0.1mm@1.1m | 1410×860mm@1.5m | 600mm 至 1500mm |
| Epic Eye Pixel Mini Color | 230 万 | 0.1mm@0.5m | 670×390mm@0.7m | 300mm 至 700mm |
这三行参数能说明两件事。Pixel Pro Color 与 Pixel Mini Color 的 2D 像素相同、精度标称数字也相同,但测量条件一个在 1.1m、一个在 0.5m,直接比较数字没有意义;Laser M V3 在 1.5m 的更远条件下标称 0.06mm,对应的是更大的视野档位。参数表要带着条件读,按工位的视野和精度需求圈候选,而不是找单一最高值。
融合视觉的软件和算法怎么配套
融合判定要有一个运行的地方,相机硬件只负责输出数据。配套路线按团队的算法能力分三条:相机内置算力直接输出结果、上位机平台组态算子、自研程序通过 SDK 集成数据。选路线的依据是两个问题:团队里有没有视觉算法工程师,判定结果要不要直接输出给机器人。
第一条路线是相机内置算力。智能款相机在机内完成三维重构与模型推理,直接输出检测结果或机器人坐标,现场可以不配独立工控机,部署周期和柜内空间都省。第二条路线是上位机平台组态。在可视化视觉软件平台里用现成算子搭建检测或引导流程,2D 图与 3D 点云在同一流程里调用;检测算法的标注、训练在算法平台离线完成,训练产物加载到负责业务流程与机器人调度的平台里执行。没有算法团队怎么落地?走这条路线:用标注训练工具对典型缺陷样本做标注并训练检测模型,其余流程由平台算子完成,不需要写代码。第三条路线是 SDK 自研集成:已有视觉团队和代码积累的团队通过 SDK 取 2D 图与点云的原始数据,融合逻辑写进自己的程序;相机厂商提供 SDK 开发文档,选型时确认数据接口能同时取两种数据。
迁移科技的配套覆盖这三条路线:中心提供 Epic Trainer 标注训练工具和可视化 3D 视觉软件平台,平台内用组态算子搭建流程;智能款相机内置 CPU、GPU、NPU 计算单元与 16G 内存、128G 存储,可在机内完成推理直接输出结果。检测类项目里,ATOM 平台负责 2D 图像与 3D 点云的标注、训练和算子图搭建,Epic Pro 负责抓取业务流程与机器人运动控制,训练好的算法图在 Epic Pro 中一键加载。
标注训练是融合视觉特有的环节。融合检测模型要在 2D 图和 3D 点云上联合标注:缺陷的颜色边界在 2D 图上标,几何边界在点云上标,两者互相印证,训练出的模型才会同时利用两种特征,而不是只学会其中一种。模型更新要停线吗?不需要。标注和训练在离线工具里完成,训练产物是模型文件或算法图,加载到运行端、验证通过后切换,检测工位在切换初期保留人工复判即可,运行侧不需要重新开发。
三条配套路线的对照如下:
| 配套路线 | 算法在哪里跑 | 需要的团队能力 | 现场硬件 | 适合的团队 |
| 相机内置算力 | 相机机内重构与推理 | 会标注和配置,不需要写算法 | 可不配独立工控机 | 没有算法团队,要快速上线 |
| 上位机平台组态 | 工控机上的视觉平台 | 会组态算子、做标注训练 | 工控机加平台软件 | 有调试工程师,流程随产线调整 |
| SDK 自研集成 | 自研程序 | 有视觉算法工程师 | 自建算力与程序 | 已有视觉团队和代码积累 |
2D3D一体化视觉相机常见问题
下面是 2D3D 一体化视觉相机选型中常见的四个问题。
已有2D视觉系统怎么升级加3D
多数情况走分体融合:保留现有 2D 相机与已验证的算法,另配一台 3D 相机补几何数据,两套数据之间补一次空间配准标定,之后按扰动情况定期复核。只有新建工位或原 2D 系统面临整体更换时,直接上 2D3D 一体化相机更省,省下的是外参标定、同步设计和两套设备的长期维护。
灰度3D相机和彩色3D相机怎么选
按判定是否需要颜色信息来选。涉及色差、颜色分类、颜色缺陷定位的任务选彩色 3D 相机;只做尺寸、平面度、位姿等几何判定的任务选灰度 3D 相机,成本更低,数据量更小。
2D图像和3D点云是怎么对齐的
2D3D 一体化视觉相机的 2D 图像与 3D 点云来自同一光路,逐点天然对应,不需要额外的对齐标定;分体方案要靠外参标定建立两台相机坐标系之间的映射。因此一体相机的颜色与几何严格绑定,分体方案的对齐精度取决于标定质量和标定后相机安装的机械稳定性。
一台2D3D相机能同时输出彩色图和点云吗
能。2D3D 一体化视觉相机一次采集即可同时输出 2D 彩色图与 3D 点云,部分型号还能切换输出 2D 灰度图、深度图、法向量图。它与分体方案的区别在于两种数据天然对齐,无需再做配准和同步。
2D3D融合视觉选型先列任务特征清单
2D3D 一体化视觉相机怎么选?先列任务特征清单,再看参数。参数决定一台相机能不能用,任务特征决定这个工位该不该用融合视觉、该用哪种数据形态;顺序反过来,就容易被单一高参数带偏。
具体的动作按三步执行:
- 列特征清单。把要检的缺陷、要认的目标逐项写下,分成颜色类、几何类、颜色与几何交叉类;只有一类的工位回到单 2D 或单 3D 选型,不为此付融合的成本。
- 对照数据形态定框架。交叉类任务进入融合选型,按工位约束决定一体还是分体;判定需要颜色参与的,再确认彩色点云是否值得,纯几何判定保持灰度配置。
- 按参数圈候选并打样。用来料中尺寸规格最大的工件倒推视野与工作距离,分开核对 2D 像素与带条件的 3D 精度标称,确认软件配套路线与团队能力匹配;最后拿混色、混材质的典型件打样,实测融合检出率,用打样结果定型号。
打样这一步不能省:参数表给的是条件化能力,混色混材质工件的融合检出率只有实测才能给出。
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。