3D深度相机调研【史上最全，不服来战】

读前须知

1. 本文只是学习笔记，只用于学习科普
2. 由于文中参考了上百篇网络文章，很难在参考文章中一一列出，故只列出了几篇比较重要的，如有侵权请联系
3. 本文对列出的公司以及产品都添加了超链接，方便读者直接跳转，如果没有超链接，一般是因为产品已经停产
4. 史上最全是我自己瞎编的，因为我确实没有搜到更全的[/滑稽]，如果有，请你告诉我，我去给他点个赞
5. 文中难免可能有些错误，如果发现请读者指正！谢谢！
6. 文章中的图片都不会添加水印，但是也不是高清，因为基本都是网络上搜集到的。此外你还可以下载文章的word版本和pdf版本，具体链接请查看下文(更新：最近补充了几个产品，上传图片的时候发现csdn应该是改版了，已经不能去掉水印了，所以很抱歉，尽管我很不喜欢水印，但是目前没有办法去掉它；此外，我只更新了博客中的内容，word和pdf中的产品没有更新，有需要的请查看博客)
7. 本文是本人花费两天时间总结出来的，喜欢的麻烦多多转发，点个赞，收个藏，评个论也不是不行[/害羞羞]

1 TOF

1.1 Kinect v2

1.2 PMD CamCube 3.0

1.3 Mesa Swiss Ranger 4000

1.4 Creative Senz3D/DepthSense 525

1.5 ifm

1.6 Basler

1.7 Terabee

1.8 Phab2 Pro

1.9 奥比中光Femto

2 双目视觉

2.1 ZED

2.2 Bumblebee系列

2.3 Leap Motion

2.4 DUO 3D

2.5 Viper工业级双目立体相机

2.6 Carnegie Robotics® MultiSense™ S7

2.7 e-Con Systems Tara Stereo Camera

2.8 SICK® Visionary-T™

SICK是工业用智能传感器和传感技术解决方案的主要制造商之一。独特的产品和服务范围为安全有效地控制流程创造基础，防止发生人身事故并且避免环境污染。
SICK® Visionary-T™系列3D视觉传感器为室内使用提供高度灵活性。基于飞行时间测量，Visionary-T为每个像素实时提供深度信息，包括用于固定式应用。传感器传输完整的原始数据以及针对特定应用经过预处理的数据，此外还可传输分析完毕的测量值，实现简单的传感器应答。性能强大的可视化工具以及可靠的3D信息使Visionary-T成为内部物流、机器人技术或工业车辆等领域的理想解决方案。在一次拍摄中采集超过25000个距离值和强度值，3D信息同样可用于固定式应用，且安装简便，可快速更换传感器。

图2-12 SICK® Visionary-T™
其3D分辨率为144×176，帧率可达30FPS，视场角为69°H×56°V，物理尺寸为162×93×78mm，接口使用以太网接口，支持ROS驱动。

2.9 Arcure Omega

2.10 Nerian SceneScan

2.11 大疆精灵Phantom4 Pro V2.0

大疆在Phantom4上实现了双目立体视觉系统加惯性测量元件构成的视觉里程计，现已停产。飞机上装了两套双目立体视觉系统，一套向前看，一套向下看，一共是四个相机。两套双目立体视觉系统都参与视觉里程计的计算。通常情况下以向下看的双目立体视觉系统为主，如果向下看的相机对着一些特征不明显的环境（比如纯色的地板、海面等等），感受不到什么图像变化，视觉里程计会自动切换到向前看的立体视觉系统做测量计算。虽然精灵4采用的都是较为成熟的机器视觉技术，但是由于精灵4上机载的计算量非常有限，大疆还是下了相当久的苦功去优化算法，并使用了Movidius公司制作的图像算法处理专用芯片，结合Movidius公司的图像处理算法库优化四路图像处理的性能。前视角度为水平60°，垂直±27°，下视角度为前后70°，左右50°。
两套双目立体视觉系统还带来了视觉里程计之外的两个好处：1.向下看的一套双目立体视觉系统可以探测下方地面上物体的三维位置，从而知道地面的距离；2.向前看的一套双目立体视觉系统可以用来探测前方场景中物体的深度，产生深度图进行障碍感知。深度图还可以用于重建一个飞行器周围的局部地图，以进行精细的运动规划。
Phantom4 Pro V2.0是Phantom4的进阶版本，飞机上装了三套双目立体视觉系统，一套向前看，一套向下看，一套向后看，一共是六个相机。前视角度：水平60°，垂直±27°；后视：水平60°，垂直±27°；下视：前后70°，左右50°。适用于表面有丰富纹理，光照条件充足（>15 lux，室内日光灯正常照射环境）。

图2-17 Phantom4 Pro V2.0

2.12 小觅MYNT EYE

2.13 人加智视Human+

2.14 图漾科技

2.15 INDEMIND双目视觉惯性模组

2.16 中科慧眼

中科慧眼2014年10月成立于北京，基于国际领先的双目视觉算法提供车载3D环境感知方案和主动安全系统，是国内率先推出可量产车载后装、准前装、前装立体视觉传感器的高科技公司;是国家高新技术企业、中关村前沿科技企业、中关村高新技术企业、专精特新中小企业；是国内第一家商业化落地立体视觉感知技术的公司；同时也是百度Apollo生态成员，百度Apollo基金投资的国内唯一一家智能视觉传感器高科技企业。

中科慧眼立体（双目）视觉传感器已批量出货，并获得多家商用车厂前装定点，为L0~L5智能驾驶全栈式赋能，为国内80%以上的自动驾驶项目提供双目感知技术。双目视觉传感器兼具激光测距与视觉识别能力，是一种高性价比的智能传感器。

2.16.1 SE1

2.16.2 S1

2.16.3 S2

S2是基于中科慧眼产品研发的适用于乘用车的预警系统，能够在车辆行驶过程中针对潜在碰撞危险向驾驶员发出提醒。

2.16.4 长江3号立体相机

长江 3 号立体相机集成了中科慧眼自研的亚像素级的立体视觉匹配算法，支持实时输出左相机和右相机的图像及与每帧图像对应的深度数据（无需上位机可直接输出），通过配套的SDK可以将视差数据转换为现实世界中的距离数据，测距精度最高可达厘米级。

2.16.5 长江5号立体相机

2.17 元橡科技

元橡科技创立于2017年，国家高新技术企业，智能立体视觉软硬件一体解决方案提供商。

元橡科技深耕立体视觉领域，自研产品可靠性和高精度得到业界广泛认可。自研的双目芯片，实现高帧率，全分辨率高精立体匹配，经过市场验证，真正为用户实现降本增效，为立体机器视觉领域添上一枚“中国芯”。

元橡科技以北京为研发中心，在上海、嘉兴、苏州等地设有子分公司，公司自主创新凝聚力量，不断提升产品性能、功能，持续提高服务品质，服务国内外汽车、工业机器人、智能监控等多个行业。

元橡科技双目产品通过构建三维图像精准识别、测量、检测等，进行全类型感知，无需建模，对运动物体、人、动物等的测量中，图像获取瞬间完成，深度成像分辨率达1080p，纵向分辨率相当于超过1000线，作为软硬件一体的解决方案提供商，鲁棒性更强，帮助客户降本增效，互动体验更佳。

元橡科技产品这块官网没有太具体的信息，只有一些图片：

2.18 OAK

官网：OAKChina

2.18.1 OAK Series 3

OAK Series 3的产品将会搭第三代VPU（Keem Bay）。与上一代VPU Myriad X相比，Keem Bay集成了四核ARM A53，可运行YOCTO Linux，AI推理性能至少提高5倍，立体深度感知将增强。目前，官方消息表示，将会在今年第四季度上市。

Series 3保持了向后兼容性，所以为Myriad X编写的pipeline仍然可以在Keem Bay上运行。

2.18.2 OAK-D-Pro

• 产品特点
• 双目+结构光测距，精度更高
• 与OAK-D用的是一样高像素RGB镜头（IMX378）
• 2个全局快门镜头OV9282（带有IR）
• IR LED
• BNO086 IMU
• 红外镭射激光
• 主动立体深度(无光深度)
• 主动照明(带IR，无光计算机视觉)
• 体积更加小巧，重量更轻
• 板载AI功能：实时3D检测、特征追踪、OCR、人脸识别、边缘检测、人体骨骼、语义分割等
• 支持的平台和语言：Windows10、Ubuntu、树莓派、linux、macOS、Jetson、Python、C++、ROS。
• 支持的框架和神经网络：OpenVINO、Kaldi、Caffe、ONNX、MXNe、TensorFlow、Pytorch、MobileNetv2SSD、Deeplabv3+、YOLOv3/v4/v5等等。
  
  
  

  
  
  
  
  
  

3 结构光

3.1 Kinect v1

3.2 Intel RealSense

Intel® RealSense™深度摄像头D415和D435将Intel D4视觉处理器和深度模块集成在外形小巧、功能强大、成本低廉、可立即部署的封装中。Intel® RealSense™ D400系列摄像头设计用于实现轻松设置和便于携带，是将深度感应应用到设备中的开发者、制造者和创新者的理想选择。这些摄像头可捕获室内或室外环境，具有远距离功能以及高达1280×720的深度分辨率（30帧每秒 (fps)）。

AD-Census算法来自于中国学者Xing Mei等在ICCV2011发表的论文《On Building an Accurate Stereo Matching System on Graphics Hardware》。算法效率高、效果出色，Intel RealSense D400就是基于该算法实现的立体匹配。

3.3 HP 3D Scanner Pro S3

3.4 PrimeSense

3.5 Mantis Vision

3.6 Xtion Pro

3.7 Zivid One+

3.8 optonic

3.9 Pickit

3.10 Photonneo

3.11 奥比中光Astra+

Astra+为奥比中光Astra系列的全新升级产品，外壳采用可拆卸、模块化的设计。拥有独特的智能主动散热系统，在严苛环境下仍能稳定输出高质量的深度图像。
接口升级为USB3.0，可提供更高带宽，USB Type-C带锁定接口，连接方便且稳定；底座采用标准的三角架接口设计，客户可灵活配置不同形态底座，方便固定使用。其测量原理采用的3D结构光技术。

图3-15 奥比中光Astra+
其规格参数等如图3-16所示：

图3-16 Astra+规格参数

4 智能门锁应用

4.1 奥比中光U2

U2门锁人脸识别模组，基于奥比中光结构光技术设计并采用第三代自研深度引擎MX6300芯片，内置算法版，体积更小，功耗更低，更加便于门锁组装。通过3D多模态人脸识别技术，实现金融支付安全等级，对逆光、暗光、强光、不同身高、人脸姿态、人脸遮挡等应用场景均有良好适应性。该模组通过class1、ROHS以及BCTC增强级活体认证和人脸辨识算法双重认证。

图4-2 奥比中光U2
其物理尺寸为41mmL×15.2mmW×8.72mmH，深度距离为0.3m-1.0m，识别一次的平均功耗为0.57W，精度为1m±5mm，视场角为H(50±2)°V(61±2)°，适用于室内和半户外，通过串口来进行通讯，可以识别1.2m-2m身高，支持自学习和挟持报警。

4.2 ReadSense极光

4.3 皇家金盾S2-DM

5 手机应用

5.1 结构光

3D结构光在消费电子领域的商用最早可追溯到2009年，微软与以色列3D感测公司PrimeSense合作发布了搭载3D结构光模组的体感设备Kinect一代，2010年11月上市后，该产品成为2011年销售最快的消费电子设备。尽管产品大获成功，但第一代Kinect的准确度、图像分辨率和响应速度并不理想，微软在2009年和2010年先后收购了以色列TOF相机公司3DV Systems和3D手势识别公司Canesta，并在2013年终止了与PrimeSense的合作，自行研发推出搭载TOF摄像头的Kinect2代产品。然而好景不长，由于缺乏爆款游戏应用、硬件亏本销售等问题的存在，2017年10月微软表示已经停止生产Kinect，自2011年上市以来累计销量仅3500万部。尽管Kinect失败，但在游戏市场的沉淀使得3D感测技术日益成熟，2017年苹果发布iPhone X，首次搭载3D结构光模组，可实现3D人脸识别技术，成为苹果近两年最大的创新。此前由于半导体工艺等多方面技术的限制，3D感测很难应用到体积非常有限、功耗要求低的手机上，因此iPhone X的发布是3D结构光技术的重大突破，市场对3D结构光技术的热情重新点燃。苹果的3D结构光方案正是来自为微软Kinect一代提供技术方案的PrimeSense，苹果在2013年11月宣布以3.6亿美元收购该公司。苹果之外，主要3D结构光方案厂商还有美国的英特尔、高通/Himax，以色列Mantis Vision以及国内华为、奥比中光等公司。2014年英特尔发布全球首款内嵌于各种智能设备的3D景深摄像头RealSense，采用3D结构光技术，应用在联想、戴尔等多款超级本电脑以及无人机等设备中。同年高通宣布与影像IC设计公司奇景光电Himax合作提供高分辨率、低功耗的3D结构光模组SLiMTM。iPhone X发布后，国内小米、华为和OPPO也先后发布了首款搭载3D结构光模组的智能手机，其中小米采用的是以色列Mantis Vision公司的解决方案，华为采用的是自研方案，OPPO采用的是国内公司奥比中光的解决方案。苹果在2018年和2019年的iPhone新产品中也全部搭载了3D结构光模组。目前已经发布的搭载3D结构光模组的智能手机包括苹果的iPhone X以后的所有机型，华为的Mate20 Pro、荣耀Magic 2和Mate30 Pro，小米的小米8探索版以及OPPO的OPPO Find X。据DigiTimes数据，2018年搭载3D结构光的智能手机整体约1亿台，其中苹果占比约88%。

5.1.1 iPhone X

2017年9月，苹果公司发布了iPhone X，iPhone X的深度相机采用：单目IR+投影红外点阵+ASIC方案，通过前置点阵投影器将超过30000个肉眼不可见的光点投影到人脸，再根据红外镜头接收到的反射光点，就可以计算得到人脸深度图。 RGB摄像头拍摄的2D人脸结合计算的深度人脸信息，经过算法处理就可以绘制出精确细致的3D人脸。该技术安全性极高，可以轻松的识别出普通RGB相机难以处理的利用打印照片、软件合成、面具等进行的人脸识别攻击，可以安全方便的进行人脸活体检测。该技术用于iPhone的人脸解锁方案，称为FaceID，是iPhone X最重要的新功能之一。

图5-1 iPhone X摄像头

5.1.2 小米8

5.1.3 OPPO Find X

5.1.4 华为Mate 20 Pro

5.2 TOF

TOF最早的商用可追溯到2006年7月，衍生自CSEM（瑞士电子与微技术中心）的MESA Imaging公司成立，并推出商用TOF摄像头产品系列SwissRanger，最开始应用于汽车的被动安全检测。2014年，MESA被新加坡微型光学器件厂商Heptagon收购，Heptagon在2016年又被奥地利知名传感器厂商AMS收购，在小型化TOF传感器领域已经具备了一定优势。2013年，微软在第二代Kinect中采用了TOF技术，方案来自2010年收购的TOF相机公司3DV Systems。2015年，索尼索尼收购比利时手势识别技术公司SoftKinetic，该公司拥有知名DepthSense TOF感测系统，两年后索尼就发布了全球最小的TOF模组。TOF技术首次应用到智能手机是在2016年，Google和联想合作推出了全球首个搭载TOF模组的智能手机Phab2Pro，采用的是pmd/英飞凌的TOF方案，该手机可实现一些如三维测量等简易的AR应用，但并没有引起市场较大的反响。英飞凌和德国3D感测公司pmd在TOF领域合作了数十年，并开发出了知名的REAL3 TOF传感器芯片，其中pmd主要提供TOF像素矩阵，英飞凌主要提供芯片上系统（SoC）集成的所有功能组件，并开发相应的制造工艺，该方案还用在了华硕2017年发布的AR智能手机Zenfone上。2018年8月6日，OPPO在北京召开了TOF技术沟通会，并在8月23日发布了其首部搭载TOF摄像头的智能手机OPPO R17 Pro，采用了Sony的解决方案。随后在2018年12月，vivo发布了其首部搭载TOF摄像头的智能手机vivo NEX双屏版，采用了松下的解决方案；华为发布了其首部搭载TOF摄像头模组的智能手机荣耀V20，采用的是OPPO R17 Pro相同的TOF方案。进入2019年后，安卓厂商纷纷加入TOF镜头的阵营，2019年2月，三星发布了Galaxy S10 5G，前后分别各搭载一颗TOF镜头；LG发布了LG G8 ThinQ，搭载后置TOF镜头，采用了英飞凌的解决方案；联想发布了Z6 Pro 5G手机，搭载了后置TOF镜头。华为在6月份在中端机型nova 5 Pro上也搭载了后置TOF镜头。

5.2.1 华硕 Zenfone

5.2.2 OPPO R17 Pro

附录

1 Kinect比较

2 各方法对比总结

本文下载

里面包括本文的word版本和pdf版本，方便大家查阅。

链接: https://pan.baidu.com/s/1M_a3Pl7mO4YGDxymZKXHcg 提取码: 8fui 

参考文章

1. 3D相机技术调研(飞行时间TOF+双目+结构光)
2. 3D成像方法 汇总（原理解析）— 双目视觉、激光三角、结构光、ToF、光场、全息
3. 结构光3D成像原理及应用
4. （五）深度相机：结构光、TOF、双目相机
5. 三种主流深度相机介绍
6. 常用的3D深度相机汇总
7. 【翻译】Kinect v1和Kinect v2的彻底比较
8. Kinect介绍
9. 3D结构光、TOF产业链解析：手机厂为何偏爱TOF方案？
10. TOF行业前瞻报告：TOF有望成为3D感测主流方案