无人驾驶中激光雷达和视觉感知的区别

  自动驾驶绕不开的一个话题那就是激光雷达和摄像头到底哪个更出色，这样的一个问题一直在行业内争论不休，两大派系各执一词，都能讲出一大堆的理由为什么用此非彼，其实要想明白为何会有这个争论，我们要先了解这两大技术路线背后的原理是什么，各自有哪些优势和不足。

  自动驾驶将汽车的驾驶能力及驾驶责任逐步由人转移到汽车，其最重要的包含感知、决策和执行三大核心环节。

  其中，感知环节相当于人的眼睛和耳朵，主要是通过车载摄像头、激光雷达、毫米波达等各类车载传感器在行车过程中完成对环境及车辆的感知、搜集周围环境数据并将其传输到决策层；决策环节相当于人的大脑，主要是通过操作系统、芯片与计算平台等对接收到的数据来进行实时处理并输出相应的操作与指令任务；执行端则相当于人的四肢，将接收到的操作指令执行到动力供给、方向控制、车灯控制等车辆终端部分。

  本次我们将着重说说感知层，因为感知作为智能驾驶的先决条件，其探测精度、广度与速度直接影响无人驾驶的行驶安全。并且感知层获取的数据将直接影响决策层的判断与执行层的操作，可见在无人驾驶中的地位至关重要。

  视觉派认为人类既然能够最终靠视觉信息+大脑处理，成为一个合格的驾驶者。那么摄像头+深度学习神经网络+计算机硬件，也能够达到类似的效果。

  近期代表企业特斯拉推出基于纯视觉方案的FSDBeta，彻底放弃毫米波雷达。百度发布L4级别纯视觉方案Apollo lite，同样踏上了无人驾驶的南坡之路。

  激光雷达派则是以Waymo为代表的Robotaxi企业，使用机械式激光雷达、毫米波雷达、超声波雷达以及多路摄像头完成L4级别的商业量产落地。

  纯视觉无人驾驶方案从产品分析，目前特斯拉的产品还处于L2的阶段，从今年第一季度的财报上看纯视觉自动驾驶方案是这样解释：目前道路交互与通行系统是基于人类视觉感知神经网络，8个摄像头覆盖360°，比人类感知范围更大更安全；对现实道路的技术还有待突破，无人驾驶不会很快成为主流。

  再看Apollo lite，2020年底百度发布高阶智能驾驶解决方案ANP（Apollo NavigationPilot），宣称能支持高速、城市环线°环视感知，探测距离达240米，应用30+深度学习网络，单卡GPU，算力小于30TOPs。从L4应用降维至L2+级领航辅助驾驶，依靠10相机感知系统，实现不依赖高线数机械式激光雷达的端到端闭环无人驾驶。

  激光雷达是一种用于精准获取物体三维位置信息的传感器，本质上是激光探测和测距，其原理是通过发射与接收激光来探测与目标物之间的距离，再根据目标物表面的反射能量大小、反射波谱幅度、频率和相位等信息，精确绘制出目标物的三维结构信息。而凭借着在目标轮廓测量、角度测量、光照稳定性和通用障碍物检出等方面所具有的极佳性能，激光雷达正在成为L4级及以上无人驾驶的核心配置。

  3D激光雷达在无人驾驶车辆的定位、路径规划、决策、感知等方面有着重要的作用。2022-2025年之间预计绝大部分的主机厂会量产上激光雷达，从国际上看，沃尔沃和Luminar宣布量产，国内蔚来选择图达通的激光雷达作为ET7的标配；小鹏P5搭载了大疆旗下览沃的激光雷达；理想也与禾赛科技展开了下一代车型的合作。由此看来，激光雷达仍然是绝大多数企业走上自动驾驶的必经之路。

  视觉方案中的图像传感器能以高帧率、高分辨率获取周围复杂的环境信息，且价格实惠公道。但图像传感器是一种被动式传感器，其本身并不发光，成像质量受到环境亮度影响较大，在恶劣环境下完成感知任务的难度会大幅提升。

  激光雷达是一种主动式传感器，通过发射脉冲激光并探测目标的散射光特性获取目标的深度信息，具有精度高、范围大、抗干扰能力强的特性。但是，激光雷达获取的数据稀疏无序、难以直接利用，且激光单色的特性让其无法获取颜色和纹理信息，虽然对于旁边的环境测距描绘的能力突出，但却因为缺点太致命，所以必须搭配其它传感器互补使用。

  目前激光雷达感知能力是略强于纯视觉的，很多主机厂商和一级供应商为加速量产落地，难免会通过过多使用激光雷达来回避视觉识别算法、芯片、定位建图等问题。

  马斯克不止一次提过依赖激光雷达的公司都可能无任何出路，或许是跟激光雷达成本过高有关。

  华为在年初宣布成功研发首款96线中长距车规级高性能激光雷达，具备全场景150米的测距能力，拥有120°*25°大视野，能够完全满足对城区、高速等场景的人、车测距要求。同时水平、垂直线束均匀分布，不存在拼接、抖动等情况，形成稳定的点云对后端感知算法也很友好，满足远距离小障碍物、近距离加塞、近端突出物、隧道、十字路口无保护左拐、地库等复杂路况和独特场景，更符合中国当下复杂的路况环境。价格号称从原本的2000美金一套降到200美金左右。特斯拉近期也做了对激光雷达的检测，不知纯视觉派会不会因价格上的优势的出现做出改变。

  到目前为止，小鹏、蔚来、理想、极狐、长城、智己、上汽R、Lucid、沃尔沃和广汽都已经明确将量产搭载激光雷达的车型，而首款搭载激光雷达的量产车小鹏P5也已经正式上市。

  激光雷达的优点是精度较高，探测距离远，可以在一些极端天气下和夜间做到比摄像头更高的精准度，防止车辆的误判，提升安全的冗余度。但目前仍存在成本比较高、难以量产等问题。

  这三类有各自的优缺点，例如机械式发展最成熟，扫描速度快可以360度全方位探测，但是由于其体积较大很难装车量产，造价也是一个大难题；混合固态成本低，适合大规模量产但是视野有限，360度就不行了；纯固态将是未来发展的新趋势，有OPA光学相控阵和Flash两种技术路线，但同样等待技术的进一步突破才能实现量产。目前来看混合固态中的MEMS路线将会是激光雷达发展的主流也是最容易实现前装量产的。

  视觉方案所获数据与人眼感知的真实世界更为相似，有轻硬件、重软件的特性。由于摄像头的价格低，因此视觉方案成本优势明显且更易通过车规测试。此外，摄像头所获的图像数据与人眼感知的真实世界更为相似，形态上最接近人类驾驶，高分辨率、高帧率的成像技术也使得感知到的环境信息更为丰富。

  然而，摄像头在黑暗环境中感知受限，精度及安全性会降低。且由于视觉方案在硬件要求降低的背景下，其对软件的要求显著提升，即需要依靠强大的算法才可能正真的保证图像处理、命令下达和处理的效率。

  在ADAS阶段，决策权仍在在驾驶员手中，其对汽车的软件算法要求相比来说较低，以Mobileye为代表的视觉方案被多数整车厂采用。

  然而，随只能驾驶迈向L3及以上，无人驾驶平台将接替人的大脑进行驾驶决策，对算法和AI的能力要求显著提升，目前仅特斯拉、百度、Mobileye等具备软件和算法基因的厂商完全采用或兼顾视觉方案。纯视觉解决方案多以黑盒方案为主，且L3及以上无人驾驶升级难度大，传统整车厂搭载意愿不强。

  特斯拉凭借“影子模式”与超强算法构筑无人驾驶迭代闭环，其他车企难以复制。特斯拉对汽车的定义是极简化、科技化，其一直在汽车上做减法，对车辆线束长度、零部件数量、生产制造工序都进行大幅下调。在感知方案的选择上，特斯拉贯彻成本更优的视觉方案，在Model3上采用12个超声波雷达、8个摄像头和1个前置雷达收集周边信息，通过其强大的融合算法迅速构建车辆周边的3D模型，在汽车行驶中做出快速决策。

  由于2D图像对物体的左后角的检测（车长的判断）存在一定盲区，车辆尾部的倾斜与向上收窄的设计加剧了对整体宽度的低估，因此，视觉方案的关键便是通过算法根本上解决视觉信息的准确处理，将摄像头捕捉到的2D平面图像转换成精确的3D模型。特斯拉在自动驾驶领域的全栈自研以及其在“模式识别模型”领域的领头羊（即数据规模庞大、数据覆盖多样及数据场景真实）成为其贯彻视觉融合方案的护城河。

  此外，特斯拉的“影子模式”可有效控制算法训练成本，这一模式下数据搜集系统如实时跟随驾驶员的“影子”，始终观察外部环境与驾驶员的动作。若在某个特定场景中驾驶员的操作与“影子”的预判不符，则此次数据会传输到特斯拉的服务器中，对算法进行修正性训练，在下次同场景时予以更正。

  百度、Mobileye采用前装用视觉、Robotaxi用激光雷达的双线并行策略，优化其感知效果。在前装领域，全球AI算法领先企业百度于2020年12月推出名为ANP的“轻传感器、轻算量、强感知”视觉方案。在成本不敏感的Robotaxi领域，百度选择拥抱激光雷达，与激光雷达公司禾赛科技一起定制激光雷达，不仅提升了感知力和可靠性，成本也大幅下降。

  另一方面，以纯视觉传感器方案闻名的Mobileye，通过7个长距摄像头和4个泊车摄像头打造了自己的视觉方案。其中，前置摄像头处于主要感知位，具备120度、800万像素性能，前、后则共布置4个角摄像头，侧后视镜、前后保险杠提供190度的广角摄像头。这些感知摄像头与数据处理端的2个EyeQ5芯片组成了Mobileye的纯视觉系统方案，支持汽车安全地行驶在错综复杂的城市环境中。

  与此同时，公司亦宣布旗下Robotaxi将与著名激光雷达厂商Luminar合作，通过激光雷达、雷达与摄像头的配置综合提升其无人驾驶的感知精确程度，提高车辆行驶安全性与可靠性。可见激光雷达与视觉摄像头在现阶段还没有完全分出高下，多传感器冗余在目前来说是各家厂商比较保守的发展路线。

  曾经激光雷达的成本是非常高的，一套激光雷达设备一度最高能达到7.5万美金，让以马斯克为代表的纯视觉派万万没想到的是，激光雷达的成本比想象中降得更快。

  近年来，随着激光雷达从机械式向固态式发展的趋势，激光雷达实现了快速的成本降低。其中OPA式的固态激光雷达在量产后有希望降到200美元以下。激光雷达成本的迅速下降更得益于中国相关产业链的成熟与完善，将成本迅速降低。特别是中游激光雷达已经有不少国产厂商如禾赛科技、大疆、华为、速腾聚创、镭神智能等。

  之所以目前大部分车厂采取了激光雷达方案，一个重要原因是此方案可以在一定程度上完成较快落地，并可通过多传感器配合实现安全冗余。尤其在短期内，纯视觉方案基于深度学习的算法尚未达到全路况覆盖情况下、安全性仍存疑，激光雷达方案安全性更高。

  而我们回顾马斯克以往的所有有别于常人的举动，无论是SpaceX回收火箭，还是采用消费级元器件，又或是只用摄像头，其本质都是一点：降成本。

  另外，纯视觉方案需要车厂掌握海量用户数据、并自己建立软件开发部门，算法开发难度极高，最早押宝的特斯拉能拥有一马当先的优势，形成技术壁垒。如果竞争对象都用纯视觉方案，那么只能一直跟在特斯拉的后面追赶。

  只是，马斯克唯一没有预料到的就是激光雷达的成本降得这么快，而竞争对手的量产车这么快就上市了。

  马斯克曾经详细解释过他对雷达和摄像头的看法：在雷达波长下，现实世界看起来像一个奇怪的幽灵世界。除了金属，几乎所有东西都是半透明的。当雷达和视觉感知不一致时，你采信哪一个？视觉具有更高的精度，因此投入两倍的精力改善视觉比押注两种传感器的融合更明智。传感器的本质是比特流。摄像头比特/秒的信息量要比雷达和激光雷达高几个数量级。雷达必须有意义地增加比特流的信号/噪声，以使其值得集成。随着视觉解决能力的提高，摄像头的性能将会远远甩开当下的雷达。因此，当视觉与雷达不一致时，马斯克觉得应相信摄像头。

  但马斯克聪明的是他也为自己留了后路，2021年1月1日前后，国外网友在硅谷拍到了一些不太多见的特斯拉车型，有Model S，有Model Y，也有Model X。均搭载了360度覆盖的激光雷达感知系统。据一位前特斯拉工程师的说法，特斯拉采购Luminar的激光雷达由来已久，在摄像头做深度感知的时候，特斯拉会用激光雷达输出的点云数据做人工标注进行比对。

  尽管马斯克多次表态，特斯拉从技术路径层面，不会搭载激光雷达。但行业里一直有一种相当高声量的意见认为，特斯拉不用激光雷达，无非是成本未达到商业化的临界点。我们或许不用太把马斯克说过的话放在心上，毕竟他除了“钢铁侠、火星人”的标签之外，更多是一个成功的商人和营销大师。

  说一千道一万，汽车驾驶，安全可靠才是一切技术的前提，从现今的技术水平来说，采用安全冗余的传感器方案，不失为一种更为靠谱的方法，也能更能让用户安心、放心。不管是纯视觉方案还是雷达的方案，其实都各有优劣，很难用一种传感器打遍天下。

  因此业界的普遍思路是：在一辆可以在一定程度上完成L2及以上功能的车上需要搭载多种传感器，进行大量的冗余设计，才能确定保证产品的安全可靠。目前公认的是，智能驾驶等级越高搭载传感器越多。

  根据车型配置信息的相关统计，智能驾驶在L2需要9-19个传感器，包括超声波雷达、长距离及短距离雷达和环视摄像头，发展到L3预计需要搭载19-27个，在大多数情况下要激光雷达、高精度导航定位等。在目前在售的新势力汽车产品中，均配备了大量摄像头、毫米波雷达、超声波雷达等传感器。

  因此，对于这两大派系来说也许未来真的会在顶峰相见，也没准会一直长期共存下去，毕竟安全是无人驾驶发展的基石与底线，在保证安全的情况下，各种技术路线之间的交融与淘汰都会让安全这件事的概率更接近100%，所以我们期待着视觉算法能进一步突破，变的更贴近人眼的水平；激光雷达产业更加蒸蒸日上，让价格不断下探，更能符合前装量产的要求，让我们共同见证各家技术一起进步为无人驾驶的终极目标添砖加瓦吧。

  洛杉矶运输部门负责人eleta Reynolds表示，尽管无人驾驶技术继续在整个行业达到发展里程碑，但城市必须对基础设施进行数字化转型，以补充无人驾驶（AV）的目标。 Reynolds在周二由媒体公司Axios主办的无人驾驶网络研讨会上说，城市“将无法依靠自动计算来解决行人安全”，这是她在与汽车制造商和软件开发商合作近五年后吸取的教训。她说，取而代之的是，城市需要在私营部门中“吸收与私营部门相同的智慧和敏捷性”，以影响交通安全创新的设计和交付方式。 Reynolds还强调了在城市为无人驾驶汽车做准备时保持公平的重要性，并指出诸如专用无人驾驶汽车专用车道之类的概念可能比一些社区的解决方案产生更多的问题。她说，这些通道将“继续

  汽车发展提供更多的支持 /

  集微网消息，据Unwire Pro报道，商汤科技（SenseTime）日前宣布，专用AI无人驾驶汽车研发基地“AI无人驾驶公园”在日本茨城县常总市正式落成，此基地将用来开发智能驾驶技术和测试无人驾驶车辆。 商汤科技“AI 无人驾驶公园”前身是一所驾校，位于茨城县的西南部，距离东京约50 公里，靠近日本科学研究中心筑波科学城。据悉，该基地还会对外开放大众参观。 商汤科技副总裁兼日本公司总经理劳世竑强调，商汤将充分的利用该测试场地，全力推进无人驾驶的开发与应用。商汤也会与社区紧密合作，利用此基地为常总市创造更多就业机会，并用科技造福社会。 常总市市长神达岳志表示，无人驾驶将会为未来交通体系带来非常大变革，也将有助于

  公园在日本落成 /

  最近一段时间，接连有2家国内企业发布大算力AI芯片及计算平台产品，为智能网联汽车产品升级提供配套基础。 2家国内企业发布大算力芯片及计算平台 7月29日，地平线TOPS，相比前两代产品征程2和征程3实现了算力的大幅度的提高，能够很好的满足高级别无人驾驶需求，并且有望在2022 年 2 月实现基于征程 5 的域控制器量产；2022 年第四季度，基于征程 5 芯片的整车智能解决方案将量产SOP。 地平线主要芯片产品及性能 除征程5芯片，地平线还发布了全场景整车智能中央计算平台Matrix 5，采用4 颗征程 5，AI 算力 达到512 TOPS，最高算力可达 1024 TOPS，能够满

  大多数无人驾驶汽车旨在消除物理控制，而丰田最新的无人驾驶车辆配有2个驾驶座，让外界出乎意料。丰田研究院的Platform 2.1研究工具在三月份进行大型更新，添加了一个新的LIDAR激光扫描系统。然而，更重要的是，丰田这个无人驾驶原型将研究怎么样和司机协同进行无人驾驶。   该测试车辆是以雷克萨斯轿车为基础，并且进行大幅度改进，在外部，有一个新的Luminar LIDAR，有更长的感测范围和视野，并能动态配置。这在某种程度上预示着，激光雷达工具现在更容易挑选像其他车辆和行人之类的物体，它也可以集中在特定的感兴趣领域。   它与v2.0版本现有传感器系统相结合，为2.1平台车辆提供360度视野。在引擎盖下丰田为其添加了一套全新电脑

  新闻摘要： • Arm推出安全就绪计划（Arm Safety Ready program）的最新补充，这是一款新型“汽车增强”处理器，旨在实现下一代安全驾驶体验 • 针对7纳米来优化：Cortex-A65AE是Arm首款集成功能安全的多线程处理器，可在车载信息娱乐系统（IVI） /驾驶舱系统中处理自动和高处理量的传感器数据 • 同步多线程针对高处理量工作负载来优化，并提供最佳的性能效率 北京 – 2018年12月21日 – Arm宣布推出首款集成功能安全的多线程处理器Arm Cortex-A65AE，它是Arm汽车增强版IP产品组合的最新补充，旨在更高效地处理下一代车辆中产生的多种传感器数据流，安全地实现创新

  机器人技术探讨研究面临着各种会重复出现的问题，部分原因主要在于机器人具有无数交互组件，而这些组件往往很复杂，只有部分可被观察到的，并且经过AI技术训练，在不同环境中的性能差异较大。 （图片来自：） 据外国媒体报道，未解决无人驾驶领域内特有的一些挑战，来自苏黎世联邦理工学院（ETH Zurich）、丰田技术研究所（Toyota Technological Institute），以及自动驾驶公司NuTonomy的研究人员开发了分散式城市协作基准网络（Decentralized Urban Collaborative Benchmarking Network，简称DuckieNet）。该系

  汽车研发 /

  日前，有海外新闻媒体报道称，美国专利商标局（U.S. Patent and Trademark Office）授予了苹果公司新的泰坦项目专利：用于自动分析传感器数据的计算机系统。未来，执法部门能够正常的使用苹果汽车上的摄像头系统，追踪在现代城市和郊区里可能对安全构成威胁的车辆或人员。 根据该专利，在某些实例中，专利技术能至少部分应用于视频数据，而这一些数据可以从监控摄像头、无人驾驶汽车等获取。在使用监控摄像头录制的视频做证据收集或后分析的应用中，分析的部分方面可能很重要。首先，在触发异常事件时，无论事件发生在何时，摄像头都应尽可能容易地捕捉到重要的有关数据。 其次，在可能的范围内，捕获数据的分辨率和质量必须充足高，以便在事后给调

  汽车摄像头专利 /

  自动驾驶中的AI大模型如今已越来越火，其设计实际上大多分布在在数据生成和场景分析表述两部分，最终目标是想针对无人驾驶的原始感知直接生成车端控制指令。为了要实现这一目的，业界已经做了很多尝试和努力，先探索可行性，最后再重点解决无人驾驶的长尾分布问题和场景识别。 无人驾驶控制器设计通常有两种范式：局部感知方法和端到端学习方法。感知方法依赖于识别人类指定的特征，例如车辆、车道标记等，需要严格的参数调整才可以做到满意的性能。相比之下，端到端方法直接将来自传感器的原始数据作为输入来生成规划路线或控制信号。 将此类自动控制系统部署到实际车辆中的关键挑战之一是无人驾驶汽车决策控制策略往往过于复杂，且难以让普通驾驶员理解，因为对于普通乘客来说

  系统算法架构 /

  (3th) (Milan Sonka、艾海舟)

  学习OpenCV 3（中文版） ([美] 安德里安·凯勒，[美] 加里·布拉德斯)

  中MATLAB和ROS的结合

  3D机器视觉技术研讨会

  世界苦Arm久矣，不是因为它不够强大，而是开源更具性价比。RISC-V作为x86、Arm后第三大指令集，备受我国半导体厂商的喜爱。尤其是在MCU领域 ...

  该产品线提供了并行SRAM的低成本替代方案，容量高达 4 Mb，具有143 MHz SPI SQI™通信功能为实现用户对更大更快的 SRAM 的普遍需求， ...

  第五代至强可扩展处理器的最新MLPerf测试结果充分展示了英特尔及其生态合作伙伴在提升生成式AI性能方面的成果。...

  嵌入式硬件专家 SolidRun 宣布发布围绕 Hailo-15 神经处理单元 (NPU) 构建的模块系统 (SOM)，每秒可实现高达 20 TOPS算力，以支持 ...

  AMD携手OEM合作伙伴联想和华硕，以及ECO合作伙伴百川智能、有道、游戏加加、生数科技、始智AI等共庆AI PC腾飞之年，展示了Ryzen AI PCECO的强大实力...

  Redmi K50电竞版跑分解密：搭载骁龙8 Gen1芯片，单核1240分

  品英Pickering将在电子设计创新大会展示最新用于电子测试与验证模块化信号开关仿真产品

  有奖直播：安世半导体先进 SiC MOSFET 助力提升 EV-Charger 和 OBC 应用能效

  【世健的ADI之路主题游】 第三站：了解物联网前沿器件与方案，打卡赢Kindle、《新概念模拟电路》

  站点相关：嵌入式处理器嵌入式操作系统开发相关FPGA/DSP总线与接口数据处理消费电子工业电子汽车电子其他技术存储技术综合资讯论坛电子百科