大模型攻入自动驾驶

自象限
关注

自动驾驶的底层进化

成为“整体”,自动驾驶中关于这个的讨论其实并不是在大模型热度起来之后才开始的。

2022年,当关于自动驾驶的讨论还聚焦在芯片和电子电气架构的时候,全球著名的汽车零部件供应商博世曾提出,汽车电子电气架构将从分布式向域集中式和中央计算过渡。

早期的汽车电子电气架构是以ECU(Electronic Control Unit 电子控制单元)为主,一辆汽车通常有30到100个ECU不等,分别控制汽车的引擎、变速器、制动等等功能。随着汽车智能化的进程,相关功能的ECU逐渐被整合成域控制器,目前智能汽车通常有动力域、底盘域、车身域、座舱域和自动驾驶域五个。

在这个基础上,智能汽车的电气架构还在向一个“整体”演变,最终将会形成由一个统一中央计算单元控制的形式。2016年,特斯拉发布的Model 3实现了中央域控制架构的雏形,当时被行业认为在电子电气架构方面领先传统车企6年以上。

从“散装”到“整体”,这是智能汽车硬件层面的变化,这种变化也推动着自动驾驶软件层面向一个“整体”发展,而契机就是大模型。

关于自动驾驶与大模型,张亚勤提到,“自动驾驶不是一个模型,而是多个模型的组合。”这其实正好对应智能汽车硬件域控制器的发展阶段。

这也是华为盘古大模型3.0的思路,华为云EI服务产品部部长尤鹏认为,通过数智融合架构打破数据、AI资源管理边界,在一个平台即可完成开发、测试、交付上线工作,让业务创新提效2倍,实现数据加速;借助盘古大模型在认知、感知、决策、优化等全领域的能力,车企可以快速基于盘古训练出自己需要的模型,实现算法加速;同时,华为还提供底层昇腾算力平台,解决自动驾驶对算力的高需求,做到千卡训练数月不中断,打通“全链路”,实现算力加速。

“全链路的模型化是3.0时代的一个重要的演进思路,最终演变成端到端的大模型。”顾维灏说。

而一旦完成了全链路的打通,这样的改变带来的将是大范围且高速迭代。正是因为“端到端”技术,马斯克曾放出豪言“将可能在今年年底实现完全的自动驾驶”。这句话虽然不排除马斯克吹牛的成分,但我们也可以从中看出“端到端”技术的巨大潜力。

总的而言,对于自动驾驶来说,大模型并不是一种决策方式,也不单单是指一种技术,而更应该是自动驾驶发展的一种最终形态。

当然,虽然大模型给自动驾驶的落地带来了巨大的想象力,但实际的应用和落地过程仍然面临许多问题。

比如最直接的问题就是如何将云端大模型的能力应用到车端。

目前行业普遍应用的方式有三种:

第一种是将大模型蒸馏到小模型,应用到车端。这具体又分为两种路线,一种是通过大模型给数据打标签,监督小模型学习;另一种是将大模型上的Feature map 和小模型上的Feature map进行对齐,然后来完成小模型能力的提升。

从毫末公布的工作效率来看,一个模型的蒸馏需要好几个月,但能够帮助自动驾驶车端模型在个别任务上的感知指标提升5%。

第二种是在云端通过大模型构建一种能力,然后再通过减脂、蒸馏等方式将大模型的能力蒸馏到车端的小模型上,来完成车端小模型的进步。

第三种则是直接使用云端大模型。毕竟虽然云端传输会面临信号、安全、延迟等问题的困扰,但也并不意味着所有决策都需要在车端完成。云端大模型具有更强的泛化能力和解释能力,对于任务实时性和网络信号较好的地方,也存在可能让车端的一些通信和云端大模型进行交流,然后让云端大模型完成车端工作的情况。

除了从将大模型运用到车端之外,大模型指导的自动驾驶还有许多人类生活的常识需要学习。比如路沿的方向是不是能走,面临多个路口的时候各个方向是不是一定按照车道线走,这些在实际交通实践中约定俗成的东西大模型还无法掌握。

“现在解决这些问题就需要加许多约束,而一旦加约束,这个系统就变得不聪明了。”顾维灏提出了其中的逻辑悖论。

所以如何去解决这些问题,又如何发挥大模型的优势成为未来很长时间自动驾驶的考题,毕竟当前大模型对于自动驾驶的改变,也只是第一声枪响而已。

       原文标题 : 大模型攻入自动驾驶

声明: 本文由入驻OFweek维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。
侵权投诉

下载OFweek,一手掌握高科技全行业资讯

还不是OFweek会员,马上注册
打开app,查看更多精彩资讯 >
  • 长按识别二维码
  • 进入OFweek阅读全文
长按图片进行保存