马斯克最近试驾直播了特斯拉最新自动驾驶软件FSD V12,马斯克表示,FSD V12基本上重写了之前所有的代码,采用了从感知最后到车辆控制的端到端大模型算法,大约 99% 的代码都是神经网络的。特斯拉的 FSD V12 的工作原理就像人脑一样,使用神经网络和眼睛(摄像头)。新的软件中没有任何规则定义类的代码,来指示车辆在减速带处减速、给骑自行车的人让路或在停车标志处停车。它只需要直接投喂道路驾驶视频进行训练,就可以模仿人类驾驶。
所以FSD V12引发了从行业内到科技迷以及普通消费者极大的讨论和兴趣,本文将拆解马斯克FSD V12直播视频,试图从从业者角度去看这次的直播视频:
展示了哪些智能驾驶场景?
这些场景应对的怎么样?
FSD V12会不会实现自动驾驶?
展望下我们的智能驾驶时代。
希望给大家带来一些相对客观的信息和观点。
展示了哪些智能驾驶场景?
马斯克整个45分钟的直播,其实走了四段线路。
第一段线路:是从特斯拉工程中心的Hanover St 左转进入Page mill Rd 右转 Peter coutts Rd 右转 stanford Ave 左转Bowdoin Rt 右转 Campus Drive再左转进入Escondido Rd 右转进入Arguello way 左转进入Crothers way 直行抵达Hoover tower。10分钟左右到达,这条路是典型的城区道路,但是马斯克FSD V12直播的时候其实交通不繁忙。
第二段路线是:从Hoover Tower 走Escondido Rd 到Campus Drive再到Galvez St再经过Embarcadero Rd到达1314 Parkinson Ave。这条路经过了Stanford校园行人多的时候,也经历了主干道拥堵的时刻,是非常难的一条线路,这也是FSD V12第一次需要接管的地方。
第三段路线是:从1314 Parkinson Ave到1456 Edgewood Dr也就是老马从google上找到说是Meta(Facebook) CEO Mark Zuckerberg的家,这段路基本上就是十字路口,大直道,也不繁忙。但是中途闯黄灯,来了个急刹车。
第四段线路是从1456 Edgewood Dr回到Hanover St的特斯拉工程中心,这段走了一个主干道,最高速度达到70km/h。
不过这四段路是典型的城区智能驾驶,其中很多的难点,也是目前国内城区NOA需要攻克的问题,例如以下路况:
道路建筑工地construction zone
分叉路口Diverging?paths
带红绿灯十字路口intersection/crossroad
带stop标志的十字路口intersection/crossroad
减速带speed bump
转盘Roundabout
还有很多城区遇到的场景:
识别红绿灯,按交通灯行驶。十字路口以及转盘有前车和无前车行车。
对向有车,无车,有行人时候,十字路口左转,
十字路口右转转盘转入以及转出汇入汇出车流
车道那有行人,自行车的响应。
这些路况以及场景就是当前各个智能驾驶进城需要解决的地方,FSD V12的真正无图方案已经做的非常棒了,当然国内个别有图或者轻图的方案也能做的那么好,不过成本比特斯拉更高。
这些场景应对的怎么样?
第一段路线视频0-11分,设置好导航之后,从特斯拉工程中心出来的路上,正好是一个道路建筑工地,两边各一排建筑桩筒,非常稳健的通过建筑区。经过第一个分叉路口,FSD V12跟随导航毫不犹豫的选择了左转车道,经过一个红绿灯十字路口,FSD V12打开左转转向灯,准确的识别红绿灯,左转灯变绿1s左右起步左转,进入车道最右侧车道。这一段FSD V12的车速控制以及车道距离控制真的老司机丝滑。
期间,马斯克广告时间,表示FSD V12仅仅AI端到端的自动驾驶。
在经过Speedbumps?减速带时,FSD V12自动减速通过,在与自行车平行时候,FSD V12主动保持距离,所以这一段马斯克车上开启广告时间,表示FSD V12从来没有针对减速带训练,仅仅是利用将视频导入AI训练,代码自动生成控制。
接着一个跟车过红绿灯路左转,同时对向有直行车辆,也就是传说中的无保护左转。FSD V12应付的非常棒,先让直行,然后紧接着左转。
遇到stop标志的路口,减速通过。
跟车进入转盘,前车驶离,FSD V12让两台直行车,立马第一个路口出转盘,这些说实话应对的真是老司机,所以马斯克在车上又开启广告时间,表示FSD V12从来没有针对转盘设立规则,仅仅是利用将视频导入AI训练,代码自动生成控制。
第二个跟车进入转盘,前车通过第二个出口驶离,FSD V12通过第三个路口驶离。
进入有stop标志的丁字路口,减速通过左转,驶入S型道路,且前面有自行车横穿,车辆低于16km/h通过。
抵达目的地Hoover tower。第一段旅程结束,其实这一段应该不是主要的城区道路,道路不繁忙,红绿灯也不是特别多,但FSD V12表现的场景处理的从容和丝滑,确实让人惊讶。
第二段路线11-26分,从Hoover Tower 到1314 Parkinson Ave。这一段前期正好经历了Stanford上学或者放学的高峰期,有行人,拥堵场景,是整个环节中最难的一段路线。
在十字路口遇到行人和对向车辆,速度大概10km/h缓行,总体FSD V12没有任何的犹豫和Jerk;遇到行人过斑马线,速度大概10km/h缓行,犹如老司机般。进入直道FSD V12行驶大概40 - 50km/h。
进入转盘,让行所有的直行车辆,转盘上车速大概16km/h,FSD V12在转盘上的表现也是非常符合常人行为。
14分左右,跟车过无红绿灯的十字路口,前车让直行,直到前车驶离十字路口,FSD V12看到前方十字路口,再跟上进入十字路口;第二次跟车过十字路口,前车直接驶离,直到前车驶离十字路口,FSD V12再跟上。这是一个有意思的决策,也为后面第一次接管埋下端倪,FSD V12如果跟车进入十字路口,他会先让前车驶离十字路口,再进入十字路口。
在这段路上马斯克广告时间:训练数据不在多,多了还可能更坏,只有高质量的数据才有用。目前有一些软件可以帮助选择数据,特斯拉使用python选择视频来用于训练,另外Ashok Elluswamy补充特斯拉影子模式帮助查漏补缺的找数据。
这里特斯拉过了一个挺有意思的转盘,转盘外面还有一个外道,特斯拉选择了外道,而不是跟前车进入转盘,虽然最后转盘和外道是汇合了。
继续跟车进入十字路口等红绿灯,这个就是FSD V12第一次接管的地方了,等红绿灯的时候,马斯克继续广告时间,FSD V12特斯拉并没有去特别训练红绿灯,扒拉扒拉。等了大概一分钟,红灯变绿,前车驶离,和上文讲到的策略一样,FSD V12并没有跟上,而是继续等,但是过了红绿灯的前向车道堵车,其他车道车辆选择最右侧车道驾驶走,但FSD V12即使绿灯变绿依旧在等,纹丝不动。
这个时候我估计马斯克故装镇定,依然广告。
最后红绿灯变红,前向车道所有车辆驶离,马斯克尴尬的笑了。继续等一个红绿灯,此时FSD V12已经在这个红绿灯等了3分钟多了,马斯克按捺不住了,说有点慢哈,我们现在是交通高峰时期。
此时,左转车道红绿灯变绿,FSD V12也不管自己车道是红灯,也不管对向左转车辆,就往前开。老马尴尬的笑了,第一次接管来了,表示FSD V12错误识别左转信号灯,进而直行。
老马还是那个油腻的老马,说,这也是我们为什么还没发布这个版本。
重新激活,一个双车道合并单车道,Ashok Elluswamy抓紧提醒老马,这是一个合并,老马立马说非常Smooth的一个合并。说实话我没有看到这个merge有啥问题,也没有多辆车并排,只是跟着前车合并了。
进入Embarcadero Rd左转,FSD V12打转向灯跟随前车进入左侧待转车道,到达目的地1314 parkinson ave,这条路是双向车道,中间有时候没有线路,同时侧边还有停车,特斯拉FSD V12厉害的是竟然靠边停车,抵达目的地。
此处怎么少了马斯克到广告时间,表示FSD V12特斯拉这种抵达目的地靠边停车的行为,也就是我们喂的视频数据,自己训练出来的,未来FSD还可以识别语音,用语音控制驾驶。
26分钟开始第三段路,在停车道上,老马和Ashok Elluswamy说好像Meta(Facebook) CEO?Mark Zuckerberg就住旁边,要不找他打一架或者say 个hello,所以他们google了他家地址,设定目的地到1456 Edgewood Rd。
此时FSD V12静态开启,绕行前方停止车辆行驶。这个比较厉害,基本静态开启FSD并绕行前方静止车辆行驶。
28分钟遇到黄灯,FSD V12一直往前开,快过线的时候变红,谈话过程中老马没有信心,就问Ashok Elluswamy,能刹吗?此时FSD V12特斯拉一脚急刹,这脚还真是急刹,把老马吓坏了,估计Ashok Elluswamy回去要立马喂投红绿灯场景数据了。
抵达目的地,这次没有那么幸运可以靠边停车了,难道前面那个开门的皮卡没有学习?
当然,老马也没有去敲门,也没有打架,老马说这可能不是Mark的家,因为没有看到很多保安。
第四段30分:回到Engineering Headquarter, 这条道路相对简单,而且交通也是不繁忙,普通道路最高速度50km/h, 主干道70km/h(你FSD设定的最高车速是85mi/h,但FSD是根据道路限速开的),基本上都是道路最高速度跑的。
刚开始不久31:17 - 57分时候遇到丁字路,路面上没有看到车,也没有看到人,FSD V12等了大概50s,惹得老马尴尬的笑了很久,表示车子还是挺谨慎的非常礼貌,其实这里应该是一个错误状态。
途中经历带有stop的十字路口,减速通过,遇到前方自行车等,FSD V12与自行车车保持一个车的距离等待红绿灯。
35:19 右转的时候,右转车道右侧有自行车,FSD V12等待,自行车移动,FSD V12慢行通过。
35:50?无红绿灯十字路口,左转,对向有车,左右车辆穿行。FSD V12处理迅速穿过。
期间经历三车道,每个车道一个红绿灯控制,FSD V12顺利通过三道红绿灯路口。经历丁字路口,直行,稳健。
最后进入内部停车场,没有SD map的停车场,马斯克广告表示,FSD V12进入内部没有地图的道路将尽量靠近GPS定位点停靠。最后FSD V12停靠在停车场内的空地上,完成此次FSD V12直播。
FSD V12会不会实现自动驾驶?
整个过程,FSD V12大概45分钟的驾驶时间。除了一次人工干预,2-3次诡异的驾驶行为,总体上:
速度控制非常老司机了,刹车和起步,加速和减速没有犹豫和过多的延迟,没有速度控制的Jerk。
处理交叉路口以及转盘,都非常的得心应手
红绿灯的识别,也相对准确。
做到这些,而且是仅仅凭借摄像头+普通SD地图实现,国内目前没有任何主机厂能够做到。华为可能是目前国内能够唯一可以和特斯拉比一比的企业,但是目前华为智能驾驶背后还是依托了高精地图,或者轻量化地图,还有昂贵的传感器。
但本次整个过程没有看到超车场景,相比车流当中的车,FSD V12的车速应该是相对保守的,也没有看到cut in塞车的场景,塞车在欧美国家是非常不礼貌的行为,一般等待的是中指,当然欧美驾驶员更遵守交通规则,遵守规则的条件下会尽量的快。
那么是不是FSD V12就可以在实际生活中成为自动驾驶呢?显然这个版本不太可能支持成为日常的自动驾驶,首先45分钟驾驶里面就出现了接管,要知道如果没有接管就是事故了;另外老马也在视频中谈到加州天气是不错的,阳光非常好,但是日常中各种天气都是影响的因子。
所以,FSD V12短时间应该还只是智能驾驶,还需要人机共驾,但它可以极大的减轻人类驾驶的负担以及减少安全事故。另外加州作为特斯拉的智能驾驶大本营,肯定有先发优势,哪天加州实现了自动驾驶,但其他地区特斯拉需要进行自动驾驶的泛化依然还需要时间。
展望下我们的智能驾驶时代
首先特斯拉的智能驾驶是一套非常成功的商业方案,之前的特斯拉的硬件方案我们有不少文章介绍,相比国内的技术路径,他从成本上,从约束条件,从泛化的容易程度都是好的方案。
而此次FSD V12不依赖于任何人类规则也就是基于场景的硬编码编程或持续的互联网连接来运行。所有必要的AI推理都在本地进行,这与以前的版本有很大不同,类似于ChatGPT大模型算法的训练。
所以从软件上,特斯拉又一次准备好了,极大的减少开发和泛化的成本,如果特斯拉需要新开发一个地方的智能驾驶,他只需要采集当地的视频进行AI投喂就能形成想要的人工智能算法实现智能驾驶。
而国内的智能驾驶一直摆脱不了地图,目前大家喊的无图方案几乎都是轻量化高精地图方案,也摆脱不了人类规则化的设定。
FSD V12这种端到端的大模型算法,彻底改变现在智能驾驶的技术链条,特别是当前以标记和人工规则的算法,以及验证方法。但对于端到端的大模型算法应用到实际生活中依然是一个问号,至少FSD V12还在验证当中,从马斯克Twitter发文看,最后的验证还是QA drivers质量保证司机?
而与ChatGPT不同的是,ChatGPT胡说,你可以当作笑话看看,但是自动驾驶胡开那就是生命安全的问题。
当然特斯拉FSD一直引领了一条自动驾驶道路的商业化广泛应用探索,我们正在步步的逼近自动驾驶,至少有限场景的自动驾驶已经到了千家万户,未来可期。
本文主要根据视频整理和输出,当然本次直播视频的质量是大家一众吐槽的,但大家可以结合文章看视频会更能直观感受驾驶的场景。
*未经准许严禁转载和摘录
1.马斯克试驾FSD V12直播视频
原文标题 : 拆解马斯克FSD V12自动驾驶直播