毫末DriveGPT 來了！4月HAOMO AI DAY公布重要進展

資迅| 2024-01-28| 0

易車訊 2月17日消息，毫末智行宣布自動駕駛認知大模型正式升級為DriveGPT，并將在2023年4月的HAOMO AI DAY上公布其最新重要進展。

隨著ChatGPT火爆全網(wǎng)，它所采用的Transformer大模型以及“人類反饋強化學習（RLHF）”技術(shù)再次引發(fā)行業(yè)關(guān)注。在自動駕駛領(lǐng)域，毫末在國內(nèi)最早將Transformer大模型引入到數(shù)據(jù)智能體系MANA當中。在2023年1月的HAOMO AI DAY上，毫末智行CEO顧維灝介紹，毫末推出的人駕自監(jiān)督認知大模型就已借鑒了ChatGPT的實現(xiàn)思路，采用RLHF（人類反饋強化學習）技術(shù)，通過引入真實人駕接管數(shù)據(jù)，肢穗對自動駕駛認知決策模型進行持續(xù)優(yōu)化。

毫末的認知決策算法經(jīng)歷了三個階段的進化。第一階段是引入個別場景的端到端模仿學習，直接擬合人駕行為。第二階段是通過認知大模型，引入海量正常人駕數(shù)據(jù)，通過Prompt的方式實現(xiàn)認知決策的可控、可解釋。第三階段，也就是當前階段，通過引入真實接管數(shù)據(jù)，并且在大模型中開始嘗試使用RLHF算法，對人駕接管數(shù)據(jù)進行學習。為此，毫末構(gòu)建了一個包含“舊策略、接管策略、人工label策略”的Pairwise排序模型。基于這一排序模型，毫末構(gòu)建了自動駕駛決策的獎勵模型（reward model），從而在各種規(guī)劃場景情況下做出歷瞎卜最優(yōu)的決策。通過這一大模型，在掉頭、環(huán)島等公認的困難場神棚景中，場景通過率提升30%以上。

2月17日，毫末智行將人駕自監(jiān)督認知大模型正式升級為“DriveGPT”，這也是全球首個自動駕駛認知大模型。目前，毫末DriveGPT已完成模型搭建和第一階段數(shù)據(jù)的跑通，參數(shù)規(guī)模可對標GPT-2的水平。接下來，DriveGPT將持續(xù)引入大規(guī)模真實接管數(shù)據(jù)，通過人駕數(shù)據(jù)反饋的強化學習，來不斷提升測評效果，同時也將DriveGPT作為云端測評模型，用來評估車端小模型的駕駛效果。毫末DriveGPT最新重要進展，將在2023年4月舉行的第八屆HAOMO AI DAY上公布。