-
讓品牌有溫度、有情感
專注品牌策劃15年
-
當(dāng)前位置：首頁 > 創(chuàng)意學(xué)院 > 營銷推廣 > 專題列表 > 正文
- 向外突圍，毫末開啟商業(yè)化新故事
- cpm2預(yù)訓(xùn)練token數(shù)量
- 當(dāng)GPT遇到自動(dòng)駕駛，毫末首發(fā)DriveGPT
- gpt輸出token怎么組織成句子
gpt模型的token
發(fā)布時(shí)間：2023-05-25 00:06:15
稿源：
創(chuàng)意嶺 閱讀：
111
大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于gpt模型的token的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。
開始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對話答疑等等
只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，有小程序、在線網(wǎng)頁版、PC客戶端和批量生成器
官網(wǎng)：https://ai.de1919.com。
本文目錄:
向外突圍，毫末開啟商業(yè)化新故事
終于拿到長城體系外訂單
“我們還在等他們（毫末）的車交付之后，才能做技術(shù)上的對標(biāo)。” 同為量產(chǎn)高階智駕方案的某車企工程師這樣評價(jià)毫末。
這一對標(biāo)將在今年初見分銷。
4月11日，在第八屆AI DAY上，毫末發(fā)布了一個(gè)堪比BEV的新技術(shù)：自動(dòng)駕駛生成式大模型DriveGPT——雪湖·海若。
2021年特斯拉用一個(gè)BEV架構(gòu)模型搞定了自動(dòng)駕駛的感知，而雪湖·海若Transformer則有望用一個(gè)模型解決自動(dòng)駕駛的認(rèn)知問題。
雪湖·海若將依次搭載在魏牌摩卡DHT-PHEV和藍(lán)山上，首批落地在北京、保定、上海等城市，并于2024年開拓100個(gè)城市。
此外，毫末宣布與三家主機(jī)廠簽訂了定點(diǎn)合作協(xié)議，其中包括長城體系外的品牌。
新技術(shù)范式、百城大戰(zhàn)，毫末的“野心”要如何實(shí)現(xiàn)？
01
一次解決所有問題
“（雪湖·海若）使我們在一個(gè)統(tǒng)一的生成式框架下，將規(guī)劃、決策和推理等多個(gè)任務(wù)全部完成。”毫末智行CEO顧維灝在采訪中表示：“（雪湖·海若）在更大數(shù)據(jù)的支持下，還是會(huì)讓（自動(dòng)駕駛系統(tǒng)的決策能力）有一個(gè)質(zhì)的提升。這一新技術(shù)范式即使放眼全球也是非常獨(dú)特和創(chuàng)新的。”
認(rèn)知架構(gòu)雪湖·海若和感知架構(gòu)BEV一樣，旨在通過一個(gè)大模型一次性解決問題。
在BEV之前，自動(dòng)駕駛系統(tǒng)的感知是在各傳感器端先進(jìn)行感知，之后由多個(gè)小模型算法進(jìn)行置信判斷和融合之后，輸出最終的感知結(jié)果。BEV則是一次性“吸收”所有傳感器的原始數(shù)據(jù)，之后直接輸出車輛周圍360°的完整空間感知結(jié)果。
決策方面，目前業(yè)內(nèi)主要包括預(yù)測、規(guī)劃、控制幾個(gè)環(huán)節(jié)：
基于感知結(jié)果，通過搜索等方法劃定出可行使空間，再在其中根據(jù)自車和其它交通參與者可能的行動(dòng)軌跡進(jìn)行路線規(guī)劃，最終決定出一條行駛路線，并將行駛路線分解為車輛動(dòng)作命令傳給執(zhí)行器。
雪湖·海若則是基于感知結(jié)果，直接給出規(guī)劃控制結(jié)果和理由：
一次性生成多個(gè)未來可能發(fā)生的全局場景，并且按照可能發(fā)生的概率排序；生成自車未來的軌跡信息；直接給出決策邏輯鏈。
例如在一個(gè)包含對向來車、左側(cè)電動(dòng)車、右側(cè)過路行人的無保護(hù)左轉(zhuǎn)的場景中：
傳統(tǒng)方法是先對與自車最有可能交互的對向來車進(jìn)行軌跡預(yù)測，基于預(yù)測結(jié)果判斷自車應(yīng)該的行駛軌跡。此軌跡如果涉及到電動(dòng)車/行人等其它的交通參與者，則加入考慮后預(yù)測，再判斷軌跡，如此往復(fù)。
但雪湖·海若是一次性看到路面的全局情況，基于預(yù)訓(xùn)練積累的“經(jīng)驗(yàn)”，直接得出：對向來車已出線剎車概率低、電動(dòng)車雖然未出線但慣于搶行、行人在路口通常謹(jǐn)慎行動(dòng)變。如以安全為先，應(yīng)當(dāng)緩慢起步，讓行電動(dòng)車后，快速通過路口。
之所以出現(xiàn)這樣不同的“思考”方式，在于傳統(tǒng)方法和雪湖·海若在短期數(shù)據(jù)和長期知識上存在不同。
短期數(shù)據(jù)即當(dāng)時(shí)當(dāng)刻的路面情況。
由于目前決策大都使用參數(shù)有限的小模型，因此一次性能考慮的對象便相對有限。
雪湖·海若作為大模型，在云端參數(shù)高達(dá)1200億個(gè)，由此在學(xué)習(xí)時(shí)能夠做到全局思考。目前毫末未透露部署到車端時(shí)的參數(shù)規(guī)模。
長期知識則是交通規(guī)則和常識性的潛規(guī)則。
目前主流決策層算法仍以邏輯判斷為主，對于“誰會(huì)如何”更多還是出自工程師經(jīng)驗(yàn)。
雪湖·海若則是先在4000萬量產(chǎn)車駕駛數(shù)據(jù)中進(jìn)行學(xué)習(xí)，又用5萬個(gè)經(jīng)過篩選的人類接管數(shù)據(jù)做反饋訓(xùn)練，最終習(xí)得開車的知識和常識，能夠更加類人的，根據(jù)當(dāng)前交通情況推理出未來各類交通場景以及出現(xiàn)的概率。
對于神經(jīng)網(wǎng)絡(luò)作為黑盒，思考過程的不可解釋化，毫末技術(shù)負(fù)責(zé)人艾銳向《賽博汽車》表示，通過添加限定規(guī)則，可以一定程度上解決這一問題。
在決策層引入GPT模型只是開始，未來毫末計(jì)劃將雪湖·海若擴(kuò)大為端到端的自動(dòng)駕駛系統(tǒng)模型，即用一個(gè)大模型解決感知、認(rèn)知的所有問題。
中國自動(dòng)駕駛邏輯芯片企業(yè)地平線也持類似的觀點(diǎn)。前不久，地平線作為第一作者發(fā)布了基于Transformer的自動(dòng)駕駛端到端算法框架論文，首次將檢測、跟蹤、預(yù)測、箭頭軌跡預(yù)測等多個(gè)模塊用一個(gè)完整神經(jīng)網(wǎng)絡(luò)架構(gòu)完整解決。
“讓我們有可能像ChatGPT那樣，用端到端的大規(guī)模的數(shù)據(jù)去訓(xùn)練整個(gè)的自動(dòng)駕駛系統(tǒng)。”地平線創(chuàng)始人&CEO余凱在演講中表示。
02
萬事俱備，只待上車
一次解決所有問題，當(dāng)然很棒，但卻鮮少有玩家實(shí)踐該技術(shù)。
在2022年的AI DAY和今年的投資者日上，特斯拉展示的預(yù)測算法仍是以蒙特卡洛樹搜索為主。
小鵬汽車自動(dòng)駕駛副總裁吳新宙則在4月明確表示，未來小鵬將在預(yù)測層面引入神經(jīng)網(wǎng)絡(luò)，但在規(guī)控層面，仍將以邏輯算法為主?！拔覍F(tuán)隊(duì)有一個(gè)明確的線，能用數(shù)學(xué)方法解決的問題，都先用數(shù)學(xué)的方法。”
事實(shí)上，即使想要應(yīng)用，GPT也不是普通玩家玩得起的。
華為云人工智能領(lǐng)域首席科學(xué)家田奇在近日的演講中表示，大模型開發(fā)和訓(xùn)練一次需要1200萬美元。而且并不只是“錢”的事。
首先，雪湖·海若作為GPT（Generative Pre-trained Transformer）生成式預(yù)訓(xùn)練大模型，需要有大規(guī)模語料庫來進(jìn)行訓(xùn)練。
顧維灝在演講中表示，雪湖·海若的一個(gè)關(guān)鍵設(shè)計(jì)是將場景Token（令牌，代表執(zhí)行某些操作的權(quán)利對象）化表達(dá)：將駕駛空間進(jìn)行離散化處理，每一個(gè)Token都表征場景的一小部分。如果輸入一連串過去已經(jīng)發(fā)生的場景Token序列，模型可生成未來所有可能的場景。目前毫末Token的詞表空間是50萬個(gè)左右。
大模型還需要超算中心來訓(xùn)練。
1月，毫末發(fā)布了670PFLOPS算力的超算中心——雪湖·綠洲。若按照一塊19.5TFLOPS算力的英偉達(dá)A100計(jì)算，則綠洲或用了34.3萬塊英偉達(dá)A100。
綠洲還針對海若進(jìn)行了針對性的升級改造。
一是建立全套訓(xùn)練保障框架，避免因個(gè)別服務(wù)器異?？赡軐?dǎo)致的訓(xùn)練中端；二是升級彈性調(diào)度資源的能力，使訓(xùn)練平臺能夠自適應(yīng)每天回傳數(shù)據(jù)不同的大小規(guī)模；三是吞吐效率的升級，通過算子融合端到端吞吐提升84%。
但就像ChatGPT和GPT4仍依賴于對話者不斷調(diào)整問題問法，擴(kuò)大數(shù)據(jù)庫調(diào)用權(quán)限，才能表現(xiàn)得更加真實(shí)類人一樣。
雪湖·海若要做到真正高速類人，在并行效率、算力需求、功耗等方面超過搜索等傳統(tǒng)方法，甚至超過人類表現(xiàn)的前提，是源源不斷的真實(shí)道路場景和人類反饋。
03
毫末的身份突圍
2022年底，小鵬、華為、毫末三家搶跑城市領(lǐng)航功能落地。
從結(jié)果來看，小鵬、華為都已有了搭載城市領(lǐng)航功能的車隊(duì)上路，毫末HPilot 3.0所搭載的新摩卡DHT-PHEV預(yù)計(jì)將于本月推出，而魏牌藍(lán)山要到三季度才會(huì)推出激光雷達(dá)版。
與此同時(shí)，后來者也正逐步逼近，蔚來、理想等車企，和輕舟智航等智能駕駛供應(yīng)商都已宣布了2024年落地高速、城市領(lǐng)航功能的計(jì)劃。
之所以形成這樣的局面，與毫末的身份不無關(guān)系。
毫末雖然出身長城，卻無法像蔚小理的智駕團(tuán)隊(duì)一樣，擁有自上而下的話語權(quán)，更多還是相對獨(dú)立的供應(yīng)商身份。
但背靠長城又使毫末的供應(yīng)商身份不那么純粹。對于出自ICT行業(yè)的華為，車企都尚且顧忌靈魂。出自同行的毫末作為供應(yīng)商，自然也少不了被挑剔。
如何實(shí)現(xiàn)身份突圍？
今年年初，毫末推出了包括全棧解決方案、云端服務(wù)、硬件、軟件、模塊、原型代碼六個(gè)層面的6P開放合作模式。合作伙伴不僅可以獲取毫末的功能產(chǎn)品，甚至可以獲得原型代碼這樣的底層技術(shù)能力。
“您的靈魂您保留，我的靈魂您帶走?！?毫末智行COO侯軍表示：“（智能/自動(dòng)駕駛）全棧自研是高成本、長周期的事情。毫末的6P開放模式幫助主機(jī)廠在不具備技術(shù)和時(shí)間的情況下參與競爭。
如果之后毫末的綜合性價(jià)比能力趕不上合作伙伴進(jìn)步的靈魂，我們被淘汰也是正常的。如果能趕上，我們愿意與合作伙伴長期攜手同行。”
這樣“白盒”開放的態(tài)度已經(jīng)起到了效果，毫末已與三家主機(jī)廠簽署定點(diǎn)合同，其中包括長城體系外的品牌。
在毫末的生態(tài)伙伴當(dāng)中，除了高通這樣的老朋友外，還多了英偉達(dá)、華為、地平線這樣新朋友，未來合作方向值得玩味。
此外，毫末在2024年的百城計(jì)劃也絕非說說而已。
目前，華為、小鵬的城市領(lǐng)航功能在核心區(qū)域仍需依靠高精地圖。而毫末的方案則完全不采用高精地圖，只用類似導(dǎo)航地圖的標(biāo)清地圖，以感知信息的置信權(quán)重遠(yuǎn)高于地圖信息，即所謂重感知輕地圖方案。
要完全依靠感知信息做判斷使毫末目前的城市領(lǐng)航功能更顯保守，安全性要求遠(yuǎn)高于舒適和通行效率。
但由于完全不依賴高精地圖，所以毫末HPilot 3.0的開城將不受地圖資源限制，隨著其感知能力打磨得愈發(fā)完善，開城速度也將愈發(fā)加速。
顧維灝在演講中表示，毫末的視覺自監(jiān)督大模型感知性能已提升20%。例如魚眼攝像頭在15米范圍內(nèi)的測量精度已達(dá)到30厘米，2米內(nèi)精度可以高于10厘米。因此毫末正考慮取消超聲波雷達(dá)，直接使用魚眼鏡頭做泊車功能。
技術(shù)進(jìn)步也正成為毫末作為供應(yīng)商，持續(xù)降本的底氣所在。毫末智行張凱表示：“未來（降本同效的策略）對我們和行業(yè)發(fā)展，都會(huì)有很好的推動(dòng)作用?！?/strong>
【本文來自易車號作者賽博汽車，版權(quán)歸作者所有,任何形式轉(zhuǎn)載請聯(lián)系作者。內(nèi)容僅代表作者觀點(diǎn)，與易車無關(guān)】
cpm2預(yù)訓(xùn)練token數(shù)量
CPM-2是一個(gè)基于GPT架構(gòu)的中文預(yù)訓(xùn)練模型，由哈工大訊飛聯(lián)合實(shí)驗(yàn)室開發(fā)。目前，CPM-2有兩個(gè)版本：小模型和大模型。其中，CPM-2小模型使用了10億個(gè)token進(jìn)行預(yù)訓(xùn)練；而CPM-2大模型則使用了1000億個(gè)token進(jìn)行預(yù)訓(xùn)練。這些token來自于多種來源，包括百度百科、新聞?wù)Z料庫、社交媒體等。
需要注意的是，隨著數(shù)據(jù)量的增加和計(jì)算資源的提升，未來可能會(huì)出現(xiàn)更大規(guī)模的中文預(yù)訓(xùn)練模型。
當(dāng)GPT遇到自動(dòng)駕駛，毫末首發(fā)DriveGPT
GPT之于自動(dòng)駕駛意味著什么？
文丨智駕網(wǎng) 黃華丹
ChatGPT帶火了AI，那么，當(dāng)GPT遇到自動(dòng)駕駛，又會(huì)發(fā)生怎樣的化學(xué)反應(yīng)？
GPT全稱Generative Pre-trained Transformer，即生成式預(yù)訓(xùn)練Transformer。簡單概括即是一種基于互聯(lián)網(wǎng)可用數(shù)據(jù)訓(xùn)練的文本生成深度學(xué)習(xí)模型。
4月11日，在第八屆毫末AI DAY上，毫末CEO顧維灝正式發(fā)布了基于GPT技術(shù)的DriveGPT，中文名雪湖·海若。
DriveGPT能做到什么？又是如何構(gòu)建的？顧維灝在AI DAY上都做了詳細(xì)解讀。此外，AI DAY還展示了毫末自動(dòng)駕駛數(shù)據(jù)體系MANA的升級情況，主要是其在視覺感知能力上的進(jìn)展。
01.
什么是DriveGPT？能實(shí)現(xiàn)什么？
顧維灝首先講解了GPT的原理，生成式預(yù)訓(xùn)練Transformer模型本質(zhì)上是在求解下一個(gè)詞出現(xiàn)的概率，每一次調(diào)用都是從概率分布中抽樣并生成一個(gè)詞，這樣不斷地循環(huán)，就能生成一連串的字符，用于各種下游任務(wù)。
以中文自然語言為例，單字或單詞就是Token，中文的Token詞表有5萬個(gè)左右。把Token輸入到模型，輸出就是下一個(gè)字詞的概率，這種概率分布體現(xiàn)的是語言中的知識和邏輯，大模型在輸出下一個(gè)字詞時(shí)就是根據(jù)語言知識和邏輯進(jìn)行推理的結(jié)果，就像根據(jù)一部偵探小說的復(fù)雜線索來推理兇手是誰。
而作為適用于自動(dòng)駕駛訓(xùn)練的大模型，DriveGPT雪湖·海若三個(gè)能力：
1.可以按概率生成很多個(gè)這樣的場景序列，每個(gè)場景都是一個(gè)全局的場景，每個(gè)場景序列都是未來有可能發(fā)生的一種實(shí)際情況。
2.是在所有場景序列都產(chǎn)生的情況下，能把場景中最關(guān)注的自車行為軌跡給量化出來，也就是生成場景的同時(shí)，便會(huì)產(chǎn)生自車未來的軌跡信息。
3.有了這段軌跡之后，DriveGPT雪湖·海若還能在生成場景序列、軌跡的同時(shí)，輸出整個(gè)決策邏輯鏈。
也就是說，利用DriveGPT雪湖·海若，在一個(gè)統(tǒng)一的生成式框架下，就能做到將規(guī)劃、決策與推理等多個(gè)任務(wù)全部完成。
具體來看，DriveGPT雪湖·海若的設(shè)計(jì)是將場景Token化，毫末將其稱為Drive Language。
Drive Language將駕駛空間進(jìn)行離散化處理，每一個(gè)Token都表征場景的一小部分。目前毫末擁有50萬個(gè)左右的Token詞表空間。如果輸入一連串過去已經(jīng)發(fā)生的場景Token序列，模型就可以根據(jù)歷史，生成未來所有可能的場景。
也就是說，DriveGPT雪湖·海若同樣像是一部推理機(jī)器，告訴它過去發(fā)生了什么，它就能按概率推理出未來的多個(gè)可能。
一連串Token拼在一起就是一個(gè)完整的駕駛場景時(shí)間序列，包括了未來某個(gè)時(shí)刻整個(gè)交通環(huán)境的狀態(tài)以及自車的狀態(tài)。
有了Drive Language，就可以對DriveGPT進(jìn)行訓(xùn)練了。
毫末對DriveGPT的訓(xùn)練過程首先是根據(jù)駕駛數(shù)據(jù)以及之前定義的駕駛嘗試做一個(gè)大規(guī)模的預(yù)訓(xùn)練。
然后，通過在使用過程中接管或者不接管的場景，對預(yù)訓(xùn)練的結(jié)果進(jìn)行打分和排序，訓(xùn)練反饋模型。也就是說利用正確的人類開法來替代錯(cuò)誤的自動(dòng)駕駛開法。
后續(xù)就是用強(qiáng)化學(xué)習(xí)的思路不斷優(yōu)化迭代模型。
在預(yù)訓(xùn)練模型上，毫末采用Decode-only結(jié)構(gòu)的GPT模型，每一個(gè)Token用于描述某時(shí)刻的場景狀態(tài)，包括障礙物的狀態(tài)、自車狀態(tài)、車道線情況等等。
目前，毫末的預(yù)訓(xùn)練模型擁有1200億個(gè)參數(shù)，使用4000萬量產(chǎn)車的駕駛數(shù)據(jù)，本身就能夠?qū)Ω鞣N場景做生成式任務(wù)。
這些生成結(jié)果會(huì)按照人類偏好進(jìn)行調(diào)優(yōu)，在安全、高效、舒適等維度上做出取舍。同時(shí)，毫末會(huì)用部分經(jīng)過篩選的人類接管數(shù)據(jù)，大概5萬個(gè)Clips去做反饋模型的訓(xùn)練，不斷優(yōu)化預(yù)訓(xùn)練模型。
在輸出決策邏輯鏈時(shí)，DriveGPT雪湖·海若利用了prompt提示語技術(shù)。輸入端給到模型一個(gè)提示，告訴它“要去哪、慢一點(diǎn)還是快一點(diǎn)、并且讓它一步步推理”，經(jīng)過這種提示后，它就會(huì)朝著期望的方向去生成結(jié)果，并且每個(gè)結(jié)果都帶有決策邏輯鏈。每個(gè)結(jié)果也會(huì)有未來出現(xiàn)的可能性。這樣我們就可以選擇未來出現(xiàn)可能性最大，最有邏輯的鏈條駕駛策略。
可以用一個(gè)形象的示例來解釋DriveGPT雪湖·海若的推理能力。假設(shè)提示模型要“抵達(dá)某個(gè)目標(biāo)點(diǎn)”，DriveGPT雪湖·海若會(huì)生成很多個(gè)可能的開法，有的激進(jìn)，會(huì)連續(xù)變道超車，快速抵達(dá)目標(biāo)點(diǎn)，有的穩(wěn)重，跟車行駛到終點(diǎn)。這時(shí)如果提示語里沒有其他額外指示，DriveGPT雪湖·海若就會(huì)按照反饋訓(xùn)練時(shí)的調(diào)優(yōu)效果，最終給到一個(gè)更符合大部分人駕駛偏好的效果。
02.
實(shí)現(xiàn)DriveGPT毫末做了什么？
首先，DriveGPT雪湖·海若的訓(xùn)練和落地，離不開算力的支持。
今年1月，毫末就和火山引擎共同發(fā)布了其自建智算中心，毫末雪湖·綠洲MANA OASIS。OASIS的算力高達(dá)67億億次/秒，存儲帶寬2T/秒，通信帶寬達(dá)到800G/秒。
當(dāng)然，光有算力還不夠，還需要訓(xùn)練和推理框架的支持。因此，毫末也做了以下三方面的升級。
一是訓(xùn)練穩(wěn)定性的保障和升級。
大模型訓(xùn)練是一個(gè)十分艱巨的任務(wù)，隨著數(shù)據(jù)規(guī)模、集群規(guī)模、訓(xùn)練時(shí)間的數(shù)量級增長，系統(tǒng)穩(wěn)定性方面微小的問題也會(huì)被無限放大，如果不加處理，訓(xùn)練任務(wù)就會(huì)經(jīng)常出錯(cuò)導(dǎo)致非正常中斷，浪費(fèi)前期投入的大量資源。
毫末在大模型訓(xùn)練框架的基礎(chǔ)上，與火山引擎共同建立了全套訓(xùn)練保障框架，通過訓(xùn)練保障框架，毫末實(shí)現(xiàn)了異常任務(wù)分鐘級捕獲和恢復(fù)能力，可以保證千卡任務(wù)連續(xù)訓(xùn)練數(shù)月沒有任何非正常中斷，有效地保障了DriveGPT雪湖·海若大模型訓(xùn)練的穩(wěn)定性。
二是彈性調(diào)度資源的升級。
毫末擁有量產(chǎn)車帶來的海量真實(shí)數(shù)據(jù)，可自動(dòng)化的利用回傳數(shù)據(jù)不斷的學(xué)習(xí)真實(shí)世界。由于每天不同時(shí)段回傳的數(shù)據(jù)量差異巨大，需要訓(xùn)練平臺具備彈性調(diào)度能力，自適應(yīng)數(shù)據(jù)規(guī)模大小。
毫末將增量學(xué)習(xí)技術(shù)推廣到大模型訓(xùn)練，構(gòu)建了一個(gè)大模型持續(xù)學(xué)習(xí)系統(tǒng)，研發(fā)了任務(wù)級彈性伸縮調(diào)度器，分鐘級調(diào)度資源，集群計(jì)算資源利用率達(dá)到95%。
三是吞吐效率的升級。
在訓(xùn)練效率上，毫末在Transformer的大矩陣計(jì)算上，通過對內(nèi)外循環(huán)的數(shù)據(jù)拆分、盡量保持?jǐn)?shù)據(jù)在SRAM中來提升計(jì)算的效率。在傳統(tǒng)的訓(xùn)練框架中，算子流程很長，毫末通過引入火山引擎提供的Lego算之庫實(shí)現(xiàn)算子融合，使端到端吞吐提升84%。
有了算力和這三方面的升級，毫末可對DriveGPT雪湖·海若進(jìn)行更好的訓(xùn)練迭代升級。
03.
MANA大升級，攝像頭代替超聲波雷達(dá)
毫末在2021年12月的第四屆AI DAY上發(fā)布自動(dòng)駕駛數(shù)據(jù)智能體系MANA，經(jīng)過一年多時(shí)間的應(yīng)用迭代，現(xiàn)在MANA迎來了全面的升級。
據(jù)顧維灝介紹，本次升級主要包括：
1.感知和認(rèn)知相關(guān)大模型能力統(tǒng)一整合到DriveGPT。
2.計(jì)算基礎(chǔ)服務(wù)針對大模型訓(xùn)練在參數(shù)規(guī)模、穩(wěn)定性和效率方面做了專項(xiàng)優(yōu)化，并集成到OASIS當(dāng)中。
3.增加了使用NeRF技術(shù)的數(shù)據(jù)合成服務(wù)，降低Corner Case數(shù)據(jù)的獲取成本。
4.針對多種芯片和多種車型的快速交付難題，優(yōu)化了異構(gòu)部署工具和車型適配工具。
前文我們已經(jīng)詳細(xì)介紹了DriveGPT相關(guān)的內(nèi)容，以下主要來看MANA在視覺感知上的進(jìn)展。
顧維灝表示，視覺感知任務(wù)的核心目的都是恢復(fù)真實(shí)世界的動(dòng)靜態(tài)信息和紋理分布。因此毫末對視覺自監(jiān)督大模型做了一次架構(gòu)升級，將預(yù)測環(huán)境的三維結(jié)構(gòu)，速度場和紋理分布融合到一個(gè)訓(xùn)練目標(biāo)里面，使其能從容應(yīng)對各種具體任務(wù)。目前毫末視覺自監(jiān)督大模型的數(shù)據(jù)集超過400萬Clips，感知性能提升20%。
在泊車場景下，毫末做到了用魚眼相機(jī)純視覺測距達(dá)到泊車要求，可做到在15米范圍內(nèi)達(dá)測量精度30cm，2米內(nèi)精度高于10cm。用純視覺代替超聲波雷達(dá)，進(jìn)一步降低整體方案的成本。
此外，在純視覺三維重建方面，通過視覺自監(jiān)督大模型技術(shù)，毫末不依賴激光雷達(dá)，就能將收集的大量量產(chǎn)回傳視頻轉(zhuǎn)化為可用于BEV模型訓(xùn)練的帶3D標(biāo)注的真值數(shù)據(jù)。
通過對NeRF的升級，毫末表示可以做到重建誤差小于10
【本文來自易車號作者智駕網(wǎng)，版權(quán)歸作者所有,任何形式轉(zhuǎn)載請聯(lián)系作者。內(nèi)容僅代表作者觀點(diǎn)，與易車無關(guān)】
gpt輸出token怎么組織成句子
GPT輸出的tokens可以通過自然語言處理（NLP）技術(shù)來組織成句子，主要包括詞序分析、句法分析、語義分析和句子組織。詞序分析是把從GPT輸出的tokens進(jìn)行識別，確定它們是否構(gòu)成一個(gè)有意義的句子。句法分析是把詞序分析確定的詞序按照一定的規(guī)則組織起來。語義分析是把句子中的詞語所表達(dá)的意義和它們相互之間的關(guān)系進(jìn)行描述。最后，句子組織是把上述的步驟融合在一起，形成一個(gè)完整的句子。以上就是關(guān)于gpt模型的token相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識和內(nèi)容。
推薦閱讀：
gpt分區(qū)啟動(dòng)系統(tǒng)（gpt分區(qū)裝系統(tǒng)）
抖音代運(yùn)營的十大好處（抖音代運(yùn)營的十大好處是什么）
臨安區(qū)景觀設(shè)計(jì)加盟資質(zhì)（臨安區(qū)景觀設(shè)計(jì)加盟資質(zhì)公司）
贛公網(wǎng)安備 50019002502384號
