正文

GPT是誰搞出來的

發(fā)布時間：2023-05-23 15:56:41 稿源：創(chuàng)意嶺閱讀： 134

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于GPT是誰搞出來的的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，有小程序、在線網(wǎng)頁版、PC客戶端和批量生成器

問友Ai官網(wǎng)：https://ai.de1919.com。

本文目錄:

當(dāng)GPT遇到自動駕駛，毫末首發(fā)DriveGPT
gpt3哪一年
gpt4概念是什么
gpt4什么意思
gtp機器人是微軟搞的嗎

GPT是誰搞出來的

當(dāng)GPT遇到自動駕駛，毫末首發(fā)DriveGPT

GPT之于自動駕駛意味著什么？

文丨智駕網(wǎng) 黃華丹

ChatGPT帶火了AI，那么，當(dāng)GPT遇到自動駕駛，又會發(fā)生怎樣的化學(xué)反應(yīng)？

GPT全稱Generative Pre-trained Transformer，即生成式預(yù)訓(xùn)練Transformer。簡單概括即是一種基于互聯(lián)網(wǎng)可用數(shù)據(jù)訓(xùn)練的文本生成深度學(xué)習(xí)模型。

4月11日，在第八屆毫末AI DAY上，毫末CEO顧維灝正式發(fā)布了基于GPT技術(shù)的DriveGPT，中文名雪湖·海若。

DriveGPT能做到什么？又是如何構(gòu)建的？顧維灝在AI DAY上都做了詳細解讀。此外，AI DAY還展示了毫末自動駕駛數(shù)據(jù)體系MANA的升級情況，主要是其在視覺感知能力上的進展。

01.

什么是DriveGPT？能實現(xiàn)什么？

顧維灝首先講解了GPT的原理，生成式預(yù)訓(xùn)練Transformer模型本質(zhì)上是在求解下一個詞出現(xiàn)的概率，每一次調(diào)用都是從概率分布中抽樣并生成一個詞，這樣不斷地循環(huán)，就能生成一連串的字符，用于各種下游任務(wù)。

以中文自然語言為例，單字或單詞就是Token，中文的Token詞表有5萬個左右。把Token輸入到模型，輸出就是下一個字詞的概率，這種概率分布體現(xiàn)的是語言中的知識和邏輯，大模型在輸出下一個字詞時就是根據(jù)語言知識和邏輯進行推理的結(jié)果，就像根據(jù)一部偵探小說的復(fù)雜線索來推理兇手是誰。

而作為適用于自動駕駛訓(xùn)練的大模型，DriveGPT雪湖·海若三個能力：

1.可以按概率生成很多個這樣的場景序列，每個場景都是一個全局的場景，每個場景序列都是未來有可能發(fā)生的一種實際情況。

2.是在所有場景序列都產(chǎn)生的情況下，能把場景中最關(guān)注的自車行為軌跡給量化出來，也就是生成場景的同時，便會產(chǎn)生自車未來的軌跡信息。

3.有了這段軌跡之后，DriveGPT雪湖·海若還能在生成場景序列、軌跡的同時，輸出整個決策邏輯鏈。

也就是說，利用DriveGPT雪湖·海若，在一個統(tǒng)一的生成式框架下，就能做到將規(guī)劃、決策與推理等多個任務(wù)全部完成。

具體來看，DriveGPT雪湖·海若的設(shè)計是將場景Token化，毫末將其稱為Drive Language。

Drive Language將駕駛空間進行離散化處理，每一個Token都表征場景的一小部分。目前毫末擁有50萬個左右的Token詞表空間。如果輸入一連串過去已經(jīng)發(fā)生的場景Token序列，模型就可以根據(jù)歷史，生成未來所有可能的場景。

也就是說，DriveGPT雪湖·海若同樣像是一部推理機器，告訴它過去發(fā)生了什么，它就能按概率推理出未來的多個可能。

一連串Token拼在一起就是一個完整的駕駛場景時間序列，包括了未來某個時刻整個交通環(huán)境的狀態(tài)以及自車的狀態(tài)。

有了Drive Language，就可以對DriveGPT進行訓(xùn)練了。

毫末對DriveGPT的訓(xùn)練過程首先是根據(jù)駕駛數(shù)據(jù)以及之前定義的駕駛嘗試做一個大規(guī)模的預(yù)訓(xùn)練。

然后，通過在使用過程中接管或者不接管的場景，對預(yù)訓(xùn)練的結(jié)果進行打分和排序，訓(xùn)練反饋模型。也就是說利用正確的人類開法來替代錯誤的自動駕駛開法。

后續(xù)就是用強化學(xué)習(xí)的思路不斷優(yōu)化迭代模型。

在預(yù)訓(xùn)練模型上，毫末采用Decode-only結(jié)構(gòu)的GPT模型，每一個Token用于描述某時刻的場景狀態(tài)，包括障礙物的狀態(tài)、自車狀態(tài)、車道線情況等等。

目前，毫末的預(yù)訓(xùn)練模型擁有1200億個參數(shù)，使用4000萬量產(chǎn)車的駕駛數(shù)據(jù)，本身就能夠?qū)Ω鞣N場景做生成式任務(wù)。

這些生成結(jié)果會按照人類偏好進行調(diào)優(yōu)，在安全、高效、舒適等維度上做出取舍。同時，毫末會用部分經(jīng)過篩選的人類接管數(shù)據(jù)，大概5萬個Clips去做反饋模型的訓(xùn)練，不斷優(yōu)化預(yù)訓(xùn)練模型。

在輸出決策邏輯鏈時，DriveGPT雪湖·海若利用了prompt提示語技術(shù)。輸入端給到模型一個提示，告訴它“要去哪、慢一點還是快一點、并且讓它一步步推理”，經(jīng)過這種提示后，它就會朝著期望的方向去生成結(jié)果，并且每個結(jié)果都帶有決策邏輯鏈。每個結(jié)果也會有未來出現(xiàn)的可能性。這樣我們就可以選擇未來出現(xiàn)可能性最大，最有邏輯的鏈條駕駛策略。

可以用一個形象的示例來解釋DriveGPT雪湖·海若的推理能力。假設(shè)提示模型要“抵達某個目標(biāo)點”，DriveGPT雪湖·海若會生成很多個可能的開法，有的激進，會連續(xù)變道超車，快速抵達目標(biāo)點，有的穩(wěn)重，跟車行駛到終點。這時如果提示語里沒有其他額外指示，DriveGPT雪湖·海若就會按照反饋訓(xùn)練時的調(diào)優(yōu)效果，最終給到一個更符合大部分人駕駛偏好的效果。

02.

實現(xiàn)DriveGPT毫末做了什么？

首先，DriveGPT雪湖·海若的訓(xùn)練和落地，離不開算力的支持。

今年1月，毫末就和火山引擎共同發(fā)布了其自建智算中心，毫末雪湖·綠洲MANA OASIS。OASIS的算力高達67億億次/秒，存儲帶寬2T/秒，通信帶寬達到800G/秒。

當(dāng)然，光有算力還不夠，還需要訓(xùn)練和推理框架的支持。因此，毫末也做了以下三方面的升級。

一是訓(xùn)練穩(wěn)定性的保障和升級。

大模型訓(xùn)練是一個十分艱巨的任務(wù)，隨著數(shù)據(jù)規(guī)模、集群規(guī)模、訓(xùn)練時間的數(shù)量級增長，系統(tǒng)穩(wěn)定性方面微小的問題也會被無限放大，如果不加處理，訓(xùn)練任務(wù)就會經(jīng)常出錯導(dǎo)致非正常中斷，浪費前期投入的大量資源。

毫末在大模型訓(xùn)練框架的基礎(chǔ)上，與火山引擎共同建立了全套訓(xùn)練保障框架，通過訓(xùn)練保障框架，毫末實現(xiàn)了異常任務(wù)分鐘級捕獲和恢復(fù)能力，可以保證千卡任務(wù)連續(xù)訓(xùn)練數(shù)月沒有任何非正常中斷，有效地保障了DriveGPT雪湖·海若大模型訓(xùn)練的穩(wěn)定性。

二是彈性調(diào)度資源的升級。

毫末擁有量產(chǎn)車帶來的海量真實數(shù)據(jù)，可自動化的利用回傳數(shù)據(jù)不斷的學(xué)習(xí)真實世界。由于每天不同時段回傳的數(shù)據(jù)量差異巨大，需要訓(xùn)練平臺具備彈性調(diào)度能力，自適應(yīng)數(shù)據(jù)規(guī)模大小。

毫末將增量學(xué)習(xí)技術(shù)推廣到大模型訓(xùn)練，構(gòu)建了一個大模型持續(xù)學(xué)習(xí)系統(tǒng)，研發(fā)了任務(wù)級彈性伸縮調(diào)度器，分鐘級調(diào)度資源，集群計算資源利用率達到95%。

三是吞吐效率的升級。

在訓(xùn)練效率上，毫末在Transformer的大矩陣計算上，通過對內(nèi)外循環(huán)的數(shù)據(jù)拆分、盡量保持?jǐn)?shù)據(jù)在SRAM中來提升計算的效率。在傳統(tǒng)的訓(xùn)練框架中，算子流程很長，毫末通過引入火山引擎提供的Lego算之庫實現(xiàn)算子融合，使端到端吞吐提升84%。

有了算力和這三方面的升級，毫末可對DriveGPT雪湖·海若進行更好的訓(xùn)練迭代升級。

03.

MANA大升級，攝像頭代替超聲波雷達

毫末在2021年12月的第四屆AI DAY上發(fā)布自動駕駛數(shù)據(jù)智能體系MANA，經(jīng)過一年多時間的應(yīng)用迭代，現(xiàn)在MANA迎來了全面的升級。

據(jù)顧維灝介紹，本次升級主要包括：

1.感知和認(rèn)知相關(guān)大模型能力統(tǒng)一整合到DriveGPT。

2.計算基礎(chǔ)服務(wù)針對大模型訓(xùn)練在參數(shù)規(guī)模、穩(wěn)定性和效率方面做了專項優(yōu)化，并集成到OASIS當(dāng)中。

3.增加了使用NeRF技術(shù)的數(shù)據(jù)合成服務(wù)，降低Corner Case數(shù)據(jù)的獲取成本。

4.針對多種芯片和多種車型的快速交付難題，優(yōu)化了異構(gòu)部署工具和車型適配工具。

前文我們已經(jīng)詳細介紹了DriveGPT相關(guān)的內(nèi)容，以下主要來看MANA在視覺感知上的進展。

顧維灝表示，視覺感知任務(wù)的核心目的都是恢復(fù)真實世界的動靜態(tài)信息和紋理分布。因此毫末對視覺自監(jiān)督大模型做了一次架構(gòu)升級，將預(yù)測環(huán)境的三維結(jié)構(gòu)，速度場和紋理分布融合到一個訓(xùn)練目標(biāo)里面，使其能從容應(yīng)對各種具體任務(wù)。目前毫末視覺自監(jiān)督大模型的數(shù)據(jù)集超過400萬Clips，感知性能提升20%。

在泊車場景下，毫末做到了用魚眼相機純視覺測距達到泊車要求，可做到在15米范圍內(nèi)達測量精度30cm，2米內(nèi)精度高于10cm。用純視覺代替超聲波雷達，進一步降低整體方案的成本。

此外，在純視覺三維重建方面，通過視覺自監(jiān)督大模型技術(shù)，毫末不依賴激光雷達，就能將收集的大量量產(chǎn)回傳視頻轉(zhuǎn)化為可用于BEV模型訓(xùn)練的帶3D標(biāo)注的真值數(shù)據(jù)。

通過對NeRF的升級，毫末表示可以做到重建誤差小于10

【本文來自易車號作者智駕網(wǎng)，版權(quán)歸作者所有,任何形式轉(zhuǎn)載請聯(lián)系作者。內(nèi)容僅代表作者觀點，與易車無關(guān)】

gpt3哪一年

GPT-3（Generative Pre-trained Transformer 3）是OpenAI在2020年6月10日公開發(fā)布的，旨在解決人工智能（AI）技術(shù)中計算和內(nèi)存資源方面的一個領(lǐng)先的預(yù)訓(xùn)練深度語言處理（NLP）模型。GPT-3是OpenAI的下一代預(yù)訓(xùn)練NLP技術(shù)，擁有較高的參數(shù)空間，可以進行大規(guī)模的自然語言處理任務(wù)，支持語音識別，機器翻譯，問答系統(tǒng)，文本生成，事件抽取和情感分析等多種AI應(yīng)用，為 AI 的進步打下了基礎(chǔ)。它使用175億個參數(shù)，比起以前幾乎所有可用模型都增加了一個數(shù)量級。GPT-3利用了 Transformer 架構(gòu)，將深度學(xué)習(xí)，機器學(xué)習(xí)和NLP技術(shù)結(jié)合起來，使其具有更高的可擴展性和更多的功能，以便解決新的AI問題。

gpt4概念是什么

OpenAI發(fā)布了全新的人工智能技術(shù)GPT4，能夠同時處理圖像和文本。
OpenAI是一家致力于推動人工智能發(fā)展和應(yīng)用的非營利組織，由眾多知名科技人士和企業(yè)家聯(lián)合創(chuàng)立，旨在創(chuàng)建可以與人類合作和競爭的通用人工智能（AGI）。近日，OpenAI宣布了其最新的人工智能技術(shù)GPT4這是一種大型多模態(tài)模型（可以接受圖像和文本輸入，并輸出文本），在各種專業(yè)和學(xué)術(shù)領(lǐng)域展現(xiàn)出了與人類水平相當(dāng)甚至超越的表現(xiàn)。
GPT4是OpenAI旗下GPT系列模型的最新成果，之前他們已經(jīng)出過GPT、GPT2、GPT3和GPT3.5這幾個版本。GPT系列模型都是基于深度學(xué)習(xí)技術(shù)搞出來的大規(guī)模語言模型，可以吸收海量數(shù)據(jù)進行預(yù)訓(xùn)練，并在不同任務(wù)上進行微調(diào)或零樣本學(xué)習(xí)。GPT系列模型在自然語言處理領(lǐng)域引起了轟動，并產(chǎn)生了很多火爆的應(yīng)用，比如ChatGPT、DALL-E等。

GPT是誰搞出來的

gpt4什么意思

GPT4的意思是一種基于人工智能的考試，它是由Google的智能機器人系統(tǒng)（GPT）開發(fā)的，可以幫助考生評估他們的技能和知識。

GPT4考試的目的是幫助考生評估他們在有限的時間內(nèi)完成任務(wù)的能力，以及他們的知識程度?？荚囯m然短暫，但也設(shè)計得十分全面，涵蓋了包括數(shù)學(xué)、語言、科學(xué)等在內(nèi)的領(lǐng)域。

GPT4考試包括一系列問題，考生需要在規(guī)定的時間內(nèi)完成，并且需要熟悉智能機器人系統(tǒng)（GPT）的有關(guān)知識。考生需要了解GPT4小組處理任務(wù)的過程，以及熟悉和理解算法?？忌€需要熟悉和掌握GPT4系統(tǒng)中的各種工具，以便能夠有效地使用它們。

GPT4考試是非常重要的，因為它的結(jié)果可以用來評估考生的技能和知識水平，并且可以作為決定考生是否能夠獲得某一職位的依據(jù)。這些考試的結(jié)果還可以用來評估考生的技能和知識的發(fā)展，以及他們在未來可能的發(fā)展?jié)摿Α?br/>

GPT4 是 Open AI 旗下 GPT 系列模型的最新成果，之前他們已經(jīng)出過 GPT、GPT2、GPT3 和 GPT3.5 這幾個版本。GPT 系列模型都是基于深度學(xué)習(xí)技術(shù)搞出來的大規(guī)模語言模型，可以吸收海量數(shù)據(jù)進行預(yù)訓(xùn)練，并在不同任務(wù)上進行微調(diào)或零樣本學(xué)習(xí)。

gtp機器人是微軟搞的嗎

GTp機器人是由微軟開發(fā)的一個實時文字翻譯工具，也是一種多語言支持的聊天機器人，它能夠提供可靠，高效且針對不同語言的聊天功能。

以上就是關(guān)于GPT是誰搞出來的相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。