僅2毫秒！英偉達(dá)打破實(shí)時(shí)對(duì)話AI的訓(xùn)練和推理用時(shí)記錄

來(lái)源:網(wǎng)易科技 2019-08-14 11:02 http://www.yyykp.com/

　　據(jù)國(guó)外媒體報(bào)道，英偉達(dá)用于開(kāi)發(fā)和運(yùn)行可理解和響應(yīng)請(qǐng)求的對(duì)話式AI的GPU強(qiáng)化平臺(tái)，已經(jīng)達(dá)成了一些重要的里程碑，并打破了一些記錄。

　　這對(duì)任何基于其技術(shù)進(jìn)行開(kāi)發(fā)的人來(lái)說(shuō)意義重大——當(dāng)中包括大大小小的公司，因?yàn)橛ミ_(dá)將很多用于實(shí)現(xiàn)這些進(jìn)步的代碼開(kāi)源。那些代碼用PyTorch編寫(xiě)，易于運(yùn)行。

　　英偉達(dá)今天宣布的最大成果包括：BERT訓(xùn)練用時(shí)打破記錄，進(jìn)入1小時(shí)關(guān)口。BERT是世界上最先進(jìn)的人工智能語(yǔ)言模型之一，也被廣泛認(rèn)為是自然語(yǔ)言處理（NLP）標(biāo)桿的先進(jìn)模型。英偉達(dá)的AI平臺(tái)僅僅需要53分鐘就能夠完成模型訓(xùn)練，經(jīng)過(guò)訓(xùn)練的模型在短短2毫秒多一點(diǎn)的時(shí)間里(10毫秒在業(yè)內(nèi)被認(rèn)為是高水平線)就能夠成功地做出推理(即利用通過(guò)訓(xùn)練學(xué)習(xí)到的能力得出結(jié)果)——又一個(gè)記錄。

　　英偉達(dá)的這些突破不僅僅是吹噓的資本——這些進(jìn)步可為任何使用NLP對(duì)話式人工智能和GPU硬件的人提供切實(shí)的好處。英偉達(dá)在它的其中一個(gè)SuperPOD系統(tǒng)上打破了訓(xùn)練時(shí)間記錄，該SuperPOD系統(tǒng)由運(yùn)行1472個(gè)V100 GPU的92個(gè)英偉達(dá) DGX-2H系統(tǒng)組成；在運(yùn)行英偉達(dá) TensorRT的英偉達(dá) T4 GPU上完成推理過(guò)程。英偉達(dá) TensorRT在性能上超出高度優(yōu)化的CPU許多個(gè)量級(jí)。不過(guò)，該公司將公開(kāi)BERT訓(xùn)練代碼和經(jīng)過(guò)TensorRT優(yōu)化的BERT樣本，讓所有人都可以通過(guò)GitHub利用。

　　除了這些里程碑以外，英偉達(dá)的研究部門(mén)還建立并訓(xùn)練了有史以來(lái)最大的一個(gè)基于“Transformer”的語(yǔ)言模型。這也是BERT的技術(shù)基礎(chǔ)。該定制模型包含的參數(shù)多達(dá)83億個(gè)，規(guī)模是當(dāng)前最大的核心BERT模型BERT-Large的24倍。英偉達(dá)將這個(gè)模型命名為“Megatron”，它也對(duì)外提供了用于訓(xùn)練這個(gè)模型的PyTorch代碼，因而其他人能夠自行訓(xùn)練出類(lèi)似的基于“Transformer”的大型語(yǔ)言模型。

原標(biāo)題：僅2毫秒！英偉達(dá)打破實(shí)時(shí)對(duì)話AI的訓(xùn)練和推理用時(shí)記錄

責(zé)任編輯：曾少林