當前位置:智能 > 正文

真心厲害!英偉達打破實時對話AI的訓練和推理用時記錄

2019-08-14 11:10:52  來源:網易科技

8月14日消息,據國外媒體報道,Nvidia用于開發和運行可理解和響應請求的對話式AI的GPU強化平臺,已經達成了一些重要的里程碑,并打破了一些記錄。

這對任何基于其技術進行開發的人來說意義重大——當中包括大大小小的公司,因為英偉達將很多用于實現這些進步的代碼開源。那些代碼用PyTorch編寫,易于運行。

英偉達今天宣布的最大成果包括:BERT訓練用時打破記錄,進入1小時關口。BERT是世界上最先進的人工智能語言模型之一,也被廣泛認為是自然語言處理(NLP)標桿的先進模型。Nvidia的AI平臺僅僅需要53分鐘就能夠完成模型訓練,經過訓練的模型在短短2毫秒多一點的時間里(10毫秒在業內被認為是高水平線)就能夠成功地做出推理(即利用通過訓練學習到的能力得出結果)——又一個記錄。

英偉達的這些突破不僅僅是吹噓的資本——這些進步可為任何使用NLP對話式人工智能和GPU硬件的人提供切實的好處。Nvidia在它的其中一個SuperPOD系統上打破了訓練時間記錄,該SuperPOD系統由運行1472個V100 GPU的92個Nvidia DGX-2H系統組成;在運行Nvidia TensorRT的Nvidia T4 GPU上完成推理過程。Nvidia TensorRT在性能上超出高度優化的CPU許多個量級。不過,該公司將公開BERT訓練代碼和經過TensorRT優化的BERT樣本,讓所有人都可以通過GitHub利用。

除了這些里程碑以外,英偉達的研究部門還建立并訓練了有史以來最大的一個基于“Transformer”的語言模型。這也是BERT的技術基礎。該定制模型包含的參數多達83億個,規模是當前最大的核心BERT模型BERT-Large的24倍。英偉達將這個模型命名為“Megatron”,它也對外提供了用于訓練這個模型的PyTorch代碼,因而其他人能夠自行訓練出類似的基于“Transformer”的大型語言模型。(樂邦)

推薦閱讀

"殺豬盤"式詐騙 網購網貸網戀專騙年輕人

8月12日上午,發布會現場,廣州警方向多位市民返還被騙資金。破獲電信詐騙2200多宗,依法刑事拘留電信網絡詐騙嫌疑人2300多名,挽回近3 5億 【詳細】

5G未來不止便利:還得警惕輻射

4G改變生活,5G改變社會。今年6月初,中國工信部正式發放首批5G商用牌照,使得全球5G商用時代進程大大提前。7月27日,在廣州舉行的第十一屆 【詳細】

研究稱從植物獲取蛋白質更健康

人們往往認為禽類、牲畜類、以及魚類等各種肉類食物是人體所需蛋白質的主要來源。事實上,目前為止全世界食用的大部分蛋白質58%都來自植物 【詳細】

iCloud數據竟存于谷歌微軟服務器?

8月13日消息,加利福尼亞州北部地區的美國地方法院收到一起集體訴訟,指控蘋果發布虛假廣告,聲稱該公司表面上告訴消費者iCloud數據為由蘋 【詳細】

滴滴美團因違規派單雙雙被罰

8月13日晚間消息,近日,滴滴和美團因向無資質車輛派單,被上海市交通執法部門分別罰款550萬元和147萬元。滴滴和美團官方均對此暫未置評。 【詳細】



科技新聞網版權
中国足彩网 崇文区 | 西畴县 | 乐平市 | 吐鲁番市 | 商南县 | 阳信县 | 合阳县 | 儋州市 | 蕉岭县 | 隆林 | 上林县 | 永安市 | 抚远县 | 徐水县 | 盐池县 | 巨鹿县 | 南召县 | 洱源县 | 建瓯市 | 彭泽县 | 武宁县 | 奉新县 | 安化县 | 青阳县 | 南召县 | 永吉县 | 浦江县 | 海宁市 | 东台市 | 聂拉木县 | 永吉县 | 闵行区 | 庄浪县 | 沙洋县 | 建平县 | 洞头县 | 南澳县 | 仁布县 | 易门县 | 巴青县 | 陈巴尔虎旗 | 常德市 | 越西县 | 五莲县 | 瑞昌市 | 大理市 | 怀宁县 | 鸡泽县 | 鲁甸县 | 长白 | 新兴县 | 蓬安县 | 景洪市 | 浏阳市 | 东明县 | 龙江县 | 连江县 | 木里 | 杭锦后旗 | 修文县 | 宜都市 | 响水县 | 达州市 | 南涧 | 泾川县 | 尤溪县 | 隆德县 | 浪卡子县 | 兰坪 | 永顺县 | 科技 | 防城港市 | 翁源县 | 莲花县 | 宿松县 | 神木县 | 河源市 | 五寨县 | 年辖:市辖区 | 呼伦贝尔市 | 九台市 | 深圳市 | 大荔县 | 陇南市 | 行唐县 | 垦利县 | 平果县 | 渑池县 | 沂水县 | 安溪县 | 通州市 | 华亭县 | 荃湾区 | 岳普湖县 | 宜昌市 | 卢龙县 | 南江县 | 宣城市 | 崇礼县 | 桐柏县 | 墨脱县 | 尚义县 | 阜阳市 | 十堰市 | 柳州市 | 通城县 | 江陵县 | 铁岭市 | 沙河市 | 洱源县 | 兴山县 | 新营市 | 丰顺县 | 海淀区 | 铜梁县 | 靖州 | 务川 | 新营市 | 兴和县 | 星子县 | 许昌县 | 许昌市 | 长葛市 | 辽宁省 | 论坛 | 子长县 | 红原县 | 安远县 | 东阳市 | 山西省 | 丹凤县 | 沁阳市 | 静宁县 | 邯郸县 | 洛阳市 | 丽江市 | 阜新 | 梁平县 | 阿瓦提县 | 隆德县 | 肃北 | 洞头县 | 德化县 | 和林格尔县 | 齐齐哈尔市 | 凌海市 | 大理市 | 黄山市 | 中超 | 岳西县 | 家居 | 长春市 | 荔波县 | 长汀县 | 新兴县 | 清新县 | 临沧市 | 米林县 | 孟连 | 浦县 | 大石桥市 | 循化 | 清徐县 | 和林格尔县 | 庆元县 | 乌拉特前旗 | 鹤岗市 | 吴忠市 | 蓝山县 | 方正县 | 和顺县 | 青冈县 | 灵山县 | 历史 | 张家川 | 天峻县 | 泰来县 | 砀山县 | 大连市 | 区。 | 绥滨县 | 门头沟区 | 遵义县 | 金山区 | 福泉市 | 翼城县 | 璧山县 | 滦南县 | 宁阳县 | 崇左市 | 丹巴县 | 重庆市 | 新源县 | 高台县 | 吴桥县 | 双江 | 封开县 | 汨罗市 | 保康县 | 邯郸市 | 泸溪县 | 邢台县 | 常宁市 | 西藏 | 长春市 | 蓬溪县 | 长岭县 | 兴安县 | 理塘县 | 城固县 | 青龙 | 香格里拉县 | 西城区 | 宣化县 | 承德市 | 彭水 | 长丰县 | 黑龙江省 | 陵川县 | 安宁市 | 松原市 | 丹凤县 | 利津县 | 左贡县 | 瓦房店市 | 西平县 | 三原县 | 呼和浩特市 | 德安县 | 汝阳县 | 湖北省 | 潜山县 | 承德市 | 吴旗县 | 沙坪坝区 | 驻马店市 | 静乐县 | 安顺市 | 原阳县 | 内丘县 | 阜南县 | 普定县 | 长子县 | 政和县 | 滕州市 | 汕头市 | 垫江县 | 宝丰县 | 浦城县 | 睢宁县 | 曲阳县 |