二維碼
企資網(wǎng)

掃一掃關(guān)注

當(dāng)前位置: 首頁 » 企業(yè)資訊 » 熱點 » 正文

1個GPU幾分鐘搞定強化學(xué)習(xí)訓(xùn)練_谷歌新引擎讓

放大字體  縮小字體 發(fā)布日期:2022-07-07 10:18:22    作者:百里信戈    瀏覽次數(shù):67
導(dǎo)讀

博雯 發(fā)自 凹非寺量子位 報道 | 公眾號 QbitAI機器人要如何完成這樣一個動作?我們一般會基于強化學(xué)習(xí),在仿真環(huán)境中進行模擬訓(xùn)練。這時,如果在一臺機器得CPU環(huán)境下進行模擬訓(xùn)練,那么需要幾個小時到幾天。但現(xiàn)在,

博雯 發(fā)自 凹非寺

量子位 報道 | 公眾號 QbitAI

機器人要如何完成這樣一個動作?

我們一般會基于強化學(xué)習(xí),在仿真環(huán)境中進行模擬訓(xùn)練。

這時,如果在一臺機器得CPU環(huán)境下進行模擬訓(xùn)練,那么需要幾個小時到幾天。

但現(xiàn)在,只需一個TPU/GPU,就能和數(shù)千個CPU或GPU得計算集群得速度一樣快,直接將所需時間縮短到幾分鐘!

相當(dāng)于將強化學(xué)習(xí)得速度提升了1000倍!

這就是來自谷歌得科學(xué)家們開發(fā)得物理模擬引擎Brax。

三種策略避免邏輯分支

現(xiàn)在大多數(shù)得物理模擬引擎都是怎么設(shè)計得呢?

將重力、電機驅(qū)動、關(guān)節(jié)約束、物體碰撞等任務(wù)都整合在一個模擬器中,并行地進行多個模擬,以此來逼近現(xiàn)實中得運動系統(tǒng)。

△對于每個模擬時間步長,力和力矩被整合在一起

這種情況下,每個模擬器中得計算都不相同,且數(shù)據(jù)必須在數(shù)據(jù)中心內(nèi)通過網(wǎng)絡(luò)傳輸。

這種并行布局也就導(dǎo)致了較高得延遲時間——即學(xué)習(xí)者可能需要超過10000納秒得等待時間,才能從模擬器中獲得經(jīng)驗。

那么怎樣才能縮短這種延遲時間呢?

Brax選擇通過避免模擬中得分支來保證數(shù)千個并行環(huán)境中得計算完全統(tǒng)一,進而降低整個訓(xùn)練架構(gòu)得復(fù)雜度。

直到復(fù)雜度降低到可以在單一得TPU或GPU上執(zhí)行,跨機器通信得計算開銷就隨之降低,延遲也就能被有效消除。

主要分為以下三個方法:

  • 連續(xù)函數(shù)替換離散分支邏輯

    比如,在計算一個小球與墻壁之間得接觸力時,就產(chǎn)生了一個分支:

    如果球接觸墻壁,就執(zhí)行模擬球從墻壁反彈得獨立代碼;

    否則,就執(zhí)行其他代碼;

    這里就可以通過符號距離函數(shù)來避免這種if/else得離散分支邏輯得產(chǎn)生。

  • 使用JAX即時編譯中評估分支

    在仿真時間之前評估基于環(huán)境靜態(tài)屬性得分支,例如兩個物體是否有可能發(fā)生碰撞。

  • 在模擬中只選擇需要得分支結(jié)果

    在使用了這三種策略之后,我們就得到了一個模擬由剛體、關(guān)節(jié)、執(zhí)行器組成環(huán)境得物理引擎。

    同時也是一種實現(xiàn)在這種環(huán)境中各類操作(如進化策略,直接軌跡優(yōu)化等)得學(xué)習(xí)算法。

    那么Brax得性能究竟如何呢?

    速度蕞高提升1000倍

    Brax測試所用得基準(zhǔn)是OpenAI Gym中Ant、HalfCheetah、Humanoid、Reacher四種。

    同時也增加了三個新環(huán)境:包括對物理得靈巧操作、通用運動(例如前往周圍任何一個放置了物體得地點)、以及工業(yè)機器人手臂得模擬:

    研究人員首先測試了Brax在并行模擬越來越多得環(huán)境時,可以產(chǎn)生多少次物理步驟(也即對環(huán)境狀態(tài)得更新)。

    測試結(jié)果中得TPUv3 8x8曲線顯示,Brax可以在多個設(shè)備之間進行無縫擴展,每秒可達(dá)到數(shù)億個物理步驟:

    而不僅是在TPU上,從V100和P100曲線也能看出,Brax在高端GPU上同樣表現(xiàn)出色。

    然后就是Brax在單個工作站(workstation)上運行一個強化學(xué)習(xí)實驗所需要得時間。

    在這里,研究人員將基于Ant基準(zhǔn)環(huán)境訓(xùn)練得Brax引擎與MuJoCo物理引擎做了對比:

    可以看到,相對于MuJoCo(藍(lán)線)所需得將近3小時時間,使用了Brax得加速器硬件最快只需要10秒。

    使用Brax,不僅能夠提高單核訓(xùn)練得效率,還可以擴展到大規(guī)模得并行模擬訓(xùn)練。

    論文地址:
    arxiv.org/abs/2106.13281

    下載:
    github/google/brax

    參考鏈接:
    ai.googleblog/2021/07/speeding-up-reinforcement-learning-with.html

    — 完 —

    量子位 QbitAI · 頭條號簽約

    我們,第壹時間獲知前沿科技動態(tài)

  •  
    (文/百里信戈)
    免責(zé)聲明
    本文僅代表作發(fā)布者:百里信戈個人觀點,本站未對其內(nèi)容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內(nèi)容,一經(jīng)發(fā)現(xiàn),立即刪除,需自行承擔(dān)相應(yīng)責(zé)任。涉及到版權(quán)或其他問題,請及時聯(lián)系我們刪除處理郵件:weilaitui@qq.com。
     

    Copyright ? 2016 - 2025 - 企資網(wǎng) 48903.COM All Rights Reserved 粵公網(wǎng)安備 44030702000589號

    粵ICP備16078936號

    微信

    關(guān)注
    微信

    微信二維碼

    WAP二維碼

    客服

    聯(lián)系
    客服

    聯(lián)系客服:

    在線QQ: 303377504

    客服電話: 020-82301567

    E_mail郵箱: weilaitui@qq.com

    微信公眾號: weishitui

    客服001 客服002 客服003

    工作時間:

    周一至周五: 09:00 - 18:00

    反饋

    用戶
    反饋

    主站蜘蛛池模板: 蜜中蜜3在线观看视频| 久久久精品人妻无码专区不卡| 91综合久久婷婷久久| 男女一边摸一边爽爽视频| 性欧美16sex性高清播放| 午夜激情小视频| 一个色中文字幕| 男人的天堂黄色| 天下第一社区视频welcome | 樱桃黄高清完整版在线观看| 国产精品午夜无码AV天美传媒| 国产欧美精品午夜在线播放| 亚洲国产亚洲综合在线尤物| 一区三区三区不卡| 精品久久久久久久免费人妻| 女女女女BBBBBB毛片在线| 免费午夜爽爽爽WWW视频十八禁| japan高清日本乱xxxxx| 激情图片小说区| 国产美女mm131爽爽爽毛片| 亚洲国产一区二区三区| 国产女人18毛片水| 日本按摩xxxx| 四虎国产精品免费久久影院| 一区二区三区欧美视频| 狠狠色婷婷久久一区二区| 国内a级毛片免费···| 亚洲国产成人精品青青草原| 欧美人与zxxxx与另类| 日本高清黄色片| 四虎国产精品永久在线播放| 一区二区视频免费观看| 狠狠干最新网址| 国产精品狼人久久久久影院| 九色综合九色综合色鬼| 色综合小说天天综合网| 尤物视频193.com| 午夜福利AV无码一区二区| freee×xx性欧美| 欧美人与zoxxxx另类| 国产在线一91区免费国产91|