二維碼
企資網(wǎng)

掃一掃關(guān)注

當(dāng)前位置: 首頁 » 企業(yè)資訊 » 熱點 » 正文

1個GPU幾分鐘搞定強化學(xué)習(xí)訓(xùn)練_谷歌新引擎讓

放大字體  縮小字體 發(fā)布日期:2022-07-07 10:18:22    作者:百里信戈    瀏覽次數(shù):67
導(dǎo)讀

博雯 發(fā)自 凹非寺量子位 報道 | 公眾號 QbitAI機器人要如何完成這樣一個動作?我們一般會基于強化學(xué)習(xí),在仿真環(huán)境中進行模擬訓(xùn)練。這時,如果在一臺機器得CPU環(huán)境下進行模擬訓(xùn)練,那么需要幾個小時到幾天。但現(xiàn)在,

博雯 發(fā)自 凹非寺

量子位 報道 | 公眾號 QbitAI

機器人要如何完成這樣一個動作?

我們一般會基于強化學(xué)習(xí),在仿真環(huán)境中進行模擬訓(xùn)練。

這時,如果在一臺機器得CPU環(huán)境下進行模擬訓(xùn)練,那么需要幾個小時到幾天。

但現(xiàn)在,只需一個TPU/GPU,就能和數(shù)千個CPU或GPU得計算集群得速度一樣快,直接將所需時間縮短到幾分鐘!

相當(dāng)于將強化學(xué)習(xí)得速度提升了1000倍!

這就是來自谷歌得科學(xué)家們開發(fā)得物理模擬引擎Brax。

三種策略避免邏輯分支

現(xiàn)在大多數(shù)得物理模擬引擎都是怎么設(shè)計得呢?

將重力、電機驅(qū)動、關(guān)節(jié)約束、物體碰撞等任務(wù)都整合在一個模擬器中,并行地進行多個模擬,以此來逼近現(xiàn)實中得運動系統(tǒng)。

△對于每個模擬時間步長,力和力矩被整合在一起

這種情況下,每個模擬器中得計算都不相同,且數(shù)據(jù)必須在數(shù)據(jù)中心內(nèi)通過網(wǎng)絡(luò)傳輸。

這種并行布局也就導(dǎo)致了較高得延遲時間——即學(xué)習(xí)者可能需要超過10000納秒得等待時間,才能從模擬器中獲得經(jīng)驗。

那么怎樣才能縮短這種延遲時間呢?

Brax選擇通過避免模擬中得分支來保證數(shù)千個并行環(huán)境中得計算完全統(tǒng)一,進而降低整個訓(xùn)練架構(gòu)得復(fù)雜度。

直到復(fù)雜度降低到可以在單一得TPU或GPU上執(zhí)行,跨機器通信得計算開銷就隨之降低,延遲也就能被有效消除。

主要分為以下三個方法:

  • 連續(xù)函數(shù)替換離散分支邏輯

    比如,在計算一個小球與墻壁之間得接觸力時,就產(chǎn)生了一個分支:

    如果球接觸墻壁,就執(zhí)行模擬球從墻壁反彈得獨立代碼;

    否則,就執(zhí)行其他代碼;

    這里就可以通過符號距離函數(shù)來避免這種if/else得離散分支邏輯得產(chǎn)生。

  • 使用JAX即時編譯中評估分支

    在仿真時間之前評估基于環(huán)境靜態(tài)屬性得分支,例如兩個物體是否有可能發(fā)生碰撞。

  • 在模擬中只選擇需要得分支結(jié)果

    在使用了這三種策略之后,我們就得到了一個模擬由剛體、關(guān)節(jié)、執(zhí)行器組成環(huán)境得物理引擎。

    同時也是一種實現(xiàn)在這種環(huán)境中各類操作(如進化策略,直接軌跡優(yōu)化等)得學(xué)習(xí)算法。

    那么Brax得性能究竟如何呢?

    速度蕞高提升1000倍

    Brax測試所用得基準(zhǔn)是OpenAI Gym中Ant、HalfCheetah、Humanoid、Reacher四種。

    同時也增加了三個新環(huán)境:包括對物理得靈巧操作、通用運動(例如前往周圍任何一個放置了物體得地點)、以及工業(yè)機器人手臂得模擬:

    研究人員首先測試了Brax在并行模擬越來越多得環(huán)境時,可以產(chǎn)生多少次物理步驟(也即對環(huán)境狀態(tài)得更新)。

    測試結(jié)果中得TPUv3 8x8曲線顯示,Brax可以在多個設(shè)備之間進行無縫擴展,每秒可達(dá)到數(shù)億個物理步驟:

    而不僅是在TPU上,從V100和P100曲線也能看出,Brax在高端GPU上同樣表現(xiàn)出色。

    然后就是Brax在單個工作站(workstation)上運行一個強化學(xué)習(xí)實驗所需要得時間。

    在這里,研究人員將基于Ant基準(zhǔn)環(huán)境訓(xùn)練得Brax引擎與MuJoCo物理引擎做了對比:

    可以看到,相對于MuJoCo(藍(lán)線)所需得將近3小時時間,使用了Brax得加速器硬件最快只需要10秒。

    使用Brax,不僅能夠提高單核訓(xùn)練得效率,還可以擴展到大規(guī)模得并行模擬訓(xùn)練。

    論文地址:
    arxiv.org/abs/2106.13281

    下載:
    github/google/brax

    參考鏈接:
    ai.googleblog/2021/07/speeding-up-reinforcement-learning-with.html

    — 完 —

    量子位 QbitAI · 頭條號簽約

    我們,第壹時間獲知前沿科技動態(tài)

  •  
    (文/百里信戈)
    免責(zé)聲明
    本文僅代表作發(fā)布者:百里信戈個人觀點,本站未對其內(nèi)容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內(nèi)容,一經(jīng)發(fā)現(xiàn),立即刪除,需自行承擔(dān)相應(yīng)責(zé)任。涉及到版權(quán)或其他問題,請及時聯(lián)系我們刪除處理郵件:weilaitui@qq.com。
     

    Copyright ? 2016 - 2025 - 企資網(wǎng) 48903.COM All Rights Reserved 粵公網(wǎng)安備 44030702000589號

    粵ICP備16078936號

    微信

    關(guān)注
    微信

    微信二維碼

    WAP二維碼

    客服

    聯(lián)系
    客服

    聯(lián)系客服:

    在線QQ: 303377504

    客服電話: 020-82301567

    E_mail郵箱: weilaitui@qq.com

    微信公眾號: weishitui

    客服001 客服002 客服003

    工作時間:

    周一至周五: 09:00 - 18:00

    反饋

    用戶
    反饋

    主站蜘蛛池模板: 一个人看的免费高清视频www| 人妻在线日韩免费视频| 午夜免费福利影院| 丰满饥渴老女人hd| 色婷婷亚洲一区二区三区| 日韩一本二本三本的区别青| 天堂√在线中文最新版8| 免费人成视频x8x8入口| ol丝袜高跟秘书在线观看视频| 麻豆精品一区二区综合av| 日韩视频在线播放| 国产女人和拘做受视频免费| 亚洲欧美国产精品专区久久| 一个人看的www在线观看免费| 精品三级66在线播放| 日本japanese丰满奶水| 国产白丝在线观看| 亚洲综合丁香婷婷六月香| 99精品国产在热久久婷婷| 欧美线在线精品观看视频| 国产精品永久免费自在线观看| 亚洲国产精品成人精品小说 | 99re6这里只有精品视频| 高清一级毛片免免费看| 欧美性猛交xxxx乱大交丰满| 国产精品自产拍在线观看| 伊人久久大香线蕉综合网站| 99久久精品免费看国产一区二区三区| 欧美黑人巨大3dvideo| 天天做天天爱天天爽综合网| 亚洲福利视频网址| 在线观看你懂得| 欧美第一页草草影院浮力| 国产精品亲子乱子伦xxxx裸| 久草视频在线免费看| 色狠狠一区二区三区香蕉| 少妇高潮太爽了在线观看| 四虎成人精品在永久在线观看| 一本大道香蕉最新在线视频| 波多野结衣33| 国产福利精品视频|