智能制造網(wǎng)APP
智能制造網(wǎng)手機(jī)站
智能制造網(wǎng)小程序
智能制造網(wǎng)官微
智能制造網(wǎng)服務(wù)號(hào)
智能控制
機(jī)器人
儀器儀表
物聯(lián)網(wǎng)
3D打印
工業(yè)軟件
回放
品牌
傾技
當(dāng)前，人形機(jī)器人作為具身智能的最高體現(xiàn)，受到各界廣泛關(guān)注。但由于人形機(jī)器人結(jié)構(gòu)的高度復(fù)雜性，其強(qiáng)化學(xué)習(xí)訓(xùn)練以及從模擬環(huán)境向真實(shí)世界遷移的過程，相較于四足機(jī)器人而言，更具挑戰(zhàn)性。
近日，由具身智能與人形機(jī)器人公司星動(dòng)紀(jì)元聯(lián)合清華大學(xué)、上海期智研究院開發(fā)的開源人形機(jī)器人端到端強(qiáng)化學(xué)習(xí)訓(xùn)練框架Humanoid-Gym正式面世。系統(tǒng)全開源，意在降低人形機(jī)器人算法的開發(fā)門檻，助力全球?qū)W界和業(yè)界的研究者們?cè)谌诵螜C(jī)器人領(lǐng)域的創(chuàng)新工作。
人形機(jī)器人的強(qiáng)化學(xué)習(xí)訓(xùn)練一直是一個(gè)重大難題。
首先，人形機(jī)器人身體結(jié)構(gòu)高度復(fù)雜，關(guān)節(jié)自由度極高，使得控制策略的尋優(yōu)空間維度驚人，算法難以高效求解。其次，機(jī)器人在訓(xùn)練環(huán)境和真實(shí)環(huán)境之間存在明顯的模態(tài)差異，訓(xùn)練出的策略很難直接遷移到現(xiàn)實(shí)世界，需要耗費(fèi)大量的人力物力資源來反復(fù)調(diào)試。再者，迄今為止還沒有一個(gè)統(tǒng)一的基準(zhǔn)評(píng)價(jià)體系，訓(xùn)練出來的策略優(yōu)劣很難權(quán)衡，也難以借鑒和共享前人的研究成果。
正是基于上述背景，Humanoid-Gym框架誕生了。
Humanoid-Gym框架通過其精心設(shè)計(jì)的獎(jiǎng)勵(lì)函數(shù)以及域隨機(jī)化技術(shù)，顯著簡(jiǎn)化了人形機(jī)器人的訓(xùn)練以及實(shí)現(xiàn)sim-to-real轉(zhuǎn)換的難度。
除了用sim-to-real驗(yàn)證以外，另一個(gè)常見的做法是用第二個(gè)更高精度的仿真環(huán)境來做初步做驗(yàn)證(sim-to-sim)。本次Humanoid-Gym開源后，用戶可以通過該框架輕松運(yùn)用sim-to-sim轉(zhuǎn)換功能，先在更高精度的仿真環(huán)境Mujoco中進(jìn)行初步驗(yàn)證與篩選，從而提升sim-to-real轉(zhuǎn)換的效率和成功率。
目前，該框架已在星動(dòng)紀(jì)元旗下的兩款機(jī)器人——小星(1.2米高)和小星max(1.65米高)上成功驗(yàn)證。
Humanoid-Gym標(biāo)志著星動(dòng)紀(jì)元在人形機(jī)器人技術(shù)推廣和共享方面的積極姿態(tài)，通過降低進(jìn)入門檻，星動(dòng)紀(jì)元期望激發(fā)更多的創(chuàng)新思維和解決方案，共同推進(jìn)人形機(jī)器人技術(shù)的未來發(fā)展。但就目前而言，從算法理論到工程實(shí)踐，這個(gè)領(lǐng)域依然有諸多瓶頸待解決，亟須全球智慧的持續(xù)凝聚。
Humanoid-Gym的發(fā)布，是開啟sim-to-real新時(shí)代的開端，但卻絕不是終點(diǎn)。我們期待全球?qū)W界與業(yè)界同行們一齊加入這一新浪潮，攜手推進(jìn)具身智能技術(shù)的發(fā)展！
浙公網(wǎng)安備 33010602000006號(hào)
智能制造網(wǎng)APP
智能制造網(wǎng)小程序
微信公眾號(hào)
