2月20日 消息:機(jī)器人學(xué)習(xí)技術(shù)能夠概括廣泛的任務(wù)、設(shè)置和對象。不幸的是，這些策略需要廣泛、多樣化的數(shù)據(jù)集，而在實際的機(jī)器人環(huán)境中獲取這些數(shù)據(jù)集既困難又昂貴。機(jī)器人學(xué)習(xí)的普遍性需要訪問機(jī)器人直接環(huán)境之外的先驗或數(shù)據(jù)。

數(shù)據(jù)擴(kuò)充是增強(qiáng)模型泛化能力的有用工具。但大多數(shù)方法在低級視覺空間中運(yùn)行，以顏色抖動、高斯模糊和裁剪等方式改變數(shù)據(jù)。然而，它們?nèi)匀粺o法處理圖片中顯著的語義差異，例如分散注意力的元素、不同的背景或不同對象的外觀。

GenAug 是由華盛頓大學(xué)和 Meta AI 開發(fā)的語義數(shù)據(jù)增強(qiáng)框架，它使用預(yù)訓(xùn)練的文本到圖像生成模型來促進(jìn)實際機(jī)器人中基于模仿的學(xué)習(xí)。與機(jī)器人數(shù)據(jù)相比，預(yù)訓(xùn)練的生成模型可以訪問更大、更多樣化的數(shù)據(jù)集。這項研究使用這些生成模型來補(bǔ)充數(shù)據(jù)，以訓(xùn)練現(xiàn)實世界中的實際機(jī)器人。這項研究基于這樣一種直覺信念，即盡管場景、背景和項目外觀存在差異，但在一個環(huán)境中完成任務(wù)的方法通常應(yīng)該可以轉(zhuǎn)移到不同情況下的相同任務(wù)。

生成模型可以生成截然不同的視覺情況，具有不同的背景和項目外觀，在這些情況下，相同的行為仍然有效。同時，有限的機(jī)器人體驗提供了所需行為的演示。此外，這些生成模型是根據(jù)真實數(shù)據(jù)訓(xùn)練的，因此生成的場景看起來逼真且多變。通過這樣做，可以從有限數(shù)量的演示中輕松且經(jīng)濟(jì)地生成大量語義，從而使學(xué)習(xí)代理可以訪問比僅在機(jī)器人上演示數(shù)據(jù)更多樣化的設(shè)置。

GenAug 可以為全新的真實環(huán)境生成“增強(qiáng)的”RGBD 圖像，展示機(jī)器人在現(xiàn)實世界中可能體驗到的場景的視覺真實性和復(fù)雜性，給定真實機(jī)器人系統(tǒng)上提供的圖像動作示例數(shù)據(jù)集。具體來說，對于在桌面上執(zhí)行操作任務(wù)的機(jī)器人，GenAug 結(jié)合使用語言提示和生成模型來改變項目的紋理和形狀，并添加新的分散注意力的元素和與原始場景在物理上保持一致的背景場景。

Meta 的研究論文表明，GenAug 可用于從單一、簡單的環(huán)境創(chuàng)建10個真實世界的復(fù)雜演示。根據(jù)研究結(jié)果，與傳統(tǒng)方法相比，GenAug 可以將機(jī)器人訓(xùn)練提高40%，讓機(jī)器人可以在從未見過的地方和物品上進(jìn)行訓(xùn)練。

該團(tuán)隊計劃將 GenAug 應(yīng)用于機(jī)器人學(xué)習(xí)的其他領(lǐng)域，例如行為克隆和強(qiáng)化學(xué)習(xí)，并超越更困難的操作問題。研究人員認(rèn)為，研究語言和視覺語言模型的混合是否或是否可以提供出色的場景生成器，這將是一種引人入勝的方法。