在美國加州聖利安卓的一座倉庫裡，訓練人員一邊玩疊疊樂，一邊戴著能追蹤視線及量測腦波的頭戴裝置。這並非一般實驗，而是AI資料公司Encord正在測試的新方法，希望將人類執行任務時的意圖、錯誤與驚訝等腦部訊號，轉化為機器人訓練資料。
在美國加州聖利安卓的一座倉庫裡，訓練人員一邊玩疊疊樂，一邊戴著能追蹤視線及量測腦波的頭戴裝置。這並非一般實驗，而是AI資料公司Encord正在測試的新方法，希望將人類執行任務時的意圖、錯誤與驚訝等腦部訊號，轉化為機器人訓練資料。
隨著人形機器人與倉儲機器人持續發展，產業面臨的關鍵限制可能不再只是模型架構，而是缺乏足夠且高品質的真實世界操作資料。相較大型語言模型可使用網路上的大量文字，機器人必須學會抓取、移動、插拔及堆疊物品，這類物理操作資料不僅稀少，也必須投入人力及設備製造。
AI資料公司Encord開始建立內部資料生產團隊，直接製造客戶需要的機器人訓練資料。（圖／截取自Encord）腦波標記人類意圖與錯誤
Encord原本主要協助企業標註機器視覺資料及評估模型，如今開始建立內部資料生產團隊，直接製造客戶需要的機器人訓練資料。實驗中使用的腦波裝置由德國神經科學新創Zander Labs開發，可量測人類執行任務時的腦部活動，並推測錯誤、意圖或驚訝等心理狀態。
Encord目前與Zander Labs的合作仍處於測試階段，計畫先建立一批加入腦波標記的資料，再導入客戶的機器人模型，觀察是否能改善操作表現，之後才會決定是否擴大規模。
負責監督實驗的Zander Labs神經科學家Lucas Gehrke表示，人類在執行不同任務時使用的腦部活動程度，可讓模型開發者判斷哪些操作情境需要啟動運算量更高、能力更強的模型。
實體AI卡在資料不足
Encord機器人學習主管Vineeth Velmurugan將腦波資料形容為解決機器人資料瓶頸的最前沿嘗試。他曾任職OpenAI機器人實驗室及倉儲自動化公司Berkshire Grey，之後加入Encord建立資料製造團隊。
Velmurugan表示，當客戶開始將端到端學習技術應用於機器人操作任務時，公司逐漸發現，單純協助管理現有資料已經不足，因為市場需要的訓練資料根本不存在。
生成式AI能否為機器人帶來類似聊天機器人的突破，始終受到實體資料不足限制。大型語言模型可以利用網路上的大量文字訓練，但要教會神經網路理解真實世界的物體操作，資料蒐集難度高得多。
自駕車業者通常自行蒐集道路資料，但這種模式難以快速擴大。使用一般影片訓練雖然可行，卻缺乏真實操作資料的精細度。Velmurugan估計，若要讓實體AI取得重大突破，所需資料規模可能相當於YouTube影片資料量的5倍。
穿戴攝影機蒐集第一人稱操作
目前開發機器人模型的企業，主要透過兩種方式取得資料。一種是讓工作人員配戴攝影機，蒐集第一人稱視角影片，並搭配其他攝影角度及感測資訊；另一種則是由人類遠端操控機器人，記錄機器完成任務的操作過程。
Encord在全球多座工廠蒐集第一人稱影像，並在聖利安卓的設施測試腦波、肌肉訊號等新型資料，也針對特定操作技能建立微調資料集。
在倉庫內，訓練人員利用主從式雙機械臂設備蒐集資料。其中一支機械臂由人類直接操作，另一支則同步模仿動作，記錄倒咖啡、堆疊籌碼等任務。
Velmurugan表示，幾乎所有人形機器人公司都需要這類操作資料。倉庫貨架上放滿花瓶、書籍、塑膠蔬菜、貓砂盆、電線及其他日常用品，供機器人練習家務及物品操作。
機器手臂仍難取代人類手指
另一名訓練人員Sofia Infante則操控機械臂，將乙太網路線插入及拔出伺服器背面的連接埠。這類工作是資料中心業者希望自動化的項目，但機器人目前仍難以達到需要的精準度。
機械夾爪的靈活度遠低於人類手指，也缺少人類手臂能自然完成的多方向活動能力，因此即使看似簡單的插拔線材，對機器人而言仍相當困難。
Encord也正測試將感測器綁在前臂上，量測肌肉產生的電訊號。一般影片拍攝人類用手操作物品時，經常無法完整捕捉整隻手的位置及姿勢，公司希望利用前臂感測資料，重建手部在不同時間點的3D位置，讓模型更完整理解人類動作。
高品質標註成本高昂
Encord會為每段訓練影片加入具體的物理動作描述，例如「右手鎖緊螺栓」，協助使用大型語言模型技術的機器人模型理解影片內容。
Velmurugan估計，這類密集標註資料對特定任務的訓練價值，可能是低品質第一人稱資料的100倍，而製作成本約高出20倍。從效益來看仍可能值得投入，但實體AI資料成本也成為產業必須面對的現實問題。
大型語言模型業者過去可低成本從網路取得大量文字，但機器人操作資料不能只靠抓取現成內容，而是必須透過人員、設備及場景實際製造，直接改變實體AI模型的開發成本。
Encord認為，由於公司同時與多家機器人企業合作，可以觀察哪些資料蒐集及訓練方式正在產業中取得成效，再將經驗應用於不同客戶。
目前Encord倉庫約有十多名訓練人員，持續為神經網路建立各種操作資料。這批新興工作者不只是在遙控機器人，也正一項項拆解人類動作、感知及思考過程，成為實體AI發展背後的重要基礎。
資料來源：Techcrunch
這篇文章 腦波能破解機器人訓練瓶頸？新創公司用人類意圖打造實體AI資料 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。
