長時程機器人控制：RL 與 Active Inference 怎麼選？

讓移動機器人穿過未知空間、找到目標、避開障礙，再完成抓取或搬運，難點通常不在某一個動作能不能做，而在於前面的判斷誤差會不會一路累積到後段。走錯一個岔路、把遮蔽誤當成物件消失，或在資訊不足時過早伸手，都可能讓後面的規劃失去退路。這就是長時程機器人控制比單一步驟控制更難的原因。

強化學習（Reinforcement Learning，RL）不是到了長時程任務就必然失效；真正容易讓系統表現不穩的，是稀疏或延遲回饋、部分可觀測、未知環境、模型誤差、模擬與真機之間的落差，以及不能只靠試錯處理的安全限制同時出現。Active Inference（主動推論）提供以生成模型、信念狀態與資訊價值協助規劃的另一種框架，但它同樣需要可信的模型、明確的責任分工與可重現的評測。

先釐清：真正要解的是哪一種控制問題？

比較 RL 與 Active Inference 前，先把任務講清楚。若機器人能完整知道自己的位置、障礙物和目標狀態，問題接近可完整觀測的控制；但真實場域的相機會被遮住、光線會改變、定位與感測也會延遲。這時系統看到的是觀測，而不是完整的世界狀態，較適合用部分可觀測決策問題來理解。

長時程也不是一個固定步數，而是指決策彼此相依的程度很高。例如先定位、再選路、靠近工作面、辨識物件、調整姿態、抓取與搬運；任何一段失誤都可能讓後面的動作無法補救。判斷框架是否適用時，重點不是名稱，而是它能否在資訊不完整、環境改變與安全限制下，持續提供可被驗證的行動。

為什麼長時程 RL 容易出現不穩定？

延遲回饋讓責任歸因變得困難

如果只有成功抓到物件才得到正回饋，前面數十步的轉向、觀察、接近和姿態調整，很難知道各自貢獻了多少。獎勵塑形能加快學習，卻也可能讓策略學會取得局部高分、但偏離真正任務目標的捷徑。這是長時程目標、探索成本與評分訊號之間的設計問題，而不是單一演算法的缺陷。

部分可觀測會放大錯誤假設

單張影像不等於世界狀態。遮蔽物、反光、低光、感測雜訊與延遲，可能讓兩個不同狀態看起來相似。控制器若把暫時看不到的物體當成不存在，或把不確定的位置當成精確座標，就容易選擇過度激進的路徑。部分可觀測環境下的 RL 研究也把狀態資訊不足視為實際難點，並以訓練時的完整狀態協助提升策略表現；這提醒我們，記憶、狀態估計與訓練資料的設計都會影響結果。

模型誤差會隨規劃距離累積

模型式方法即使每一步都預測得「差不多」，在長時間滾動後也可能偏離到完全錯誤的狀態。針對 model-based RL 的研究指出，模型不準確時可能造成嚴重失敗，因此規劃視野不能只憑固定步數決定，而要考量模型在不同狀態下的可信度。短路徑成功，不能直接推論長路徑也可靠。

模擬與真機的落差不會自動消失

模擬器中的摩擦、相機延遲、物件重量與照明，不會和現場完全相同。若訓練資料只涵蓋固定地面、固定物件和固定光線，策略遇到新房間或新材質時，可能不是突然變差，而是遇到尚未學過的資料分佈。評估時應主動加入遮蔽、光線、摩擦、感測延遲、物件尺寸與空間配置的變化，而不是只看單一平均成功率。

安全不能只交給獎勵函數

把碰撞設成負分，不代表系統一定不會碰撞。當資料不足或目標回饋太強時，策略仍可能嘗試高風險行動。真實部署應另外設置速度與力矩限制、碰撞偵測、可預期的安全停止條件，以及人工接管路徑。學習式控制器可以提出候選行動，但硬性安全邊界應由更高優先級、可獨立驗證的機制把關。

Active Inference 帶來什麼不同觀點？

先維護對世界的信念，再決定動作

Active Inference 通常以生成模型描述隱藏狀態如何轉移、狀態可能產生哪些感測結果，以及哪些結果符合任務偏好。系統不只是把一串影像直接映射成動作，而是持續維護「目前世界可能是什麼樣子」的機率信念，收到新觀測後再調整判斷。這讓感知、狀態估計與控制可以在同一個推論循環中協調。

把取得資訊的價值納入規劃

在常見的描述裡，策略會以 expected free energy 來比較未來行動。直覺上，它同時考慮結果是否符合偏好，以及某一步能不能帶來有用資訊。若機器人還不確定哪個盒子可抓，先移到較安全的位置取得更好的視角，可能比直接伸手更合理。不過這不等於只要降低不確定性就一定正確；模型仍要能合理預測「移動到哪裡會看到什麼」，也要有發現錯誤信念時的修正和停止機制。

它不是 RL 的萬用替代品

Active Inference 可以和 RL、model predictive control、SLAM 或安全控制器組合，但組合後必須清楚分工：誰負責估計狀態、誰產生候選策略、誰執行硬性限制。若沒有可信的生成模型、足夠的模型辨識資料或可接受的推論延遲，換一個框架名稱不會自動消除長時程失穩。把它視為可驗證的候選方案，比把它描述成通用救援工具更準確。

用同一套條件公平比較兩種做法

一個有用的比較不應只展示最佳示範影片，而要先寫下任務目標、最大步數、可用感測器、動作範圍，以及何時算成功、超時、碰撞或安全停止。接著讓 RL、具狀態估計或模型式元件的基準，以及 Active Inference 版本，在相同的觀測限制與安全層下測試。

把環境分成訓練已知、驗證擾動與完全未見三組，避免測試資料回流到訓練集。
使用多個隨機種子，回報平均表現與分散程度，而不是只呈現最好的一次。
在進入真機或高擬真硬體迴路測試前，確認每個候選策略都經過同一個安全監督器。
為失敗案例分類：是觀測不足、探索受限、模型誤差、獎勵捷徑，還是安全限制互相衝突。

除了成功率，至少還要看完成步數或時間、碰撞與近失誤次數、速度或力矩違規、遇到遮蔽或物件移動後的恢復率、安全停止是否可重現、信念或不確定性是否校準，以及收集真機資料與運算所需的成本。這些數字共同回答的是：系統是否真的穩健，而不是剛好在熟悉場景跑出一次好成績。

什麼情況值得嘗試 Active Inference？

環境明顯部分可觀測，而且移動感測器能改變可取得的資訊。
任務有清楚的目標、先驗或風險成本，需要在接近目標和先確認狀態之間取捨。
團隊願意建立、校準並持續驗證生成模型，而不是期待框架名稱解決資料不足。
主動推論可以放在規劃或信念層，同時保留獨立的碰撞偵測與人工接管。

什麼時候應先補齊基礎，而不是直接換框架？

輸入是高維像素，但目前沒有足夠資料建立可信的生成模型。
任務只需要短時程反應，模型推論延遲已經超出控制迴路可接受範圍。
團隊還沒有基準、隨機種子、失敗分類與安全日誌，無法判斷問題究竟來自觀測、獎勵還是控制器。
需求是形式化的硬性安全保證；此時應先採用可驗證的限制控制或安全監督，再討論學習式規劃器。

常見問題

Active Inference 算不算強化學習？

兩者可以共享學習與控制元件，但不應直接畫上等號。RL 常以回饋和價值估計來改善策略；Active Inference 則以生成模型、信念更新和 expected free energy 選擇行動。實際系統可以混合使用，前提是資料流和責任邊界要清楚。

它能保證長時程任務不失穩嗎？

不能。它可能有助於把狀態不確定性、資訊取得和任務偏好放進同一個規劃問題，但生成模型錯誤、感測器故障、計算資源不足和安全限制仍會影響結果。是否改善，必須由預先定義、多場景且可重現的測試來證明。

應先改獎勵，還是先換演算法？

先找出失敗原因。若問題是看不見、資料涵蓋不足、模型誤差或安全限制衝突，直接換框架只會多增加一個變因。先建立可重現的評測與失敗紀錄，通常比立刻重寫整個控制器更有價值。想先掌握 RL 的基本概念，也可參考本站的強化學習入門文章；若是評估多機器人協調的實際部署風險，則可延伸閱讀Amazon DeepFleet 的導入分析。