運動-視覚ダイナミクス学習と線形ベルマン方程式によるロボット制御

• Item type: SIG Technical Reports(1)
• 公開日: 2012-06-21
• タイトル: 運動-視覚ダイナミクス学習と線形ベルマン方程式によるロボット制御
• タイトル / 言語: en
• タイトル: Learning Motor-visual Dynamics and Solving Linearlized Bellman Equation for Robot Control
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 奈良先端科学技術大学院大学情報科学研究科／沖縄科学技術研究基盤整備機構神経計算学ユニット
• 著者所属: 沖縄科学技術研究基盤整備機構神経計算学ユニット
• 著者所属: 沖縄科学技術研究基盤整備機構神経計算学ユニット／奈良先端科学技術大学院大学情報科学研究科
• 著者所属: 沖縄科学技術研究基盤整備機構神経計算学ユニット／奈良先端科学技術大学院大学情報科学研究科
• 著者所属(英): en
• 著者所属(英): Graduate school of Informatin, Nara Institute of Science and Technology／Neural Computation Unit, Okinawa Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Neural Computation Unit, Okinawa Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Neural Computation Unit, Okinawa Institute of Science and Technology／Graduate school of Informatin, Nara Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Neural Computation Unit, Okinawa Institute of Science and Technology／Graduate school of Informatin, Nara Institute of Science and Technology
• 著者名: 金城, 健; 内部, 英治; 吉本, 潤一郎; 銅谷, 賢治
• 著者名(英): Ken, Kinjo; Eiji, Uchibe; Junichiro, Yoshimoto; Kenji, Doya
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年、Todorov [1] はコスト関数の形式に制限を加え変数変換を行うことで Bellman 方程式を厳密に線形化しする手法を提案した。これにより Bellman 方程式は固有値問題に帰着され解析的に価値関数と最適制御則を導出することが可能となった。連続状態空間において線形化 Bellman 方程式は固有関数を解く問題となるが、既に Todorov により関数近似を用いることで固有関数を導出する手法が示されている [2]。この連続状態空間での非線形最適制御則は、ロボット制御の応用に適したものであるが、システムのダイナミクスが既知と仮定しており、実機においてそれが既知であることは稀である。またポールの振り上げ課題などの低次元の場合についてのみ検証されていた。本研究では、観測と行動の系列から運動視覚ダイナミクスを推定し、得られたダイナミクスに Todorov の手法を適用して最適制御則を獲得する方法を提案し、高次元の状態行動空間をもつ実機に対して適用を行った。タスクとして移動ロボッ; トの視覚にもとづくナビゲーション課題を用いた実験を通して、指数価値関数にもとづく制御において適切な行動が獲得できた。また LQR と同一問題設定のもとでは、価値関数による制御は LQR 以上の性能を得られた。
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Recently, Todorov [1] proposed a technique to strictly linearize a Bellman equation under a instruction on the cost function by exponential transformation of the variable. This enables deriving the value function and the optimal control law analytically, because the Bellman equation became an eigenvalue problem. In continuous state space case, a linearized bellman equation is required to solve an eigenfunction problem, Todorov has already shown a technique for deriving the eigenfunction by using the functional approximation [2]. Although these techniques are attractive for application to real system like robot, They assume that the dynamics of the system is already-known. In a real system, it is rare that they are already-known. It investigate only low dimensionality like swing-up balancing task. In this paper, We proposes a method for deriving an optimal control law from the estimated motor-visual dynamics from the sequence of experienced states and action and apply this method to real system with high state-actions space. In a visual guide task, Robot learn appropriate behavior and obtain better controller than LQR when the problem setting is equivalent to LQR.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA12055912
• 書誌情報: 研究報告バイオ情報学（BIO）; 巻 2012-BIO-29, 号 4, p. 1-6, 発行日 2012-06-21
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会