強化学習エージェントによる協調行動とコミュニケーションの創発

• Item type: Trans(1)
• 公開日: 2007-12-15
• タイトル: 強化学習エージェントによる協調行動とコミュニケーションの創発
• タイトル / 言語: en
• タイトル: Emergence of Communication and Cooperative Behavior by Reinforcement Learning Agents
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: シンポジウム特集
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: 独立行政法人沖縄科学技術研究基盤整備機構大学院大学先行研究プロジェクト 現在，独立行政法人国立高等専門学校機構沖縄工業高等専門学校メディア情報工学科
• 著者所属: 独立行政法人沖縄科学技術研究基盤整備機構大学院大学先行研究プロジェクト
• 著者所属: 独立行政法人沖縄科学技術研究基盤整備機構大学院大学先行研究プロジェクト
• 著者所属(英): en
• 著者所属(英): Initial Research Project (IRP), Okinawa Institute of Science and Technology (OIST) Promotion Corporation, Presently with Media Information Engineering, Okinawa National College of Technology (ONCT)
• 著者所属(英): en
• 著者所属(英): Initial Research Project (IRP), Okinawa Institute of Science and Technology (OIST) Promotion Corporation
• 著者所属(英): en
• 著者所属(英): Initial Research Project (IRP), Okinawa Institute of Science and Technology (OIST) Promotion Corporation
• 著者名: 佐藤尚; 内部, 英治; 銅谷, 賢治
• 著者名(英): Takashi, Sato; Eiji, Uchibe; Kenji, Doya
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: コミュニケーションの原型は，個体が環境や他の個体との相互作用において，報酬の獲得や適応度の向上に寄与する形で発現したと考えられる．本研究では，報酬最大化を目的とする強化学習エージェントが，余剰な行動と感覚の自由度をコミュニケーショのために使うことを学習できるための条件を，2個体が互いに相手の縄張りに入ると報酬を得るが衝突すると罰を受けるというゲームにより検証した．このゲームでは，コミュニケーションと協調行動のそれぞれが必須ではないが，発光行動を使えるエージェント間では，互いにその光を信号として利用することで衝突を避け，報酬を獲得し合う協調行動の創発が観察された．信号の表現の仕方には多様性が見られ，また作業記憶を持つエージェント間では，信号を送る側とそれに従う側という役割分化も見られた．これは，コミュニケーションと協調行動が必須ではない状況において，意味と信号の任意の対応付けによるコミュニケーションが，コミュニケーションの達成そのものを目的としなくても一般的な行動学習の枠組みにより創発しうることを示す初めての知見である．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: The prototype of symbolic communication would have emerged to help individuals to earn rewards and to improve fitness by using their excess degrees of freedom in action and perception. In this paper, we investigate whether and how reinforcement learning agents who aim at maximizing rewards can learn to use their redundant actions for communication in a simple game where the two agents learn to earn rewards by intruding into the other's territory on a linear track. In this task, although both cooperation and communication are not imperative, we found that the agents with lights and light sensors are able to achieve cooperative behaviors by avoiding collisions using visual communication in the middle of the track. Further analysis reveals a variety in the mapping of messages to signals. In some cases, the differentiation of roles into a sender and a receiver was observed. This is to our knowledge the first demonstration of emergence of communication by arbitrary meaning-coding mapping without an explicit objective of communication itself in a situation in which both cooperation and communication are not indispensable.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11464803
• 書誌情報: 情報処理学会論文誌数理モデル化と応用（TOM）; 巻 48, 号 SIG19(TOM19), p. 55-67, 発行日 2007-12-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7780
• 出版者 / 言語: ja
• 出版者: 情報処理学会