@article{oai:ipsj.ixsq.nii.ac.jp:00239726,
 author = {遠藤, 拓斗 and 福永, 修一 and Takuto, Endo and Shuichi, Fukunaga},
 issue = {3},
 journal = {情報処理学会論文誌数理モデル化と応用（TOM）},
 month = {Sep},
 note = {プライバシ保護強化学習は機密データを暗号化した状態で学習するモデルであり，個人を特定可能な医療データや，収集された金融情報などのプライバシを保ったまま処理できる．このアルゴリズムは特に様々な個人情報を扱う医療分野で重要となるが，従来のプライバシ保護強化学習は学習した方策が患者に副作用をもたらす可能性を考慮していなかった．そこで本研究は，プライバシ保護強化学習にリスク関数を導入し，患者のプライバシを保護しつつ安全な方策を学習するモデルを提案する．提案手法は準同型暗号と呼ばれる暗号化したデータの演算が可能な暗号方式を用いてプライバシ保護を実現する．さらに，糖尿病患者へのインスリン投与において，低血糖に陥ってしまった場合にペナルティを与えるリスク関数を使用する．最後に，糖尿病患者に対するシミュレーションを行った結果，提案手法で学習した方策はプライバシを保護しつつ，低血糖に陥るリスクを抑えられることが分かった．, Privacy-preserving reinforcement learning is a model that learns a policy from several sources, including personally identifiable medical data and collected financial information, without leaking sensitive information. Although this algorithm is significant in healthcare, where personal information is handled, conventional privacy-preserving reinforcement learning does not consider the possible side effects to the patients due to the learned policy. In this study, we introduce a risk function into the privacy-preserving reinforcement learning and propose a model that learns a safe policy without leaking sensitive information. We implement the proposed method by homomorphic encryption, which performs arithmetic operations on ciphertexts to archive confidentiality. Furthermore, the proposed method uses a risk function that penalizes hypoglycemia for its high risk in blood glucose control. Finally, we simulate blood glucose control and show that the policy learned by the proposed method minimizes the risk of hypoglycemia while protecting privacy.},
 pages = {1--12},
 title = {リスク関数を用いたプライバシ保護安全強化学習},
 volume = {17},
 year = {2024}
}