{"metadata":{"_oai":{"id":"oai:ipsj.ixsq.nii.ac.jp:00198017","sets":["1164:1867:9726:9856"]},"path":["9856"],"owner":"44499","recid":"198017","title":["Apache Sparkにおけるブルームフィルタを用いたSQL処理の高速化"],"pubdate":{"attribute_name":"公開日","attribute_value":"2019-07-17"},"_buckets":{"deposit":"f5550b02-ff58-49b6-8bf3-a528cddbc849"},"_deposit":{"id":"198017","pid":{"type":"depid","value":"198017","revision_id":0},"owners":[44499],"status":"published","created_by":44499},"item_title":"Apache Sparkにおけるブルームフィルタを用いたSQL処理の高速化","author_link":["476146","476149","476147","476148"],"item_titles":{"attribute_name":"タイトル","attribute_value_mlt":[{"subitem_title":"Apache Sparkにおけるブルームフィルタを用いたSQL処理の高速化"}]},"item_keyword":{"attribute_name":"キーワード","attribute_value_mlt":[{"subitem_subject":"分散システム","subitem_subject_scheme":"Other"}]},"item_type_id":"4","publish_date":"2019-07-17","item_4_text_3":{"attribute_name":"著者所属","attribute_value_mlt":[{"subitem_text_value":"名古屋工業大学"},{"subitem_text_value":"名古屋工業大学／株式会社小松製作所"},{"subitem_text_value":"名古屋工業大学"},{"subitem_text_value":"名古屋工業大学"}]},"item_4_text_4":{"attribute_name":"著者所属(英)","attribute_value_mlt":[{"subitem_text_value":"Nagoya Institute of Technology","subitem_text_language":"en"},{"subitem_text_value":"Nagoya Institute of Technology / Komatsu Ltd.","subitem_text_language":"en"},{"subitem_text_value":"Nagoya Institute of Technology","subitem_text_language":"en"},{"subitem_text_value":"Nagoya Institute of Technology","subitem_text_language":"en"}]},"item_language":{"attribute_name":"言語","attribute_value_mlt":[{"subitem_language":"jpn"}]},"item_publisher":{"attribute_name":"出版者","attribute_value_mlt":[{"subitem_publisher":"情報処理学会","subitem_publisher_language":"ja"}]},"publish_status":"0","weko_shared_id":-1,"item_file_price":{"attribute_name":"Billing file","attribute_type":"file","attribute_value_mlt":[{"url":{"url":"https://ipsj.ixsq.nii.ac.jp/record/198017/files/IPSJ-OS19147006.pdf","label":"IPSJ-OS19147006.pdf"},"date":[{"dateType":"Available","dateValue":"2021-07-17"}],"format":"application/pdf","billing":["billing_file"],"filename":"IPSJ-OS19147006.pdf","filesize":[{"value":"389.5 kB"}],"mimetype":"application/pdf","priceinfo":[{"tax":["include_tax"],"price":"660","billingrole":"5"},{"tax":["include_tax"],"price":"330","billingrole":"6"},{"tax":["include_tax"],"price":"0","billingrole":"11"},{"tax":["include_tax"],"price":"0","billingrole":"44"}],"accessrole":"open_date","version_id":"6910e3e9-4f1f-427e-bc48-5c1d36aa57b9","displaytype":"detail","licensetype":"license_note","license_note":"Copyright (c) 2019 by the Information Processing Society of Japan"}]},"item_4_creator_5":{"attribute_name":"著者名","attribute_type":"creator","attribute_value_mlt":[{"creatorNames":[{"creatorName":"早瀬, 大智"}],"nameIdentifiers":[{}]},{"creatorNames":[{"creatorName":"稲垣, 英夫"}],"nameIdentifiers":[{}]},{"creatorNames":[{"creatorName":"川島, 龍太"}],"nameIdentifiers":[{}]},{"creatorNames":[{"creatorName":"松尾, 啓志"}],"nameIdentifiers":[{}]}]},"item_4_source_id_9":{"attribute_name":"書誌レコードID","attribute_value_mlt":[{"subitem_source_identifier":"AN10444176","subitem_source_identifier_type":"NCID"}]},"item_4_textarea_12":{"attribute_name":"Notice","attribute_value_mlt":[{"subitem_textarea_value":"SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc."}]},"item_resource_type":{"attribute_name":"資源タイプ","attribute_value_mlt":[{"resourceuri":"http://purl.org/coar/resource_type/c_18gh","resourcetype":"technical report"}]},"item_4_source_id_11":{"attribute_name":"ISSN","attribute_value_mlt":[{"subitem_source_identifier":"2188-8795","subitem_source_identifier_type":"ISSN"}]},"item_4_description_7":{"attribute_name":"論文抄録","attribute_value_mlt":[{"subitem_description":"機械学習やビッグデータの解析を複数の計算機で分散させる手法が一般的となり，そのフレームワークとして Apache Spark が広く利用されている．Spark は頻繁に利用するデータをメモリにキャッシュすることで高速な処理を実現するインメモリ処理を採用しているが，データサイズがクラスタのメモリ総量を超える場合，スラッシングが発生してスループットが低下する．Spark はキャッシュ管理手法に LRU (Least Recently Used) を採用しているが，LRU は短期的なアクセスパターンからキャッシュするデータを決めるため，アクセスパターンが変化した時にメモリ-ディスク間でデータの移動が多発する．より長期的なアクセスパターンを考慮したキャッシュ管理手法として，参照カウントによって頻繁に利用される RDD (Resilient Distributed Dataset) を検出可能な LRC (Least Reference Count) が提案されているが，RDD 内部のパーティション単位でアクセスに偏りがある場合には対応できない．本研究では，パーティション単位のブルームフィルタを導入し，不要なパーティションへのアクセスを禁止することで，頻繁に利用されるパーティションの検出を可能にする．具体的には，パーティション内に含まれるレコードをブルームフィルタに登録し，Master に送信する．Master はそのブルームフィルタを基に，処理対象のデータが含まれている可能性があるパーティションの処理のみを Slave に依頼する．提案手法を性能テストベンチマークである TPC-H で評価した結果，9.8% の性能向上を確認した．","subitem_description_type":"Other"}]},"item_4_biblio_info_10":{"attribute_name":"書誌情報","attribute_value_mlt":[{"bibliographicPageEnd":"6","bibliographic_titles":[{"bibliographic_title":"研究報告システムソフトウェアとオペレーティング・システム（OS）"}],"bibliographicPageStart":"1","bibliographicIssueDates":{"bibliographicIssueDate":"2019-07-17","bibliographicIssueDateType":"Issued"},"bibliographicIssueNumber":"6","bibliographicVolumeNumber":"2019-OS-147"}]},"relation_version_is_last":true,"weko_creator_id":"44499"},"id":198017,"updated":"2025-01-19T22:07:55.848512+00:00","links":{},"created":"2025-01-19T01:02:23.625604+00:00"}