Recommended
More Related Content
What's hot
What's hot (20)
Similar to 人狼BBSにおける発話の自動分類
More from Takanori Fukui
人狼BBSにおける発話の自動分類
- 3. 研究背景 • 人狼ゲーム • 人狼知能プロジェクト • 人狼BBS
- 4. • 村人役と人狼役の2つの陣営に分かれる • 話し合いによって他のプレイヤの正体を探る • 村人と人狼は互いの排除を目指す 村人側 人狼側 人狼ゲーム
- 8. 人狼BBSの特徴 • 様々なプレイヤが ゲームに参加 • 文字列のみでの コミュニケーション • 1700ゲーム以上のロ グが存在 人狼ゲームの記録として の利用が可能
- 12. 多種多様な会話 • ロールプレイのための会話 • 略語や慣例となった表現を用いた会話 • 不完全な文での会話
- 15. 分類対象 • Comingout • 自分の役職の公開または限定 • Divined_Inquested • 占いの結果または霊能の結果 • Guard • 護衛したプレイヤの報告 • Vote • 投票先プレイヤの宣言 • Estimate • 他のプレイヤの役職の予想 私は占い師では ありません ○○を護衛した ○○は人狼だと 思う
- 19. 標本データの作成
- 21. ステップ1: 文の分割
- 23. Speech content タグ BBSから抽出さ れた文 分類される 話題 or 「untag」 Example 対 ステップ3:ラベリング I am Psychic! 【私が霊能者だよー！】␣Comingout
- 24. Topics Number of Sample-data Comingout 248 Divined_Inquested 136 Vote 470 Estimate 412 Guard 16 標本データの数 役職に関係なく収 集される標本デー タ「○○を護衛した」と発言 すると人狼に狙われる可能 性が高い＝発言が少ない
- 27. 標本データの前処理(2/2) • 形態素解析エンジンで単語に分解 • それぞれの単語にIDを割り当て • 単語ID の出現回数をカウント 標本 データ 【私が霊能者だよー！】 【/私が/霊能者/だよ/ー/！/】 2:2 13:1 43:1 51:1 84:1 123:1
- 29. 結果と考察
- 30. 話題分類の結果(1/2) 0% 20% 40% 60% 80% 100% 役職の公開 種族の判定 投票先の宣言 役職の予想 護衛の報告 Comingout Div_Inq Vote Estimate Guard 短文 & シンプルな構文
- 31. 誤分類した文 • Comingout（役職の公開） 《誤って分類された例》 【この国で最初に負傷した男 CO】 （負例） 【おかんってば死者の霊がみえるようになって た！ 】（正例） • Divined_Inquested（占い・霊能結果の報告） 《誤った分類された例》 女は狼なんですね（負例）
- 32. 話題分類の結果(2/2) 0% 20% 40% 60% 80% 100% 役職の公開 種族の判定 投票先の宣言 役職の予想 護衛の報告 Comingout Div_Inq Vote Estimate Guard 不十分なデータ数 人狼に襲撃される恐れがあるため 発言される機会が少ない話題
- 33. まとめと 今後の課題
- 34. まとめ • SVMを用いた機械学習手法の提案 • 機械学習のための標本データの作成 • 検証方法としてK-分割交差検証を行った • 一部の話題では高い精度を得られた
- 35. 今後の課題 • より多くの標本データの作成 • 標本データ作成手順の改良 • ニューラルネットワークへの適用
- 36. Questions Please
Editor's Notes
- それでは，人狼BBSにおける発話の自動分類と題しまして， 愛知工業大学の福井敬徳が発表させていただきます 本研究は稚拙ながらも学部４年の集大成として行った卒業研究です． 数多くの課題を残したままではありますが，忌憚のないご意見をお願いします．
- 今日の発表の概要はこのような順序で喋らせて頂きます、宜しくお願いします。
- まず初めに，研究の背景として人狼ゲームと人狼知能プロジェクト，研究対象とする人狼BBSについて説明します
- 一般的に，人狼ゲームとは，プレイヤ同士が顔を合わせて話すコミュニケーションゲームです． 村人役と人狼役の2つの陣営に分かれ，話し合いによって，他のプレイヤの正体を探りつつ，村人と人狼は互いの排除を目指します．
- また，人狼ゲームを人工知能にプレイさせることを目的として立ち上がった人狼プロジェクトがあります． 人狼知能プロジェクトでは，人狼ゲームでプレイヤの代わりとなってゲームをプレイする人狼知能エージェントの開発環境を提供しています． また，人狼知能エージェント同士の強さを競う人狼知能大会を毎年開催しています．
- 本研究で対象とする人狼BBSを説明します． 人狼BBSとは人狼ゲームをベースにしたインターネットゲームです． 人狼BBSでは様々なプレイヤが参加しています．不特定多数が参加するため，偏りのないデータが取得できると期待できます．
- 人狼BBSでは文字列でのみ会話をしています．このため，表情や仕草などの情報がなく，計算機上で扱いやすいという特徴があります．
- また，現時点では1700以上のゲームログが存在し，人狼ゲームの記録として利用が可能です． この3つの特徴のある人狼BBSを研究の対象とします．
- 次に本研究の目的と問題点を挙げます
- 最終目的は人狼BBSに参加可能な人狼エージェントの構築です． この実現のためには大きく３ステップあると考えます， 一つ目はゲームの状況確認，言語理解， 2つ目は状況に応じた発話の決定， 3つ目は発話の生成です， [ENTER] 本研究では人狼エージェントの構築を指針として，ゲーム状況の確認，言語理解に焦点をあて，研究目的とします
- 先ほど示した3つのステップを図に示します． 人狼BBSの内容を言語理解し，状況を把握します 次に，状況に応じた発話の決定を行い， 最後に発話を生成し，人狼BBSで会話をします． 人狼BBSの内容を理解し，状況を把握するためには様々な問題があります． そのうちの一つに多種多様な発話が存在するため解析が困難であることが挙げられます．
- 多種多様な会話とは 例えば，場の雰囲気づくりのためのロールプレイ， そのBBSでのみ使われる慣例や，略語を用いた会話などです． また，ネット掲示板でよく見られる不完全な文や，記号が多いことが言語解析の妨げになります． この図では，上の４行は場の雰囲気づくりのための文です．また，白は人間であることを，黒は人狼であることを比喩しており，人狼BBSによく見られる略語の一つです． さらに，ゲーム進行に重要な発言は墨かっこで括られるという慣習があります． このように，一般的な会話や新聞の記事のような正しい日本語のみではない文を解析することが困難であることが，本研究における問題点です．
- 多種多様な会話を理解するための提案手法を紹介します．
- 本研究では大まかな内容の分類，つまり話題分類を行うことで言語理解の一段階とします． この話題分類を行うことで，大まかなゲームの進行状況を追うことが期待できます．
- 分類する話題は次の5つです． この話題は人狼知能プロジェクトの人狼知能エージェントプロトコルを参考に決定しました． comingoutは自分の役職の公開または限定の話題． 役職の限定というのは，「私は占い師ではありません」と言った発言です． 占い師ではないですが，他の役職である可能性，例えば，霊能者であるか，ないのかは明言を避けたままです． divined_inquestedは占いの結果または霊能の結果の発言です． 「彼は人間でした．」と言った発言がこの話題に分類されます． guardは誰を護衛したのかを報告する発言です． 「誰々を守った」「誰々を護衛した」と言った発言がこの話題に分類されます voteは誰に投票をしているかを公開する発言です． 「私は誰々に投票します」などの発言がこの話題に分類されます． 最後にEstimate は他のプレイヤの役職の予想を示す発言です． 「彼は人狼だと思う」「彼は狩人っぽい」などの発言がこの話題に分類されます．
- 分類には機械学習の一つであるサポートベクターマシンを用います． サポートベクターマシンとは，与えられた値を2つに分割する学習機です 人狼BBSから抽出したデータを学習し，ある特定の話題を示している発話か，ある特定の話題を示していない発話かの分類の自動化を実現します． ここで，その話題を示している場合を正例 その話題を示していない場合を負例と呼びます
- このように，サポートベクターマシンによる正例か負例かを分ける，2値分類を5つの話題それぞれで行います．
- 本研究ではサポートベクターマシンに必要な標本データを用意しました． 標本データは人狼BBSの発話内容を収集，加工したものです [ENTER] その標本データを機械学習させることによってサポートベクターマシンの自動分類を実現します
- それでは，標本データの作成手順を示します
- 私たちは機械学習のための標本データとして人狼BBSから10ゲームのログを利用しました． BBSから標本データにするために3つのステップがあります． ステップ１では文章を文を区切ります ステップ２では不必要なデータをフィルタリングします ステップ３ではラベリングをします それぞれのステップについて詳しく説明します．
- ステップ１では文章を１文に分解します． 人狼BBS では，一度の発言で２００文字までの文章を書くことができます． この文章内には，自分自身の役職を公開するcomingoutや，相手の印象を発言するEstimateなど複数の話題が含まれるため，このまま，分類対象とするには大きすぎます． そこで，文章を句読点などの特定のシンボルをもとに機械的に１文に分解しました．
- 次に明らかに5つの話題に含まれない文をフィルタします． ここで，5つのどの話題にも分類されない文をuntagと呼ぶことにします． 人狼BBSでの多くの文はuntagに分類されるため，このフィルタリングで多くの解析不要な文を減らします． このフィルタリングでは，文章中にフィルター情報にある単語が含まれているかを確認します． このフィルター情報は5つのトピックに分類される可能性のある文を取りこぼさないように設定しました． このフィルタをとおった文のみ次のステップに移ります．
- フィルタリングされた文に対して，正例として５つの分類される話題名，または，負例としてuntagをラベリングします． 標本データは分類される一文と，分類するタグのついのデータ群です． 私たちは人狼BBSの10試合からこのサンプルデータを収集しました。
- The table shows the number of sample data. 作成された標本データ数を表に示します． [ENTER] 10ゲーム中で話される話題の数には偏りがあるため，標本データ数も話題ごとにばらつきがあります． [ENTER] 役職に関係なく話される話題は多くの標本データを集めることができました． 最も多いデータ数の話題は投票先の宣言，最も少ないデータ数の話題は護衛の報告でした． [ENTER] 護衛の報告は，人狼からの襲撃を阻止する役職しか発言しない上に，人狼側から狙われやすいため発言機会がとても少ない話題です．
- それでは実験に移ります まず，サポートベクターマシンに学習させるために標本データの前処理をし，検証手法であるk分割交差検証について説明します．
- 作成した標本データは正例のデータ数と負例のデータ数が異なる不均衡データです． このまま学習させると負例に偏って学習してしまうため，正例数と負例数を一致させる必要があります． 本研究では，数の多い負例を等間隔で間引くことによって不均衡データを解消しました．
- また，標本データは文字列のためそのままではサポートベクターマシンに学習できません， 何らかのルールによってベクトル化する必要があります． 本研究では，形態素解析エンジンであるMeCabを用いて単語に分解し， その単語の出現回数をカウントすることでベクトル化をしました
- サポートベクターマシンを用いて作成した分類モデルの精度をK交差検証で検証した k-分割交差検証とは，Kの数だけ標本データを分割し，そのうちの一つをテストデータ，残るデータをトレーニングデータとする検証方法である． トレーニングデータを学習させ，テストデータで学習済みSVMが正しく分類されたかをK回測る
- [11’40]
- サポートベクターマシンに5つの話題を学習せ，交差検証で精度を求めた結果を示します． この結果からComingoutとDivined_Inquestedは高い制度を得ることができました． この二つの話題は，他の話題に比べ，シンプルな構文であり，かつ，短い文でした
- この中で分類に失敗した文を示します． Comingoutの分類で誤って分類された例としては「この国で最初に．．．」や「おかんってば．．．」の文です． 「この国で．．．」の文は話題としてはカミングアウトですが，役職について述べているわけではなく，おどけた文の一つです． この文を正しく分類するためには，本研究の提案手法のみでは不十分です． 何の役職について述べているのかを解析する手段を取ることで解決すると考えます． また，「おかんってば．．．」の文は標本データ中での特異な文です． このように特異な文に対してはより多くの標本データを集めることや，特異な例に対して強く学習させる他の学習手法をとる必要があると考えます． 次に，Divined_Inquestedの分類で誤って分類された例としては「女は狼なんですね」が挙げれらます． この文は占いや霊能結果の報告をしているわけではなく，一つの意見を発言しています． [ENTER] このように，最後に残った人狼ーラストウルフについて考えている文になります． 本研究では一文に区切って，一文ごとに話題分類をしているため，前後文の情報を考慮していません． そのため，誤分類が生じたと考えます．
- もっとも分類制度の低かったGuardは誰を護衛したかを公開する発言に付与されます． この発言は狩人という役職のみが発言する話題です． 人狼BBSでは，狩人は人狼から積極的に狙われる傾向があります． そのため，狩人は護衛した情報を公開することが少なく，十分な標本データを集められなかったことが原因であると思われます．
- 一応、レジさん護衛してました今日の護衛先は、確定情報を落とせるレジーナさんでした【ペタ君護衛でした】今日の護衛はペーター君それは当然我輩が狩だからＤＡ☆護衛先はリーザ2d護衛はリザ表でオットーを疑い、裏ではオットーを護衛していた2d娘3d宿4d宿
- 最後にまとめと今後の課題です
- 私たちは機械学習のアプローチとしてサポートベクターマシンを利用して，人狼BBSにある文を話題に自動分類しました． k分割交差検証を用いて評価を行なった結果から，いくつかの話題に対して私たちのアプローチが有用であることを示した．
- 今後の課題は多く残りましたが，特に3つについて示します． 1つ目は，より多くの標本データの作成が必要です． 明らかに標本データ数が足りないGuardはもちろん，他の話題でも十分な量の標本データ数を集められたとは言えません． 2つ目は，標本データ作成手順の改良です．フィルタリングや文の分割方法にはまだ，改良の余地があると考えています． 特にフィルタリングはフィルター情報の妥当性について定量的な検証していません．また，より良いフィルタリング方法を用いることによって分類の精度を向上できると期待できます． 3つ目はニューラルネットワークなどのような他の機械学習への適用です． 今回作成した標本データは他の機械学習にも適用できると考えています． 今後，これらの利用を検討していこうと考えています．
- Further discussion is required 今後の課題とさせていただきます critical problem Is just a moment please