【Huggingface Transformers】日本語の質問応答の実装 〜学習から推論まで〜

from google.colab import drive 
drive.mount('/content/drive')
!mkdir -p '/content/drive/My Drive/huggingface_transformers_demo/'
%cd '/content/drive/My Drive/huggingface_transformers_demo/'

!git clone https://github.com/huggingface/transformers
%cd transformers

!pip install git+https://github.com/huggingface/transformers

# 日本語のデータセットの内容を確認
import json

json_file = open('DDQA-1.0_RC-QA_train.json')
json_object = json.load(json_file)

print(json_object["data"][0]["paragraphs"][0])

{'context': '自転 車 は ドコ 走りゃ イイ の さ ！ 自転 車 は そもそも 車道 の 左端 を 走る の が ルール な の です が 、 いざ 車道 を 走る と ものすごい 車 に 邪険 に さ れ ます 。 クロス バイク で 往復 ３２ ｋｍ 程 の 道のり を 自転 車 通勤 し て た 時 の 事 。 赤 信号 で 左側 に 自転 車 が 止め られ ない よう に 左 に 幅寄せ し て き たり と か 、 渋滞 し てる 時 に 抜き つ 抜 かれつ に なる の が 嫌 な の か 、 やっぱり 幅寄せ さ れる 事 が よく あり ます 。', 
'qas': [{'id': '57590011580005_00', 'question': '自転 車 が 走る の は 車道 の どちら 側 が ルール です か ？', 
'answers': [{'text': '左端', 'answer_start': 40}, {'text': '左端 を 走る', 'answer_start': 40}, {'text': '車道 の 左端 を 走る の が ルール', 'answer_start': 35}], 'is_impossible': False}, 
{'id': '57590011580005_01', 'question': '自転 車 は どこ を 走る の が ルール です か ？', 
'answers': [{'text': '車道 の 左端', 'answer_start': 35}, {'text': '車道 の 左端 を 走る', 'answer_start': 35}, {'text': '車道 の 左端 を 走る の が ルール', 'answer_start': 35}], 'is_impossible': False}]}

# Huggingface Datasetsのインストール
!pip install datasets

# 英語のデータセット「squad」の内容を確認
from datasets import load_dataset
import pandas as pd

test = load_dataset("squad")
dfs = {split: dset.to_pandas() for split, dset in test.flatten().items()}

qa_cols = ["title", "question", "answers.text", 
           "answers.answer_start", "context"]
sample_df = dfs["train"][qa_cols][:1]
sample_df

# 日本語のデータセットの内容
print('title:',sample_df["title"][0],"\n"
      'question:',sample_df["question"][0],"\n"
      'answers.text:',sample_df["answers.text"][0],"\n"
      'answers.answer_start	:',sample_df["answers.answer_start"][0],"\n"
      'context:',sample_df["context"][0],"\n")

# 英語のデータセットの内容
print('title:',json_object["data"][0]["title"],"\n"
      'question:',json_object["data"][0]["paragraphs"][0]["qas"][0]["question"],"\n"
      'answers.text:',json_object["data"][0]["paragraphs"][0]["qas"][0]["answers"][0]["text"],"\n"
      'answers.answer_start	:',json_object["data"][0]["paragraphs"][0]["qas"][0]["answers"][0]["answer_start"],"\n"
      'context:',json_object["data"][0]["paragraphs"][0]["context"],"\n")

title: University_of_Notre_Dame 
question: To whom did the Virgin Mary allegedly appear in 1858 in Lourdes France? 
answers.text: ['Saint Bernadette Soubirous'] 
answers.answer_start	: [515] 
context: Architecturally, the school has a Catholic character. Atop the Main Building's gold dome is a golden statue of the Virgin Mary. Immediately in front of the Main Building and facing it, is a copper statue of Christ with arms upraised with the legend "Venite Ad Me Omnes". Next to the Main Building is the Basilica of the Sacred Heart. Immediately behind the basilica is the Grotto, a Marian place of prayer and reflection. It is a replica of the grotto at Lourdes, France where the Virgin Mary reputedly appeared to Saint Bernadette Soubirous in 1858. At the end of the main drive (and in a direct line that connects through 3 statues and the Gold Dome), is a simple, modern stone statue of Mary. 

title: 運転ドメイン 
question: 自転 車 が 走る の は 車道 の どちら 側 が ルール です か ？ 
answers.text: 左端 
answers.answer_start	: 40 
context: 自転 車 は ドコ 走りゃ イイ の さ ！ 自転 車 は そもそも 車道 の 左端 を 走る の が ルール な の です が 、 いざ 車道 を 走る と ものすごい 車 に 邪険 に さ れ ます 。 クロス バイク で 往復 ３２ ｋｍ 程 の 道のり を 自転 車 通勤 し て た 時 の 事 。 赤 信号 で 左側 に 自転 車 が 止め られ ない よう に 左 に 幅寄せ し て き たり と か 、 渋滞 し てる 時 に 抜き つ 抜 かれつ に なる の が 嫌 な の か 、 やっぱり 幅寄せ さ れる 事 が よく あり ます 。 

!python ./examples/legacy/question-answering/run_squad.py \
    --model_type=bert \
    --model_name_or_path=cl-tohoku/bert-base-japanese-whole-word-masking \
    --do_train \
    --do_eval \
    --max_seq_length=384 \
    --per_gpu_train_batch_size=12 \
    --learning_rate=3e-5 \
    --num_train_epochs=10 \
    --train_file=DDQA-1.0_RC-QA_train.json \
    --predict_file=DDQA-1.0_RC-QA_dev.json \
    --output_dir=tmp/DDQA-1.0_RC-QA_/ \
    --overwrite_output_dir

from transformers import BertJapaneseTokenizer, AutoModelForQuestionAnswering
import torch

# トークナイザーとモデルをインスタンス化
model = AutoModelForQuestionAnswering.from_pretrained('tmp/DDQA-1.0_RC-QA_/')  
tokenizer = BertJapaneseTokenizer.from_pretrained('cl-tohoku/bert-base-japanese-whole-word-masking') 

# 元の文章（入力）を定義
context = "今年に入ってから、自分が乗っている車に関する事件が絶えません。雪が降ったため、ガソリンスタンドでタイヤ交換を頼んだところ、荷台の部分の扉を支える伸縮棒が無理な力で折れ曲がり、上へ上がるはずの扉が半分までしか開かない状態に。どうやら、スタンドのスタッフが、交換したタイヤを車に積み込んだ際に、無理に扉を閉めたことが原因のようでした。この件は、ガソリンスタンド側の過失ということで、修理をしてもらいました。"

# 質問を定義
question="今年に入ってから、何に関する事件が絶えないのか？"

# 質問を反復処理し、テキストと現在の質問からシーケンスを構築
inputs = tokenizer.encode_plus(question, context, add_special_tokens=True, return_tensors="pt")
input_ids = inputs["input_ids"].tolist()[0]

# このシーケンスをモデルに渡して、開始位置と終了位置の両方について、シーケンストークン全体 (質問とテキスト) のスコアの範囲を出力
output = model(**inputs)

# スコアのargmaxで最も可能性の高い解答の先頭を取得する
answer_start = torch.argmax(output.start_logits) 

# スコアのargmaxで最も可能性の高い解答の末尾を取得する
answer_end = torch.argmax(output.end_logits) + 1 

# top_kメソッドを使用して上位 5 つのトークンを取得
answer = tokenizer.convert_tokens_to_string(tokenizer.convert_ids_to_tokens(input_ids[answer_start:answer_end]))

# 結果出力
print("質問: "+question)
print("応答: "+answer)

質問: 今年に入ってから、何に関する事件が絶えないのか？
応答: 自分 が 乗っ て いる 車