【Huggingface Transformers】日本語のマスク言語モデリングの実装 〜学習から推論まで〜

from google.colab import drive 
drive.mount('/content/drive')
!mkdir -p '/content/drive/My Drive/huggingface_transformers_demo/'
%cd '/content/drive/My Drive/huggingface_transformers_demo/'

!git clone https://github.com/huggingface/transformers
%cd transformers

!pip install git+https://github.com/huggingface/transformers

!pip install -r ./examples/pytorch/language-modeling/requirements.txt

!pip install fugashi[unidic-lite]
!pip install ipadic

import torch
from transformers import BertJapaneseTokenizer, AutoModelForMaskedLM

# トークナイザーとモデルをインスタンス化
tokenizer = BertJapaneseTokenizer.from_pretrained('cl-tohoku/bert-base-japanese-whole-word-masking')
model = AutoModelForMaskedLM.from_pretrained('cl-tohoku/bert-base-japanese-whole-word-masking')

# マスク付きテキスト
text = f'新しい趣味にどんどんチャレンジしていくことが出会いにつながりそうだ。「{tokenizer.mask_token}に向けて自分磨きをしたい！」という方は、「男性ウケ」も意識して選んでいこう。'

# テキストをテンソルに変換
input_ids = tokenizer.encode(text, return_tensors='pt')

# マスクのインデックスを取得
masked_index = torch.where(input_ids == tokenizer.mask_token_id)[1].tolist()[0]

# 推論
result = model(input_ids)
pred_ids = result[0][:, masked_index].topk(5).indices.tolist()[0]
for pred_id in pred_ids:
    output_ids = input_ids.tolist()[0]
    output_ids[masked_index] = pred_id
    print(tokenizer.decode(output_ids))

[CLS] 新しい 趣味 に どんどん チャレンジ し て いく こと が 出会い に つながり そう だ 。 「 男性 に 向け て 自分 磨き を し たい!」 という 方 は 、 「 男性 ウケ 」 も 意識 し て 選ん で いこ う 。 [SEP]
[CLS] 新しい 趣味 に どんどん チャレンジ し て いく こと が 出会い に つながり そう だ 。 「 女性 に 向け て 自分 磨き を し たい!」 という 方 は 、 「 男性 ウケ 」 も 意識 し て 選ん で いこ う 。 [SEP]
[CLS] 新しい 趣味 に どんどん チャレンジ し て いく こと が 出会い に つながり そう だ 。 「 異性 に 向け て 自分 磨き を し たい!」 という 方 は 、 「 男性 ウケ 」 も 意識 し て 選ん で いこ う 。 [SEP]
[CLS] 新しい 趣味 に どんどん チャレンジ し て いく こと が 出会い に つながり そう だ 。 「 将来 に 向け て 自分 磨き を し たい!」 という 方 は 、 「 男性 ウケ 」 も 意識 し て 選ん で いこ う 。 [SEP]
[CLS] 新しい 趣味 に どんどん チャレンジ し て いく こと が 出会い に つながり そう だ 。 「 大人 に 向け て 自分 磨き を し たい!」 という 方 は 、 「 男性 ウケ 」 も 意識 し て 選ん で いこ う 。 [SEP]

# livedoorニュースコーパスのダウンロード
!wget https://www.rondhuit.com/download/ldcc-20140209.tar.gz
!tar zxvf ldcc-20140209.tar.gz

import os
path = 'text/dokujo-tsushin/'
title_list = []
filenames = os.listdir(path)
for filename in filenames:
  with open(path+filename) as f:
    datalist = f.readlines()
    for data in datalist:
      if data == '\n':
        pass
      else:
        title_list.append(data)

title_list = [s.replace('\n', '') for s in title_list]

num = len(title_list)

with open('dokujo_train.txt',mode='w', newline='') as f:
  f.writelines(title_list[:int(num*0.8)])

with open('dokujo_val.txt',mode='w', newline='') as f:
  f.writelines(title_list[int(num*0.8):])

%%time

# 事前学習の実行
!python ./examples/pytorch/language-modeling/run_mlm.py \
    --model_name_or_path=cl-tohoku/bert-base-japanese-whole-word-masking \
    --train_file=dokujo_train.txt \
    --validation_file=dokujo_val.txt \
    --do_train \
    --do_eval \
    --num_train_epochs=5 \
    --save_steps=5000 \
    --save_total_limit=3 \
    --output_dir=language-modeling_ja/ \
    --use_fast_tokenizer=False

***** eval metrics *****
  epoch                   =        5.0
  eval_accuracy           =     0.6711
  eval_loss               =     1.5918
  eval_runtime            = 0:00:15.88
  eval_samples            =        349
  eval_samples_per_second =     21.973
  eval_steps_per_second   =       2.77
  perplexity              =     4.912

import torch
from transformers import BertJapaneseTokenizer, AutoModelForMaskedLM

# トークナイザーとモデルをインスタンス化
tokenizer = BertJapaneseTokenizer.from_pretrained('cl-tohoku/bert-base-japanese-whole-word-masking')
model = AutoModelForMaskedLM.from_pretrained('language-modeling_ja/')

# マスク付きテキスト
text = f'新しい趣味にどんどんチャレンジしていくことが出会いにつながりそうだ。「{tokenizer.mask_token}に向けて自分磨きをしたい！」という方は、「男性ウケ」も意識して選んでいこう。'

# テキストをテンソルに変換
input_ids = tokenizer.encode(text, return_tensors='pt')

# マスクのインデックスを取得
masked_index = torch.where(input_ids == tokenizer.mask_token_id)[1].tolist()[0]

# 推論
result = model(input_ids)
pred_ids = result[0][:, masked_index].topk(5).indices.tolist()[0]
for pred_id in pred_ids:
    output_ids = input_ids.tolist()[0]
    output_ids[masked_index] = pred_id
    print(tokenizer.decode(output_ids))

[CLS] 新しい 趣味 に どんどん チャレンジ し て いく こと が 出会い に つながり そう だ 。 「 男性 に 向け て 自分 磨き を し たい!」 という 方 は 、 「 男性 ウケ 」 も 意識 し て 選ん で いこ う 。 [SEP]
[CLS] 新しい 趣味 に どんどん チャレンジ し て いく こと が 出会い に つながり そう だ 。 「 将来 に 向け て 自分 磨き を し たい!」 という 方 は 、 「 男性 ウケ 」 も 意識 し て 選ん で いこ う 。 [SEP]
[CLS] 新しい 趣味 に どんどん チャレンジ し て いく こと が 出会い に つながり そう だ 。 「 異性 に 向け て 自分 磨き を し たい!」 という 方 は 、 「 男性 ウケ 」 も 意識 し て 選ん で いこ う 。 [SEP]
[CLS] 新しい 趣味 に どんどん チャレンジ し て いく こと が 出会い に つながり そう だ 。 「 女性 に 向け て 自分 磨き を し たい!」 という 方 は 、 「 男性 ウケ 」 も 意識 し て 選ん で いこ う 。 [SEP]
[CLS] 新しい 趣味 に どんどん チャレンジ し て いく こと が 出会い に つながり そう だ 。 「 結婚 に 向け て 自分 磨き を し たい!」 という 方 は 、 「 男性 ウケ 」 も 意識 し て 選ん で いこ う 。 [SEP]