【🔰Huggingface Transformers入門②】トークナイザーの概要と使い方

Hello world!

# 文字トークン化
'H','e','l','l','o','w','o','r','l','d','!'

Hello world!

# 文字トークン化
'Hello','world!'

from transformers import AutoTokenizer

model_ckpt = "distilbert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(model_ckpt)

text = "The brown cat jumps overt the white dog."

encoded_text = tokenizer(text)
print(encoded_text)

{'input_ids': [101, 1996, 2829, 4937, 14523, 2058, 2102, 1996, 2317, 3899, 1012, 102], 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]}

tokens = tokenizer.convert_ids_to_tokens(encoded_text.input_ids)
print(tokens)

['[CLS]', 'the', 'brown', 'cat', 'jumps', 'over', '##t', 'the', 'white', 'dog', '.', '[SEP]']

print(tokenizer.convert_tokens_to_string(tokens))

[CLS] the brown cat jumps overt the white dog. [SEP]

!pip install transformers[ja]
!pip install sentencepiece

from transformers import AutoTokenizer

# 日本語BERTのTokenizerを読み込む
tokenizer_jp = AutoTokenizer.from_pretrained('cl-tohoku/bert-base-japanese-whole-word-masking')

# サンプルデータ
raw_inputs = [
    "私は毎週水曜日にカフェで勉強します。",
    "その後、ジムに寄ってから帰ります。",
]

# サンプルデータを入力してTokenizerによる変換を行う
tokenized_inputs = tokenizer_jp(raw_inputs, padding=True, truncation=True, return_tensors='pt')

print(tokenized_inputs)

{'input_ids': tensor(
　　　　　[[    2,  1325,     9,  4255, 14475,     7,  8439,    12,  8192,    15,
          2610,     8,     3],
        [    2,   366,     6,  5947,     7,  1397, 28468,    16,    40, 10766,
          2610,     8,     3]]), 
'token_type_ids': tensor(
　　　　　[[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
        [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]]), 
'attention_mask': tensor(
　　　　　[[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
        [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]])}

print(tokenizer.get_vocab())

{'[PAD]': 0, '[UNK]': 1, '[CLS]': 2, '[SEP]': 3, '[MASK]': 4, 'の': 5, '、': 6, 'に': 7, '。': 8, 'は': 9, 'た': 10, 
'##ーナメント': 4901, '三重': 4902, '手紙': 4903, '描写': 4904, '##ID': 4905, '智': 4906, '棟': 4907, '酵': 4908, 
'出張': 9991, '出雲': 9992, '利点': 9993, '助言': 9994, '天下': 9995, '実態': 9996, '年末': 9997, '整数': 9998, 'ミラー': 9999,

converted_tokenized_inputs = [*map(lambda x: tokenizer.convert_ids_to_tokens(x), tokenized_inputs.input_ids)]
for inputs in converted_tokenized_inputs:
    print(''.join(inputs))

[CLS]私は毎週水曜日にカフェで勉強します。[SEP]
[CLS]その後、ジムに寄##ってから帰ります。[SEP]

for input_ids in tokenized_inputs.input_ids:
    print(tokenizer.decode(input_ids).replace(' ', '')) 

[CLS]私は毎週水曜日にカフェで勉強します。[SEP]
[CLS]その後、ジムに寄ってから帰ります。[SEP]

!pip install transformers[ja]
!pip install sentencepiece

from transformers import BertJapaneseTokenizer, AutoModelForMaskedLM

tokenizer = BertJapaneseTokenizer.from_pretrained('cl-tohoku/bert-base-japanese-whole-word-masking')
model = AutoModelForMaskedLM.from_pretrained('cl-tohoku/bert-base-japanese-whole-word-masking')

import torch
# マスク付きテキスト
text = f'自然言語処理を習得するには、まずは{tokenizer.mask_token}から学習することである。'

# テキストをテンソルに変換
input_ids = tokenizer.encode(text, return_tensors='pt')

# マスクのインデックスを取得
masked_index = torch.where(input_ids == tokenizer.mask_token_id)[1].tolist()[0]

# 推論
result = model(input_ids)
pred_ids = result[0][:, masked_index].topk(5).indices.tolist()[0]
for pred_id in pred_ids:
    output_ids = input_ids.tolist()[0]
    output_ids[masked_index] = pred_id
    print(tokenizer.decode(output_ids))

[CLS] 自然 言語 処理 を 習得 する に は 、 まずは 基礎 から 学習 する こと で ある 。 [SEP]
[CLS] 自然 言語 処理 を 習得 する に は 、 まずは そこ から 学習 する こと で ある 。 [SEP]
[CLS] 自然 言語 処理 を 習得 する に は 、 まずは 言語 から 学習 する こと で ある 。 [SEP]
[CLS] 自然 言語 処理 を 習得 する に は 、 まずは コンピュータ から 学習 する こと で ある 。 [SEP]
[CLS] 自然 言語 処理 を 習得 する に は 、 まずは 最初 から 学習 する こと で ある 。 [SEP]