【Huggingface Transformers】「 japanese-gpt-1b」で日本語のテキスト生成を実装する

from google.colab import drive 
drive.mount('/content/drive')
!mkdir -p '/content/drive/My Drive/huggingface_transformers_demo/'
%cd '/content/drive/My Drive/huggingface_transformers_demo/'

!pip install transformers==4.18.0
!pip install sentencepiece==0.1.96

import torch
from transformers import T5Tokenizer, AutoModelForCausalLM
tokenizer = T5Tokenizer.from_pretrained("rinna/japanese-gpt-1b")
model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt-1b")

if torch.cuda.is_available():
    model = model.to("cuda")

text = "自然言語処理の学習を始めるには、まず"
token_ids = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt")

with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        max_length=100,
        min_length=100,
        do_sample=True,
        top_k=500,
        top_p=0.95,
        pad_token_id=tokenizer.pad_token_id,
        bos_token_id=tokenizer.bos_token_id,
        eos_token_id=tokenizer.eos_token_id,
        bad_word_ids=[[tokenizer.unk_token_id]]
    )

output = tokenizer.decode(output_ids.tolist()[0])
print(output) 

自然言語処理の学習を始めるには、まず「自然言語処理とは?」という基本的な知識を理解することが大切です。そのうえで、「単語の意味」「文章構造」「単語間の関係」などを習得し、より高度な自然言語処理について学んでいきます。まずは基本的な考え方を理解しましょう。本講座では、まず次の2つのステップで自然言語処理の考え方や基礎を説明します。自然言語処理とは?身近な問題から自然言語処理を学ぶ方法自然言語処理基礎講座は、基礎知識から本格的な技術習得

text = "今日の占いです。9月1日の山羊座の運勢は"
token_ids = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt")

with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        max_length=100,
        min_length=100,
        do_sample=True,
        top_k=500,
        top_p=0.95,
        pad_token_id=tokenizer.pad_token_id,
        bos_token_id=tokenizer.bos_token_id,
        eos_token_id=tokenizer.eos_token_id,
        bad_word_ids=[[tokenizer.unk_token_id]]
    )

output = tokenizer.decode(output_ids.tolist()[0])
print(output) 

今日の占いです。9月1日の山羊座の運勢は、かなりの人におごられそう。あなたの能力では成し遂げられないことの数をこなしていくことになりそうです。こういう時期は、最初から予定を立てて進むのではなく、とにかく勢いづくものを味方につけて進みましょう。そうすると、その勢いにどんどん乗っていくことが出来ます。チャンスは、あなたが手中に収めたものではありません。誰かがつかんだものです。だから、自分で勝ち取るなどと考えずに、「あなたにできること、手を差し伸べてくれる人を大切にする」という

text = "今日の占いです。9月1日の山羊座の運勢は"
force_words = ["ラッキーアイテム","赤い靴"]

token_ids = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt")
force_words_ids = tokenizer(force_words, add_special_tokens=False).input_ids

with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        force_words_ids=force_words_ids,
        max_length=100,
        min_length=100,
        num_beams=20,
        early_stopping=True,
        no_repeat_ngram_size=1,
        remove_invalid_values=True,
        pad_token_id=tokenizer.pad_token_id,
        bos_token_id=tokenizer.bos_token_id,
        eos_token_id=tokenizer.eos_token_id,
        bad_word_ids=[[tokenizer.unk_token_id]]
    )

output = tokenizer.decode(output_ids.tolist()[0])
print(output) 

今日の占いです。9月1日の山羊座の運勢は、自分の ラッキーカラーの ラッキーアイテムを身につけて出かけ 赤い靴下を履いて出かけてみましょう。ラッキーなことが 起こりそうな予感がしてきませんか?また、9月の誕生石であるルビーやサファイヤなどの 宝石を身につけるとさらに幸運が舞い込んできそうです!9月は何かと気ぜわしく落ち着かない日々が続きますが そんな時こそ赤いものを身に着けることで心穏やかに過ごすことができるはずですよ♪