【Huggingface Transformers】日本語テキスト生成のファインチューニングを実装する

from google.colab import drive 
drive.mount('/content/drive')
!mkdir -p '/content/drive/My Drive/huggingface_transformers_demo/'
%cd '/content/drive/My Drive/huggingface_transformers_demo/'

!git clone https://github.com/huggingface/transformers
%cd transformers

!pip install git+https://github.com/huggingface/transformers

!pip install -r ./examples/pytorch/language-modeling/requirements.txt

# livedoorニュースコーパスのダウンロード
!wget https://www.rondhuit.com/download/ldcc-20140209.tar.gz
!tar zxvf ldcc-20140209.tar.gz

import os
path = 'text/dokujo-tsushin/'
title_list = []
filenames = os.listdir(path)
for filename in filenames:
  with open(path+filename) as f:
    datalist = f.readlines()
    for data in datalist:
      if data == '\n':
        pass
      else:
        title_list.append(data)

title_list = [s.replace('\n', '') for s in title_list]

num = len(title_list)

with open('dokujo_train.txt',mode='w', newline='') as f:
  f.writelines(title_list[:int(num*0.8)])

with open('dokujo_val.txt',mode='w', newline='') as f:
  f.writelines(title_list[int(num*0.8):])

!python ./examples/pytorch/language-modeling/run_clm.py \
  --model_name_or_path=rinna/japanese-gpt2-medium \
  --train_file=dokujo_train.txt \
  --validation_file=dokujo_val.txt \
  --do_train \
  --do_eval \
  --num_train_epochs=10 \
  --save_steps=500 \
  --block_size 512 \
  --save_total_limit=3 \
  --per_device_train_batch_size=1 \
  --per_device_eval_batch_size=1 \
  --output_dir=text_generation/ \
  --overwrite_output_dir \
  --use_fast_tokenizer=False \
  --logging_steps=5

from transformers import T5Tokenizer, AutoModelForCausalLM
import torch

tokenizer = T5Tokenizer.from_pretrained("rinna/japanese-gpt2-medium")
tokenizer.do_lower_case = True

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

model = AutoModelForCausalLM.from_pretrained("text_generation/")
model.to(device)
model.eval()

prompt = "タイトル「独身女性が"
num = 3

input_ids = tokenizer.encode(prompt, return_tensors="pt",add_special_tokens=False).to(device)
with torch.no_grad():
    output = model.generate(
        input_ids,
        max_length=500,
        min_length=500,
        do_sample=True,
        top_k=500,
        top_p=0.95,
        pad_token_id=tokenizer.pad_token_id,
        bos_token_id=tokenizer.bos_token_id,
        eos_token_id=tokenizer.eos_token_id,
        num_return_sequences=num
    )
decoded = tokenizer.batch_decode(output,skip_special_tokens=True)
for i in range(num):
  print(decoded[i])

タイトル「独身女性が結婚をするのはバカバカしい」という女性が多くいる。やっぱり結婚は一生独身でいること。ダメ男にひっかかりやすいとか、モテないんじゃないかとか。やっぱりそういう女性の気持ちは良くわかる。けれど、それは独身だからの特権であり、結婚をしない、しない人生も大変だと思って欲しい。自分に万が一のことがあった時、ひとり身ではどうしようもないことが沢山あるだろう。自分の身体も、お金も、大切な人を失うかもしれない。だから独身でも結婚をしておけばよかったと後悔しても遅い。今や日本中、世界中の人が独身を貫いているのだから。独女や結婚に不利な状況は、けっして不幸なだけじゃない。むしろ、幸せなことが多いのではないだろうか。(橋口まどか)http://news.livedoor.com/article/detail/6310731/2012-03-1212:30:00+0900悩ましき人間関係、人間関係を楽しくするコツ「うちの旦那、ムカつくんです!」と、弱音をこぼす旦那さんの叫び。かつて、結婚してしばらくたつと、夫婦間でムカつくことがあるのでは?「わが家に嫌な感じの人たちが寄ってくるんですよ。何が嫌かって、うちの家の人たち、すごく優しくていい人なんですよ。」と語るのは、に勤務するさん(32歳)。この旦那さん、一見すると優しくて家事はテキパキできるのに、お酒の勢いでヤッちゃうんです。何度かやってダメなら、悪口を言い合ったり、投げやりなところがあるのでは? 「私、絶対に嫌だ」と一方的にケンカになったこともあるそうです。そんなさんが、ある日、いきなり実家に帰ってしまったんです。「やっぱり無理です!」と彼は嘆いていたのですが...。いくら、「男には何かしら困ることがあっても、女にはありがたいこともある」なんていう理屈でも、「本当に何が悪い!」と、その旦那さんは、ひどく怒ってしまったとか。 「あ〜、仕方ない!」とさんは諦めたが、「やっぱりさんは人間らしい生活をしているし、母親も元気なんですよ。それなのに、私はなんでこんなに怒ってるのだろう?」と、さんはどんどん
タイトル「独身女性が彼氏以外と過ごす時間が苦痛だと感じるのは、どんなときか?」に対し、圧倒的に多かった回答が「忙しくて恋愛する暇がない」(38.4%)、「彼氏が遊びに来ても問題ない」(29.3%)、「料理や洗濯、家族サービスなどで自分の時間がないと感じる」(19.7%)だった。また、「結婚して家庭ができると、普段は一人で過ごさなくちゃいけないから、精神的に寂しい」(20.3%)といった意見もあるが、独身女性の多くは、夫の干渉を常に受けているわけではないので、「寂しい」とは思っていないようだ。では、既婚女性に「独身女性が家事や育児に費やす時間」を聞いてみると、独身女性は結構、長い時間、家事をやっていることが多い。ただし、「その腕前は?」と聞くと「料理が得意じゃないから、とりあえずお皿洗いを手伝っています」「家事全般(特に洗濯&掃除)を完璧にこなすことは難しいけど、料理は得意」(29.6%)、「洗濯(特にマンション住まい)は嫁にやってもらう」(26.6%)など、少々、面倒くさいらしい。一方、既婚女性に「独身女性が家事や育児に費やす時間」を聞いてみると、1位が「洗濯」、2位が「料理」、3位が「洗濯」で、圧倒的に主婦の時間が多いという結果に。結婚して1人で生活するようになると、自分一人のための時間がなくなるのはもちろん、夫婦の関わり方が変わり、家事や育児について責任を持つようになる。当然、分担も必要となるし、力も入る。主婦の方は、ほんの少しでも夫が洗濯を手伝ってくれるよう、必死に“洗濯の時短”を頑張るのかもしれない。また、専業主婦の方は家事に対して、ほとんど夫にまかせっぱなしになっていることもある。そんな中、頼れるのは夫だけ! という独女たちにとって、家族がいる「主婦」は羨望の的かも。アンケートの結果を受けて、既婚女性たちに既婚男性に「独身女性が夫以外の人と過ごす時間が苦痛だと感じる瞬間」を聞いてみた。アンケートには、こんな回答もあった。「彼が来ても全く構わない時間に帰宅しなくちゃいけないとき」(29歳・女・独身)「彼が自転車で帰宅途中、寂しそうに私の元に立ち寄ってきて、『どうした?』と聞いてきたとき」(27歳・女・独身)「
タイトル「独身女性が婚活する意味は?」 質問者:愛さん独身女性です。結婚相談所を利用しているのですが、登録したお見合い相手が一向に成婚しないでいます。私のアドバイス通り、婚活していますがなかなか上手く行きません。お見合いはしたのですが返事が来ないし、最近結婚が決まった女性会員様も活動を始めてからすぐに成果がでています。長々と婚活の話ばかりで失礼かと思いましたが、私の婚活の愚痴を聞かせて下さい。早く結果を出したいので結婚相談所に入会したのですが、結果がでなくてとても残念です。早く成婚しないと、貴方に不妊の影があると言われて慌てています。少しでも早く結婚したい気持ちが、プレッシャーになって婚活をより辛くさせているのでしょうか?長々とすみませんでした。(続きを読む)http://news.livedoor.com/article/detail/5283045/2011-09-0917:30:00+0900女の体を描くとき「気持ちよさ」は不可欠独女達も歳を重ねるにつれ、パートナーへの安心や価値観も出てくる。お付き合いしている人がいる場合は、特にその気持ちが大切になり、さまざまな形で相手に伝えているだろう。そろそろ心機一転、気持ちを改めて、自分の体とも向き合ってみようと思う独女も多いはず。今回は、「男ウケ」から「女ウケ」へ心機一転、と女性陣を中心に「気持ちよさ」がどのように変化するのかを、イラストレーターである原智佐さんに伺った。「私は、疲れていたり心が弱っているときには、身体がむき出しになっているのを感じます。その時、私は、上半身裸になれる裸水泳のような感覚が楽しかったりします。身体がむき出しのままポーズを決めたり、ぼーっとしながら目を閉じるだけで、心も清められたりします。これは、最近、気づいたことなのですが......」どうやら、身体のむくみは脳と関係があるらしい。「私は、女性に向かって声を荒げている時は、男性に気持ちよく出てもらう事ができます」と話してくれた。心と身体は一見、繋がっているようにも思えるが、実はリンクしていないことが多い。自分の気持ちを伝えるときには、男性にも女性にもない高いレベルの技、それが「気持ちよさ」なのだ。