【Huggingface Transformers】日本語の要約タスク 〜学習から推論まで〜

from google.colab import drive 
drive.mount('/content/drive')
!mkdir -p '/content/drive/My Drive/huggingface_transformers_demo/'
%cd '/content/drive/My Drive/huggingface_transformers_demo/'

!git clone https://github.com/huggingface/transformers
%cd transformers

!pip install -r ./examples/pytorch/summarization/requirements.txt
!pip install git+https://github.com/huggingface/transformers
!pip install datasets

!git clone https://github.com/KodairaTomonori/ThreeLineSummaryDataset

from urllib.request import urlopen
from bs4 import BeautifulSoup
from bs4.element import NavigableString
from pprint import pprint
import time


# コンテンツの取得
def get_content(id):
   time.sleep(10)
   URL = 'https://news.livedoor.com/article/detail/'+id+'/'
   print(URL)
   try:
       with urlopen(URL) as res:

           output1 = ''
           html = res.read().decode('euc_jp', 'ignore')
           soup = BeautifulSoup(html, 'html.parser')
           lineList = soup.select('.articleBody p')
           for line in lineList:
               if len(line.contents) > 0 and type(line.contents[0]) == NavigableString:
                   output1 += line.contents[0].strip()
           if output1 == '': 
               return
           output1 += '\n'


           output0 = ''
           summaryList = soup.select('.summaryList li')
           for summary in summaryList:
               output0 += summary.contents[0].strip()+'\t'
           if output0 == '': 
               return

           print(output0+output1)
           with open('output_summary.csv', mode='a') as f:
               f.writelines(output0+output1)
   except Exception:
       print('Exception')

idList = []
with open('ThreeLineSummaryDataset/data/train.csv', mode='r') as f:
   lines = f.readlines()
   for line in lines:
       id = line.strip().split(',')[3].split('.')[0]
       idList.append(id)

for i in range(0, 1000):
   print('index:', i)
   get_content(idList[i])

import os
import pandas as pd

df = pd.DataFrame(columns=['text', 'summary'])
with open('output_summary.csv') as f:
    for line in f.readlines():
        strs = line.split('\t')
        df = df.append({'text':strs[3] , 'summary':strs[0]}, ignore_index=True)

df = df.sample(frac=1)

num = len(df)
df[:int(num*0.8)].to_csv('summary_train.csv', sep=',', index=False)
df[int(num*0.8):].to_csv('summary_val.csv', sep=',', index=False)

%%time

# ファインチューニングの実行
!python ./examples/pytorch/summarization/run_summarization.py \
    --model_name_or_path=sonoisa/t5-base-japanese \
    --do_train \
    --do_eval \
    --train_file=summary_train.csv \
    --validation_file=summary_val.csv \
    --num_train_epochs=10 \
    --per_device_train_batch_size=4 \
    --per_device_eval_batch_size=4 \
    --save_steps=5000 \
    --save_total_limit=3 \
    --output_dir=summary_ja/ \
    --predict_with_generate \
    --use_fast_tokenizer=False \
    --logging_steps=100

import torch
from transformers import pipeline, AutoTokenizer, AutoModelForSeq2SeqLM

model = AutoModelForSeq2SeqLM.from_pretrained('summary_ja/')    
tokenizer = AutoTokenizer.from_pretrained('sonoisa/t5-base-japanese') 

text = r"""
　ほとんどのテレビ局が特番を組んで安倍晋三元首相の国葬を生放送で伝えるなか、ネット上では〝安定のテレビ東京〟の独自路線が称賛されている。　テレビ各局は国葬が始まる午後２時前から特番を組んで放送。そうした中でテレ東も「報道特番」なる番組を放送するが、これが１時４０分からわずか５分だけの放送。同局のホームページには「安倍元総理の国葬直前の様子をお伝えします」とのみ案内が記されていた。実際の報道では「安倍元総理の遺骨　自宅を出発」というテロップが流される中、移動する車の様子や、国葬の会場の様子も伝えられた。国葬が行われている時間帯は何を放送するのか？　「報道特番」終了後の１時４５分から３時４０分まで「午後のロードショー」で、「ベートーベン」という、１９９２年に米国で製作されたコメディー映画を放送。ＨＰには「ペット泥棒から逃げ出したセント・バーナードの子犬が、ニュートン家に迷い込む！？犬嫌いの父を説得して飼うことになるが、再びペット泥棒の魔の手が迫る…！」との説明が…。ここまで来ると〝お見事〟と思えるほど、国葬とは全く関係ない内容の映画だ。あくまで独自路線を貫くテレ東に対しては「テレ東はブレないな～」「いつもとかわらず　午後ローでコメディ映画を流すテレ東を応援しよう」「安定、不動の、テレビ東京！　大好きだぞ！」などのツイートが見られた。"""

inputs = tokenizer(text, return_tensors="pt", max_length=512,truncation=True)

outputs = model.generate(inputs["input_ids"], max_length=40, min_length=10,num_beams=4, early_stopping=True)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

「安定のテレビ東京」の独自路線が称賛されている