【🔰Huggingface Transformers入門⑥】文章分類モデルを作成する（1）　〜CSVからデータセットを作成する〜

!pip install transformers datasets

from datasets import load_dataset
dataset_org = load_dataset("tyqiangz/multilingual-sentiments", "japanese")

dataset_org

DatasetDict({
    train: Dataset({
        features: ['text', 'source', 'label'],
        num_rows: 120000
    })
    validation: Dataset({
        features: ['text', 'source', 'label'],
        num_rows: 3000
    })
    test: Dataset({
        features: ['text', 'source', 'label'],
        num_rows: 3000
    })
})

dataset_org.set_format(type="pandas") 
dataset_org["train"][:]

dataset_org["train"][:].to_csv("train.csv", index=None) 
dataset_org["validation"][:].to_csv("validation.csv", index=None)
dataset_org["test"][:].to_csv("test.csv", index=None)

# livedoorニュースコーパスのダウンロード
!wget https://www.rondhuit.com/download/ldcc-20140209.tar.gz
!tar zxvf ldcc-20140209.tar.gz

import os
import pandas as pd

# タイトルリストの取得
def get_title_list(path):
    title_list = []
    filenames = os.listdir(path)
    for filename in filenames:
        # ファイルの読み込み
        with open(path+filename) as f:
            title = f.readlines()[2].strip()
            title_list.append(title)
    return title_list

# データセットの生成（各ニュース記事のタイトルを取得）
df = pd.DataFrame(columns=['label', 'sentence'])

#0
title_list = get_title_list('text/dokujo-tsushin/')
for title in title_list:
    df = df.append({'label':0 , 'sentence':title}, ignore_index=True)

#1
title_list = get_title_list('text/it-life-hack/')
for title in title_list:
    df = df.append({'label':1 , 'sentence':title}, ignore_index=True)

#2
title_list = get_title_list('text/sports-watch/')
for title in title_list:
   df = df.append({'label':2 , 'sentence':title}, ignore_index=True)

#3
title_list = get_title_list('text/kaden-channel/')
for title in title_list:
   df = df.append({'label':3 , 'sentence':title}, ignore_index=True)

#4
title_list = get_title_list('text/livedoor-homme/')
for title in title_list:
   df = df.append({'label':4 , 'sentence':title}, ignore_index=True)
#5
title_list = get_title_list('text/movie-enter/')
for title in title_list:
   df = df.append({'label':5 , 'sentence':title}, ignore_index=True)

#6
title_list = get_title_list('text/peachy/')
for title in title_list:
   df = df.append({'label':6 , 'sentence':title}, ignore_index=True)

#7
title_list = get_title_list('text/smax/')
for title in title_list:
   df = df.append({'label':7 , 'sentence':title}, ignore_index=True)

#8
title_list = get_title_list('text/topic-news/')
for title in title_list:
   df = df.append({'label':8 , 'sentence':title}, ignore_index=True)

# データをシャッフルする
df = df.sample(frac=1)

# 上記で取得したデータを学習用、検証用、テスト用に分割する
num = len(df)
df[:int(num*0.7)].to_csv('./text/news_train.csv', sep=',', index=False)
df[int(num*0.7):int(num*0.9)].to_csv('./text/news_val.csv', sep=',', index=False)
df[int(num*0.9):].to_csv('./text/news_test.csv', sep=',', index=False)