【LLM】Google ColabでDolly 2.0を実装する

!pip install accelerate transformers

import torch
from transformers import pipeline

# パイプラインの準備
generate_text = pipeline(
    model="databricks/dolly-v2-12b", 
    torch_dtype=torch.bfloat16, 
    trust_remote_code=True, 
    device_map="auto"
)

# プロンプトの準備
prompt = "What are the famous sightseeing spots in Japan?"

# 推論の実行
res = generate_text(prompt)
print(res[0]["generated_text"])

There are many famous sightseeing spots in Japan, for example, Tokyo, Osaka, Kyoto, Nara and Nagoya. 
In Tokyo, you can visit the Imperial Palace, the Tsukiji market and the city's historic districts, such as Ginza and Tsukiji. 
Osaka has Dotonbori, which is a series of 1-1 signed alleyways, running from Shin-Osaka through Dotonbori Park and back to the Osakasuicho station, that has become synonymous with Osaka. 
Kyoto is famous for its Kyoto Tower and old Japanese castles, such as Matsuju-taisha and Yamashiro-kujo. 
Nagoya is known for its historic technology and aviation museums. 
Lastly, Nara is famous for its Buddhist temple complex.

# 日本語訳
日本には、東京、大阪、京都、奈良、名古屋など、有名な観光地がたくさんあります。
東京では、皇居、築地市場、銀座や築地などの歴史的な街並みなどを訪れることができます。
大阪には道頓堀がある。新大阪から道頓堀公園を通り、大崎町駅に戻る1-1の路地は、大阪の代名詞になっている。
京都は、京都タワーや松寿大社、山城国城などの日本の古城で有名です。
名古屋は、歴史的な技術や航空博物館があることで知られています。
最後に、奈良は仏教寺院群として有名です。

# プロンプトの準備
prompt = "日本で有名な観光地は？"

# 推論の実行
res = generate_text(prompt)
print(res[0]["generated_text"])

名古屋、東京、Osaka