【音声認識2022】音声からテキストへ変換する「Whisper」でYouTube動画の文字起こしを実装する

from google.colab import drive 
drive.mount('/content/drive')
%cd '/content/drive/My Drive/'

!git clone https://github.com/openai/whisper
%cd whisper

!pip install -r requirements.txt

import whisper

input_file = "sample.mp3"
output_file = "result.txt"

model = whisper.load_model("base")

# load audio and pad/trim it to fit 30 seconds
audio = whisper.load_audio(input_file)
audio = whisper.pad_or_trim(audio)

# make log-Mel spectrogram and move to the same device as the model
mel = whisper.log_mel_spectrogram(audio).to(model.device)

# detect the spoken language
_, probs = model.detect_language(mel)
print(f"Detected language: {max(probs, key=probs.get)}")

# decode the audio
options = whisper.DecodingOptions()
result = whisper.decode(model, mel, options)

# save text
txt_path = output_file
with open(txt_path,mode='w') as f:
  f.write(result.text)

# print the recognized text
print(result.text)

星が変えるこの日は僕ら二人だけさんきっと優しい雨のような光が降る君と片も並べて寂しくはないこんなさても繋いで終わりの空を見よう

# YouTubeからファイルをダウンロードするライブラリをインストール
!python -m pip install -U yt-dlp

# YouTube動画から音声ファイルをダウンロード
# 「https://youtu.be/5wEtefq9VzM」という動画から「input.mp3」を出力する
!yt-dlp -x --audio-format mp3 https://youtu.be/5wEtefq9VzM -o "input.mp3"

import whisper

input_file = "input.mp3"
output_file = "result_yt.txt"

model = whisper.load_model("base")

# load audio and pad/trim it to fit 30 seconds
audio = whisper.load_audio(input_file)
audio = whisper.pad_or_trim(audio)

# make log-Mel spectrogram and move to the same device as the model
mel = whisper.log_mel_spectrogram(audio).to(model.device)

# detect the spoken language
_, probs = model.detect_language(mel)
print(f"Detected language: {max(probs, key=probs.get)}")

# decode the audio
options = whisper.DecodingOptions()
result = whisper.decode(model, mel, options)

# save text
txt_path = output_file
with open(txt_path,mode='w') as f:
  f.write(result.text)

# print the recognized text
print(result.text)

画像処理の機械学習のドイヤム1つである 超解像について初心者向けに紹介します 今回は2021年で発表されたリアルESRガムの公式チュートリアルに沿って 実装する方法を紹介したいと思います実際に改造度の低い画像を公開像の 化しています超解像ツーパーリストリューションとは 画像には動画の改造度を美術的に

from google.colab import drive 
drive.mount('/content/drive')
%cd '/content/drive/My Drive/'

#!git clone https://github.com/openai/whisper
%cd whisper

!pip install -r requirements.txt

!python -m pip install -U yt-dlp

!yt-dlp -x --audio-format mp3 https://youtu.be/5wEtefq9VzM -o "input2.mp3"

import whisper
input_file = "input2.mp3"
output_file = "result_yt_all.txt"
model = whisper.load_model("base")

# load audio and pad/trim it to fit 30 seconds
audio = whisper.load_audio(input_file)

outputTextsArr = []
while audio.size > 0:
  tirmedAudio = whisper.pad_or_trim(audio)
  # trimedArray.append(tirmedAudio)
  startIdx = tirmedAudio.size
  audio = audio[startIdx:]

  # make log-Mel spectrogram and move to the same device as the model
  mel = whisper.log_mel_spectrogram(tirmedAudio).to(model.device)

  # detect the spoken language
  _, probs = model.detect_language(mel)
  # print(f"Detected language: {max(probs, key=probs.get)}")

  # decode the audio
  options = whisper.DecodingOptions()
  result = whisper.decode(model, mel, options)

  # print the recognized text
  outputTextsArr.append(result.text)

outputTexts = ' '.join(outputTextsArr)
print(outputTexts)

# Write into a text file
with open(output_file, "w") as f:
  f.write(outputTexts)