PodcastをAIに聴いてもらって文字起こし、タイトル決め、要約までやってもらった
カレーちゃんさんが投稿されていた「Podcastの音声をWhisperで文字起こしして、ChatGPTで要約してみた」という記事を読みました。
そうそう、これやってみたかったんだよ！とテンション上がったので、自分もやってみたくなりました。
最近 Microsoft Bing の AIチャット で Power Apps のアプリ作成方法などを教わっているので、Whisper で文字起こししてもらったテキストの要約は Bing でやってみます。その要約を、この音源を Podcast に投稿するときの「エピソードの説明」として掲載します。タイトルも決めてもらいましょう。
適当な音源とGoogle Colab、Microsoft Bingがあればすぐに試せますね。
（Google Colab は、正月に買った『強い将棋ソフトの創りかた: Pythonで実装するディープラーニング将棋AI 』で使っていたのですぐに使えた。）
音源を用意する
Anchorのライブラリから、本日iPhoneで録音してアップロードしておいた音源をPCにダウンロードします。
m4a形式になっているので、mp3形式に変換します。
変換には、以下のwebサービスを使いました。
Whisper で音源→ テキストを実行する @ Google Colab
Google Colab で新しいノートブックを作成し、そこのファイルにmp3音源をアップします。
GitHubにあるWhisperを呼び出して音源をテキストにしてくれるコードを書いて、実行します。
!pip install git+https://github.com/openai/whisper.git
import whisper
model = whisper.load_model("large")
result = model.transcribe("適当な音源.mp3", verbose=True, language='ja')
print(result["text"])そのまま待ちます。その間に、この記事を書いています。
今回の音源長さは9分40秒で、コードの実行から完了まで、つまり文字起こしが完了するまでにかかった時間は45分51秒でした。5回聴き返したくらいですね。
Google Colab は無料のものをそのまま使っているので、スペックを上げればもっと早く処理が終わりそうです。
これが文字起こしの結果です（原文ママ）
それでは今日も記録していきます スペアジア海ブス第782回です今日は2月18日 時刻は20時前ぐらいですなんかねだいぶあったかくなって 過ごしやすいというか外で活動しやすい日だったので前々からやろうと思ってた人感センサーライトをバラしてちょっと作り変えるっていうのをやろうと思ってたんですけどそれのねそもそもの人感センサーライトを 買いに行くっていうことをやってたんですが結局ね探してた商品が見つからなかったんですよねダイソーの人感と明暗センサーが付いてて電子で動くタイプのそういう商品が300円で売ってたんですけどそれをね買うタイミングを逃してダイソー3軒ぐらい回ったんですけどどこにも売ってなくて他のセリアとかキャンドゥとか色々見たんですけどねやっぱりそういうセンサー系のライトはダイソーでしか売ってなくてですねダイソーのオンラインショップを探してみて店舗になくてもオンラインにはあるやろうと思ったんですけどオンラインショップでも神奈川県内でも配送できるタイプはゼロですって出てて東京やったらね残りわずかであるのでもちろん東京の方まで足を伸ばせばもしかしたら買えるかもしれないなっていう状態なんですよねもともと探してたのが人感透明感センサー付きの電池で動くタイプの四角いタイプ電池を横並びで3本入れるタイプのもので先週ね、実は先週も探してたんですけど単四電池を縦に3本つなげた武永タイプのライトっていうのは売ってたんですそっちでいいかしゃーないかなと思ってそっちを買うことに切り替えてこの前見に行った店舗行ってみると全部売り切れててしかもオンラインショップで見たらそれも在庫ゼロになっててどういうことやねんっていうそういうどこ行っても人感センサー明暗センサー付きの3電池タイプのライトが買えないっていう状態でしたでも800円くらい出したらダイソーじゃないところが作ってる商品は買えるんで全くないわけではないんですけどどうせぶっ壊すしなと思ってそれに800円出したのもあれやなと思いつつでも色々探す手間とか考えたらたぶんさっさと買ってしまった方が安いような気もしてますその商品がなくなっている代わりにソーラーで動く屋外でも使えるような人感センサーと明暗センサー付きのライトが500円になって売ってるんですよねそっち買うかなと思ったんですけどソーラーユニットいらんしなみたいなソーラーユニットとまあ、セイキンっていうかダイソー以外の商品を800円で買うよりもソーラー600円のやつを買ってソーラー洗わせた方が安いっちゃ安いか最終的にはこれが4電池3本で動かすので4.5Vで動くやつなんですけどこれを電池の真ん中に入れ替えてもらうとあまりいいのでモバイルバッテリーの固まってるやつ買うのでそこからUSBで給電させるようにしたら同じ5Vなので同じじゃないなほぼ同じ5Vなのでそれでいけるんちゃうかなと思ってるんで結局ね電源がなんであっても大丈夫っちゃ大丈夫なんですかねガスがやのコンセント式のやつは100Vのところから5Vで変えないといけないので手元にそういうね変換用のものがないのでできないんですけど最終的に何が作りたいのかっていうと玄関に置くための明かりですねこのね雨の日とか玄関雨戸閉めてるんで朝会社に出ていくときに電気をつけないと真っ暗なんですけど電気つけて出ていくと妻が電気消してくるまで電気つきっぱなしなのでそれが嫌なんですよねそれとか夜帰ってきたときに妻が電気つけてくれてたら明るいでいいんですけどつけてくれてなかったときは真っ暗なのでスマホで照らして靴の依頼するわけなんですよねそれがちょっと手間なので自分が玄関に入ってきたときに暗かったら電気つけて照らしてくれるっていうそういうライトが欲しいですそれだけあったら別に分解せんでも電池式でカッターやスポンって置いといたらいいだけなんちゃうのっていうのがですねうちではできないことで見た目が良くないと雰囲気が家のテイストに合わないからそういうものは置かないでねっていうお出しが出ていますのでなんとか家の日本家屋に合うように工夫が必要になりますどんな形になるかというと灯籠がありますよねお寺とか神社とかでもかな山道の両方に灯籠がありますけどあれの小っちゃい灯籠が打ってて灯籠の中にバッテリーなり電池で動く電感センサー明暗センサー付きのライトを仕込んでおいてで外側が目立たなくするためにもともとのバーチップの側を取り除いてセンサーとLEDと電池とだけを向き出しにして目立たないように配線するっていうそれで多分OKでしょそんな感じのことがやりたいんですよねあの常夜灯ってやつですかね神社とかお寺とかで真っ暗な山道を歩いている中急に明かりがポッと浮かび上がってくるのってなかなか良くないですかそういうやつをね自分の中用に作ろうとしていますできるのかなということで今日はこの辺で終わりますありがとうございました
[00:00.000 --> 00:07.000] それでは今日も記録していきます スペアジア海ブス第782回です
[00:07.000 --> 00:12.000] 今日は2月18日 時刻は20時前ぐらいです
[00:12.000 --> 00:20.000] なんかねだいぶあったかくなって 過ごしやすいというか
[00:20.000 --> 00:25.000] 外で活動しやすい日だったので
[00:25.000 --> 00:30.000] 前々からやろうと思ってた
[00:30.000 --> 00:35.000] 人感センサーライトを
[00:35.000 --> 00:39.000] バラしてちょっと作り変えるっていうのを
[00:39.000 --> 00:42.000] やろうと思ってたんですけど
[00:42.000 --> 00:49.000] それのねそもそもの人感センサーライトを 買いに行くっていうことをやってたんですが
[00:49.000 --> 00:55.000] 結局ね探してた商品が見つからなかったんですよね
[00:55.000 --> 01:01.000] ダイソーの人感と明暗センサーが付いてて
[01:01.000 --> 01:07.000] 電子で動くタイプの
[01:07.000 --> 01:12.000] そういう商品が300円で売ってたんですけど
[01:12.000 --> 01:18.000] それをね買うタイミングを逃して
[01:18.000 --> 01:23.000] ダイソー3軒ぐらい回ったんですけどどこにも売ってなくて
[01:23.000 --> 01:28.000] 他のセリアとかキャンドゥとか
[01:28.000 --> 01:32.000] 色々見たんですけどねやっぱりそういうセンサー系のライトは
[01:32.000 --> 01:35.000] ダイソーでしか売ってなくてですね
[01:35.000 --> 01:39.000] ダイソーのオンラインショップを探してみて
[01:39.000 --> 01:43.000] 店舗になくてもオンラインにはあるやろうと思ったんですけど
[01:43.000 --> 01:48.000] オンラインショップでも神奈川県内でも
[01:48.000 --> 01:51.000] 配送できるタイプはゼロですって出てて
[01:51.000 --> 01:56.000] 東京やったらね残りわずかであるので
[01:56.000 --> 02:01.000] もちろん東京の方まで足を伸ばせば
[02:01.000 --> 02:07.000] もしかしたら買えるかもしれないなっていう状態なんですよね
[02:07.000 --> 02:14.000] もともと探してたのが人感透明感センサー付きの
[02:14.000 --> 02:22.000] 電池で動くタイプの四角いタイプ
[02:22.000 --> 02:31.000] 電池を横並びで3本入れるタイプのもので
[02:31.000 --> 02:38.000] 先週ね、実は先週も探してたんですけど
[02:38.000 --> 02:42.000] 単四電池を縦に3本つなげた
[02:42.000 --> 02:46.000] 武永タイプのライトっていうのは売ってたんです
[02:46.000 --> 02:50.000] そっちでいいかしゃーないかなと思って
[02:50.000 --> 02:56.000] そっちを買うことに切り替えて
[02:56.000 --> 03:01.000] この前見に行った店舗行ってみると全部売り切れてて
[03:01.000 --> 03:04.000] しかもオンラインショップで見たらそれも在庫ゼロになってて
[03:04.000 --> 03:06.000] どういうことやねんっていう
[03:06.000 --> 03:11.000] そういうどこ行っても人感センサー
[03:11.000 --> 03:20.000] 明暗センサー付きの3電池タイプのライトが買えないっていう状態でした
[03:20.000 --> 03:26.000] でも800円くらい出したら
[03:26.000 --> 03:32.000] ダイソーじゃないところが作ってる商品は買えるんで
[03:32.000 --> 03:34.000] 全くないわけではないんですけど
[03:34.000 --> 03:37.000] どうせぶっ壊すしなと思って
[03:37.000 --> 03:39.000] それに800円出したのもあれやなと思いつつ
[03:39.000 --> 03:44.000] でも色々探す手間とか考えたら
[03:44.000 --> 03:51.000] たぶんさっさと買ってしまった方が安いような気もしてます
[03:51.000 --> 03:57.000] その商品がなくなっている代わりに
[03:57.000 --> 04:01.000] ソーラーで動く
[04:01.000 --> 04:06.000] 屋外でも使えるような
[04:06.000 --> 04:13.000] 人感センサーと明暗センサー付きのライトが500円になって売ってるんですよね
[04:13.000 --> 04:16.000] そっち買うかなと思ったんですけど
[04:16.000 --> 04:20.000] ソーラーユニットいらんしなみたいな
[04:20.000 --> 04:25.000] ソーラーユニットと
[04:25.000 --> 04:29.000] まあ、セイキンっていうか
[04:29.000 --> 04:34.000] ダイソー以外の商品を800円で買うよりも
[04:34.000 --> 04:40.000] ソーラー600円のやつを買ってソーラー洗わせた方が安いっちゃ安いか
[04:40.000 --> 04:44.000] 最終的にはこれが
[04:44.000 --> 04:49.000] 4電池3本で動かすので
[04:49.000 --> 04:54.000] 4.5Vで動くやつなんですけど
[04:54.000 --> 05:00.000] これを電池の真ん中に入れ替えてもらうと
[05:00.000 --> 05:02.000] あまりいいので
[05:02.000 --> 05:05.000] モバイルバッテリーの
[05:05.000 --> 05:13.000] 固まってるやつ買うのでそこからUSBで給電させるようにしたら
[05:13.000 --> 05:15.000] 同じ5Vなので
[05:15.000 --> 05:17.000] 同じじゃないな
[05:17.000 --> 05:21.000] ほぼ同じ5Vなので
[05:21.000 --> 05:24.000] それでいけるんちゃうかなと思ってるんで
[05:24.000 --> 05:27.000] 結局ね
[05:27.000 --> 05:29.000] 電源が
[05:29.000 --> 05:31.000] なんであっても
[05:31.000 --> 05:33.000] 大丈夫っちゃ大丈夫なんですかね
[05:33.000 --> 05:40.000] ガスがやのコンセント式のやつは100Vのところから5Vで変えないといけないので
[05:40.000 --> 05:43.000] 手元に
[05:43.000 --> 05:47.000] そういうね
[05:47.000 --> 05:52.000] 変換用のものがないのでできないんですけど
[05:52.000 --> 05:56.000] 最終的に何が作りたいのかっていうと
[05:56.000 --> 06:01.000] 玄関に置くための
[06:01.000 --> 06:03.000] 明かりですね
[06:03.000 --> 06:06.000] このね
[06:06.000 --> 06:09.000] 雨の日とか
[06:09.000 --> 06:12.000] 玄関雨戸閉めてるんで
[06:12.000 --> 06:16.000] 朝会社に出ていくときに
[06:16.000 --> 06:19.000] 電気をつけないと真っ暗なんですけど
[06:19.000 --> 06:22.000] 電気つけて出ていくと
[06:22.000 --> 06:27.000] 妻が電気消してくるまで電気つきっぱなしなのでそれが嫌なんですよね
[06:27.000 --> 06:29.000] それとか
[06:29.000 --> 06:32.000] 夜帰ってきたときに
[06:32.000 --> 06:35.000] 妻が電気つけてくれてたら明るいでいいんですけど
[06:35.000 --> 06:38.000] つけてくれてなかったときは真っ暗なので
[06:38.000 --> 06:42.000] スマホで照らして
[06:42.000 --> 06:49.000] 靴の依頼するわけなんですよね
[06:49.000 --> 06:52.000] それがちょっと手間なので
[06:52.000 --> 06:57.000] 自分が玄関に入ってきたときに暗かったら
[06:57.000 --> 07:06.000] 電気つけて照らしてくれるっていうそういうライトが欲しいです
[07:06.000 --> 07:09.000] それだけあったら別に分解せんでも
[07:09.000 --> 07:17.000] 電池式でカッターやスポンって置いといたらいいだけなんちゃうのっていう
[07:17.000 --> 07:21.000] のがですねうちではできないことで
[07:21.000 --> 07:26.000] 見た目が良くないと
[07:26.000 --> 07:30.000] 雰囲気が家のテイストに合わないから
[07:30.000 --> 07:33.000] そういうものは置かないでねっていう
[07:33.000 --> 07:35.000] お出しが出ていますので
[07:35.000 --> 07:39.000] なんとか家の
[07:39.000 --> 07:42.000] 日本家屋に
[07:42.000 --> 07:46.000] 合うように工夫が必要になります
[07:51.000 --> 07:55.000] どんな形になるかというと
[07:55.000 --> 07:58.000] 灯籠が
[07:58.000 --> 08:03.000] ありますよねお寺とか神社とかでもかな
[08:03.000 --> 08:07.000] 山道の両方に灯籠がありますけど
[08:07.000 --> 08:11.000] あれの小っちゃい灯籠が打ってて
[08:11.000 --> 08:18.000] 灯籠の中にバッテリーなり電池で動く
[08:18.000 --> 08:28.000] 電感センサー明暗センサー付きのライトを仕込んでおいて
[08:28.000 --> 08:30.000] で
[08:30.000 --> 08:35.000] 外側が目立たなくするためにもともとの
[08:35.000 --> 08:38.000] バーチップの
[08:38.000 --> 08:40.000] 側を取り除いて
[08:40.000 --> 08:47.000] センサーとLEDと電池とだけを向き出しにして
[08:47.000 --> 08:54.000] 目立たないように配線するっていう
[08:54.000 --> 08:56.000] それで
[08:56.000 --> 08:58.000] 多分OKでしょ
[08:58.000 --> 09:02.000] そんな感じのことがやりたいんですよね
[09:02.000 --> 09:12.000] あの
[09:12.000 --> 09:15.000] 常夜灯ってやつですかね
[09:15.000 --> 09:21.000] 神社とかお寺とかで真っ暗な山道を歩いている中
[09:21.000 --> 09:25.000] 急に明かりがポッと浮かび上がってくるのってなかなか
[09:25.000 --> 09:26.000] 良くないですか
[09:26.000 --> 09:29.000] そういうやつをね
[09:29.000 --> 09:34.000] 自分の中用に作ろうとしています
[09:34.000 --> 09:36.000] できるのかな
[09:36.000 --> 09:39.000] ということで今日はこの辺で終わります
[09:39.000 --> 09:59.000] ありがとうございました
Bing AIチャットにタイトル決めと要約をまかせた、しかしこの子にはできなかった
Bing AIチャットには、次のように依頼しました。
私はPodcastでラジオを配信しています。
プロの構成作家であるあなたにお願いがあります。
最新回を文字起こししたので、このすべてを100字程度に要約してください。そして、この最新回のタイトルも決めてください。なお、要約はそのままTwitterに投稿します。文字起こしは2000字を超えたので、第一部と第二部に分けて記載します。
文字起こし第一部 ここから
それでは今日も記録していきます スペアジア海ブス第782回です今日は2月18日 時刻は20～～～～～～～～～
文字起こし第一部 ここまで つぎに続く
そうか、Bing AI チャットではまだ2000文字程度の要約はできないのかな？
「bingでは最大何文字まで要約してくれるの？」と聞いてみました。
Bing AIはチャットモードなので、短い文章しか要約できません。😓
だそうです。
要約する文章は100文字以内が望ましいです。それ以上の長さの文章を要約すると、内容が欠落したり、意味が変わったりする可能性があります。😥
Bingでの要約は諦めて、さっき使ってた whisper でやれば Google Colab の続きでコードを書けそうです。
「whisperで要約するにはどんなコードを書けばいいの？」
# 必要なライブラリをインポート
import whisper
from pysummarization.nlpbase.auto_abstractor import AutoAbstractor
from pysummarization.tokenizabledoc.simple_tokenizer import SimpleTokenizer
from pysummarization.abstractabledoc.top_n_rank_abstractor import TopNRankAbstractor
# 音声ファイルを読み込み、whisperを使って文字起こしする
text = whisper.transcribe("audio.wav")
# 文字起こししたらテキストファイルとして保存する。
with open("transcript.txt", "w") as f:
f.write(text)
# 文字起こししたテキストを一つの文字列化したものも作る。
text = text.replace("\n", " ")
# AutoAbstractorオブジェクトを作る。
auto_abstractor = AutoAbstractor()
# SimpleTokenizerオブジェクトを作る。
tokenizer = SimpleTokenizer()
# TopNRankAbstractorオブジェクトを作る。
abstractable_doc = TopNRankAbstractor()
# 要約の割合を設定する。0.1だと10%に要約される。
result_dict = auto_abstractor.summarize(text, tokenizer, abstractable_doc, 0.1)
# 要約結果を表示する。
for sentence in result_dict["summarize_result"]:
print(sentence)これをそのまま続きに入力するといろいろエラーが出ました。
まずは「pysummarization」のインストール等が必要で、その後またエラーが出て、それを教わろうとしたら残念ながらBingのアップデートによる質問数制限に引っかかり、これ以上質問できなくなりました。😥
!pip install pysummarization
Whisper 再登場 ＆ Mecab で要約をまかせてみた、しかし要約を断念
pysummarization のドキュメント『Usecase: Summarize Japanese string argument.』の部分に、MeCabを使って日本語の自然言語処理による要約をする例が載っていました。『Usecase: Summarization, filtering the mutually similar, tautological, pleonastic, or redundant sentences』までやってみました。
そして先程 Bing が教えてくれたのは、その上の『Usecase: Summarize an English string argument.』の部分のようなものであったことが判明しました。
/usr/local/etcの中に新しく「mecabrc」フォルダを作成することと、「unidic-lite」のインストールも必要した。
error message: [ifs] no such file or directory: /usr/local/etc/mecabrc
結局、こんなコードになりましたが、要約結果は2行になりました。
# 追記1箇所目
!pip install pysummarization
!pip install mecab-python3
!pip install unidic-lite
from pysummarization.nlpbase.auto_abstractor import AutoAbstractor
from pysummarization.tokenizabledoc.mecab_tokenizer import MeCabTokenizer
from pysummarization.abstractabledoc.top_n_rank_abstractor import TopNRankAbstractor
# 追記2箇所目
document = result["text"]
# Object of automatic summarization.
auto_abstractor = AutoAbstractor()
# Set tokenizer for Japanese.
auto_abstractor.tokenizable_doc = MeCabTokenizer()
# Set delimiter for making a list of sentence.
auto_abstractor.delimiter_list = ["。", "\n"]
# Object of abstracting and filtering document.
abstractable_doc = TopNRankAbstractor()
# Summarize document.
result_dict = auto_abstractor.summarize(document, abstractable_doc)
# Output result.
for sentence in result_dict["summarize_result"]:
print(sentence)from pysummarization.nlp_base import NlpBase
from pysummarization.nlpbase.auto_abstractor import AutoAbstractor
from pysummarization.tokenizabledoc.mecab_tokenizer import MeCabTokenizer
from pysummarization.abstractabledoc.top_n_rank_abstractor import TopNRankAbstractor
from pysummarization.similarityfilter.tfidf_cosine import TfIdfCosine
# The object of the NLP.
nlp_base = NlpBase()
# Set tokenizer. This is japanese tokenizer with MeCab.
nlp_base.tokenizable_doc = MeCabTokenizer()
# The object of `Similarity Filter`.
# The similarity observed by this object is so-called cosine similarity of Tf-Idf vectors.
similarity_filter = TfIdfCosine()
# Set the object of NLP.
similarity_filter.nlp_base = nlp_base
# If the similarity exceeds this value, the sentence will be cut off.
similarity_filter.similarity_limit = 0.25
# The object of automatic sumamrization.
auto_abstractor = AutoAbstractor()
# Set tokenizer. This is japanese tokenizer with MeCab.
auto_abstractor.tokenizable_doc = MeCabTokenizer()
# Object of abstracting and filtering document.
abstractable_doc = TopNRankAbstractor()
# Delegate the objects and execute summarization.
result_dict = auto_abstractor.summarize(document, abstractable_doc, similarity_filter)
print
for sentence in result_dict["summarize_result"]:
print(sentence)
2行になりました、、、？？？？？？
similarityの閾値を超えたらカットされるということは、冗長じゃなかったら要約されない、ということ？別の手法があればそっちでやったほうが良い気がする。
自然言語処理の理解が圧倒的に足りてないのと、今回はもっと雑にAIに依頼して要約してもらいたかったので、Bingに教わったもう1つのアプローチでChatGPTを使ってみます。結局元の記事の通りになってきました。
ChatGPT にタイトル決めと要約をまかせてみたたら、だいたい合ってた
まず、ChatGPT にどうやって要約してもらうのが良いのか質問しました。「chatGPTで日本語を要約する方法を教えてください」
そんな感じでやるらしいので、じゃあその方法でやってみて、と投げてみました。
それでは、その方法で以下の文章を100字程度に要約してください。そして、そのタイトルも決めてください。
--ここから--
それでは今日も記録していきます～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～ありがとうございました
--ここまで--
これがタイトル決めと要約の結果です（原文ママ）
タイトル： ダイソーで売っている人感センサーライトが見つからなくて800円の別のライトを買うことに
要約：ダイソーで人感センサーライトを買うために探したが見つからず、他の店を回っても同様だった。最終的にダイソー以外で800円のライトを買ったが、買い換えようと思ったらダイソーにあった。代わりにソーラーのライトを考えたが、ソーラーユニットがいらないため、モバイルバッテリーでUSB給電させることにした。
感想
Whisperが音源を3～6秒ずつくらいに区切って文字起こしを進めてくれているのですが、漢字カタカナ混じりでほぼ完璧でした。
自分は滑舌が悪く、しかも車通りのある道を歩きながら録音しているため音質も悪いため、人間が文字起こしするのはかなり辛い作業になるはずです。それをここまでキレイなテキストにしてくれるとは、、、
Bing はチャットモードじゃないモードに期待です。
ChatGPT は Bing AI より前の世代のGPTとのことですが、それでも十分な要約力です。玄関に灯籠型ランプを置きたいという目的部分はカットされちゃいましたが、それ以外の部分はなんとなく合ってる。句読点のない文章でここまでできるなら、Whisperが句読点を書いといてくれればより的を得た要約をしてくれるのではないでしょうか。
あと、要約が147文字だったのでこの後Twitterにラジオ投稿用で100字以内の指定をつけて5回ほど要約を依頼したのですが、127文字が最短だったので諦めました。
おまけ
2023/02/18 に録音して今回要約してもらった音源です。
これがこうなるんだぜ、、、
音源のアップロードから要約、この記事の書き上げまで約3時間半でした。