python janome 0.4系からstreamモードがデフォルト 解決策メモ

janomeのバージョンを上げると、分かち書きの出力をgeneratorで返すようになった。

generatorはメモリ効率が良いというメリットがある一方でリストでデータを保持したいという気持ちがある。

対処としてリストに出力するステップを加える。

対処方

token_generator = t.tokenize(text,wakati=true)
token_list=[token for token in token_generator]

参考リンク

https://mocobeta.github.io/janome/