「虹機械」機械学習実験ノート（２）：生成系列長を長くした場合について
1.はじめに
記事「「虹機械」学習実験ノート（１） 」において、『「虹機械」はじまりのうた』および『「虹機械」公案-001』を素材にしてPythonのライブラリPyTorchのLSTMモデルを用いた模倣の実験を行い、模倣ができることを確認できたので、その結果を報告しました。その結果を見て、「生成する音の系列をもっと長くしたらどうなるのか？その後も正しく再現できるかどうかはともかく、続きがどうなるのか聴いてみたい」というご要望を頂いたのをうけ、評価のために生成する音の系列の長さを32から10倍の320に伸ばして生成実験を行った結果をご報告します。
まず前回の報告内容の確認ですが、幾つかの条件で訓練したモデルについて、訓練時の入力長に対応した冒頭の数音をプライムとして与えた時に、後続の32音の系列が正しく再現出来ているケースを確認できたことを報告しました。間違える例も同時に報告したように、それは100%正しい再現ができるということではないですが、それなりの精度で、それっぽい系列を生成することは可能です。更に言えば今回、検証で用いている音の系列の生成のさせ方は、直近の4つの音から学習結果に基づいてもっとも確率の高い次の音を出力するというのを繰り返します。従って、系列が延びるに従って精度が落ちるということはありませんのでうまく行けばずっと正しい系列を出力し続けることができる可能性はあります。その一方でどこかで1音生成誤りをすれば、その後の系列は全く異なるものになると考えられ、実際に前回の報告でも32音という制限された長さではありますが、その傾向は窺うことはできました。従って系列長を伸ばしても似たような結果が得られると考え、系列長を伸ばす実験条件を追加することは考えていませんでしたが、実際に長い系列を生成してみて気付いたこともあり、補遺として報告する価値があると考えます。
評価に用いた事前訓練済みのモデルについては、上記記事に記載した通りであり、上記記事で公開済のチェックポイントファイルを用い、プライムとして与える音の系列も上記記事のものと同一という条件で実施した結果ですので、詳細については上記記事をご覧いただくこととして、本記事では割愛させて頂き、結果のみを報告・公開します。
なお以下の報告中、どこまで正しく再現できるのかの追加実験において、系列長=1200を超えるまでエラーを起こさずにオリジナルの「虹機械 はじまりのうた」の旋律の再現に成功した機械学習済結果（事前学習済モデル：入力系列長=8, 隠れ層のサイズ=256, 学習率=0.001, Epoch数=3000, loss=0.1106, チェックポイントファイル名：checkpoint_Hamamatsu-8.001-256.pt ）を素材として、三輪眞弘さんが「配信芸術」作品「「虹機械」はじまりのうた のテーマによる永遠の変奏曲」：学習済みモデルによる「虹機械-擬き」を作成して下さいました。（この作品は期間限定でしばらくの間、三輪さんのウェブサイトで紹介されていましたが、現在は既に公開終了となっています。）本稿で報告する追加実験をリクエストして頂き、また不具合発見に繋がる指摘をして頂いたばかりか、実験の成果を評価して下さり、作品化して下さった三輪眞弘さんに御礼申し上げます。
2.実験の条件
前回下記条件により訓練を行った5種類のモデルについて、検証において生成する音の系列長を前回の32から320に増やして実験を行いました。
2.1.系列長=320での実験
A.「虹機械 はじまりのうた」
入力系列長=4, 隠れ層のサイズ=128, 学習率=0.001, Epoch数=5000, loss=0.2829
入力系列長=8 隠れ層のサイズ=128 学習率=0.001, Epoch数=5000, loss=0.1319
入力系列長=8 隠れ層のサイズ=256 学習率=0.001, Epoch数=3000, loss=0.1106
B.「虹機械 公案-001」
入力系列長=4 隠れ層のサイズ=128, 学習率=0.001, Epoch数=10000, loss=0.3532
入力系列長=8,隠れ層のサイズ=128, 学習率=0.001, Epoch数=5000, loss=0.2748
作品冒頭をプライムとして与えた再現実験と、作品の任意の位置を切り出してプライムとして与えた生成実験の両方を行うのは前回と同様ですが、今回はアトラクタに収束してループに入る傾向の強さを調べるために、生成実験で与えるプライムを2種類に増やして行い、各モデルについて再現実験と生成実験2つの合計3種類を実施することにしました。
更に上記条件での実験結果を受け、再現実験に成功した以下の条件についてはどこまで正しく再現できるかの実験を追加で行いました。
2.2.どこまで正しく再現できるかの検証実験
A.「虹機械 はじまりのうた」
入力系列長=8, 隠れ層のサイズ=256, 学習率=0.001, Epoch数=3000, loss=0.1106：系列長=1280まで
B.「虹機械 公案-001」
入力系列長=8,隠れ層のサイズ=128, 学習率=0.001, Epoch数=5000, loss=0.2748：系列長=640まで
3.実験結果の概要と考察
今回は出力系列が長いため、全ての結果を紹介することは控え、概要を述べた上で、典型的な例を幾つか提示する形での報告とさせて頂きます。
結果のあらましを要約すると、特に入力長=4のモデルでは最初の32音を過ぎると作品中で出現するアトラクタ（同じ音形を反復する領域）に捕まる結果となりました。今回は作品全体を訓練に用いていますし、作品中でアトラクタには何回か捕まっては、ランダムな効果によりそこから脱出するということを繰り返していることを思えば、訓練結果がアトラクタに捕まりやすい傾向になることは十分に予測できることでしたが、320音と言わず、前回報告した32音以降、割とすぐにアトラクタに捕まる例が多く、その早さと頻度には正直に言って驚きました。
勿論、作品冒頭をプライムとした再現実験以外には、ランダムに選択した作品の任意の部分をプライムとして与えただけなので、プライムの与え方によっては異なる結果になることも考えられるので、もう1列ずつプライムを追加してみたのですが、傾向としては同じような結果になっています。
基準とした入力長=4のモデルではことごとく似たような結果になったため、入力長=8のモデルでも実験したところ、「公案-001」では前回同様、再現に成功し、「はじまりのうた」では再現に失敗しました。更に「はじまりのうた」についてのみ、入力長=8に対して中間層（隠れ層）のサイズを倍の256にして訓練したモデルで冒頭8音を与えた再現実験をしたところ、320音分、最後に至る迄正しく再現することができました。最初の報告では、冒頭からの再現には成功したものの、ランダムなプライムに対する再現はうまくできておらず、「はじまりのうた」についてはあたかも性能的に、短い入力長の方が良好な結果が得られているかの如き印象を与えかねない報告内容でしたが、生成する音の長さを長くした結果、入力長を伸ばすこと、更にそれに応じて中間層のノード数を増やすことによる精度の向上が確認できたと考えます。
また再現実験に成功した条件については、どこまで正しく再現できるのかの追加実験を行った結果、以下の結果となりました。
「虹機械 はじまりのうた」：
入力系列長=8 隠れ層のサイズ=256 学習率=0.001, Epoch数=3000, loss=0.1106：系列長=1280まででエラーを確認
「虹機械 公案-001」：
入力系列長=8,隠れ層のサイズ=128, 学習率=0.001, Epoch数=5000, loss=0.2748：系列長=640まででエラーを確認
なお本稿で報告している訓練結果のニューラルネットワーク・モデルは、決定性の動作をする有限状態オートマトンと見做すことができます。多分簡単な式にはならないのでしょうし（非線形的なものが扱えるのがニューラルネットの特徴でもあります）、完全に同じ規則というわけではないにせよ、基本的に状態遷移規則に従って音の系列を出力するという点に限れば学習の対象とした三輪さんの「虹機械」と同じと言えるでしょう。それでは更に学習精度を上げれば曲の最期まで再生することができるようになるのかと言えば、答えは恐らく否定的なものになると思います。
「虹機械」はループに入ったことを判定し、乱数を発生してループから脱出するメカニズムを持っていて、それが作品の巨視的な構成原理となっていますが、こうした大域的な例外処理の学習は難しく、原理上はともかく、少なくとも今使っている単純なリカレントニューラルネットワークでの作品の完全な再現は非常に困難だと思われます。また生成する時のやり方も、今の過去の8音に基づいて次に来る最も確率の高い音を1つを選ぶやり方だと対応しきれません。モデル内部には確率を持っているので最も確率の高いものを常に返すのではなく、何らかの基準で2つ目に確率の高いものを選ぶとか、ランダムに選ぶとかというやり方も可能ですから、訓練の仕方と生成の仕方の両方を組み合わせると、可能性を広げることはできると思いますが、今の単純なリカレントネットワークモデルとは全く異なったものになるでしょう。
ここで報告するような単純なモデルでも冒頭からの再現が比較的長い系列でうまくいくのは、曲の最初の部分が基本的に状態遷移規則に基づいて作曲されていてリカレントネットワークでの学習がしやすいからではないかと思います。
4.実験結果
以下、再現実験結果についてのみ全てのモデルについて結果を紹介します。MIDIノートの系列のうち、[MIDIノート]と大括弧で括り太字にしたのは生成エラーが起きた箇所を示し、{MIDIノートの系列}と中括弧で括り太字にした部分は、アトラクターのループの一サイクルを示しています。また-1は休符を表します。
4.1.系列長=320での再現実験結果
A.「虹機械 はじまりのうた」
入力長=4、隠れ層ノード数=128, Epoch数=5000, loss=0.2829
再現実験：[71, 82, 69, 73]⇒×
[71, 82, 69, 73, 84, -1, 69, -1, 82, -1, 84, -1, 71, 69, 84, -1, 76, 78, 74, 78, 77, -1, 74, -1, [-1], 80, 88, 84, 70, 69, 76, 78, -1, 74, 66, -1, 73, -1, 80, -1, 73, -1, 82, -1, 73, 73, 69, 88, -1, 69, 80, 81, -1, 76, 75, 79, -1, 69, 83, 81, 51, 55, 59, 64, 61, 66, 56, 68, 75, 70, 82, 51, -1, 70, 82, 27, 75, 58, 82, 75, 39, 70, 82, 63, {82, 75, 80, 56, 51, 63, 82, 34, 77, 60, 79, 84, 48, 77, 82, 70, 75, 80, 75, 51, 58, 70, 77, 29, 84, 53, 84, 79, 43, 84, 77, 65,} 82, 75, 80, 56, 51, 63, 82, 34, 77, 60, 79, 84, 48, 77, 82, 70, 75, 80, 75, 51, 58, 70, 77, 29, 84, 53, 84, 79, 43, 84, 77, 65, {82, 75, 80, 56, 51, 63, 82, 34, 77, 60, 79, 84, 48, 77, 82, 70, 75, 80, 75, 51, 58, 70, 77, 29, 84, 53, 84, 79, 43, 84, 77, 65,} 82, 75, 80, 56, 51, 63, 82, 34, 77, 60, 79, 84, 48, 77, 82, 70, 75, 80, 75, 51, 58, 70, 77, 29, 84, 53, 84, 79, 43, 84, 77, 65, 82, 75, 80, 56, 51, 63, 82, 34, 77, 60, 79, 84, 48, 77, 82, 70, 75, 80, 75, 51, 58, 70, 77, 29, 84, 53, 84, 79, 43, 84, 77, 65, 82, 75, 80, 56, 51, 63, 82, 34, 77, 60, 79, 84, 48, 77, 82, 70, 75, 80, 75, 51, 58, 70, 77, 29, 84, 53, 84, 79, 43, 84, 77, 65, 82, 75, 80, 56, 51, 63, 82, 34, 77, 60, 79, 84, 48, 77, 82, 70, 75, 80, 75, 51, 58, 70, 77, 29, 84, 53, 84, 79, 43, 84, 77, 65, 82, 75, 80, 56, 51, 63, 82, 34, 77, 60, 79, 84, 48, 77, 82, 70]
入力長=8、隠れ層ノード数=128, Epoch数=5000, loss=0.1319
再現実験：[71, 82, 69, 73, 84, -1, 69, -1]⇒×
[71, 82, 69, 73, 84, -1, 69, -1, 82, -1, [-1], -1, 71, 74, 79, -1, 76, 73, 74, -1, 84, -1, 76, 68, 69, 72, 78, 71, 66, 69, -1, 71, -1, 82, -1, -1, 83, 66, 67, 76, 76, 71, 76, -1, -1, 57, 60, 63, 57, 66, 61, 51, 65, 82, 63, 75, 82, -1, 69, 83, 81, 51, 55, 59, 64, 61, 66, 56, 68, 75, 70, 82, 73, -1, 76, 88, -1, 56, 60, 55, 57, 66, 59, 49, 61, 80, 63, 75, 80, -1, 71, 83, 90, 49, 56, 60, 62, 59, 64, 54, 66, 73, 68, 80, 75, {-1, 78, 90, 83, 54, 49, 53, 55, 64, 57, 47, 59, 78, 61, 73, 80, -1, 73, 85, 90, 49, 54, 56, 58, 55, 60, 50, 62, 69, 64, 76, 71,} -1, 78, 90, 85, 54, 49, 53, 55, 64, 57, 47, 59, 78, 61, 73, 80, -1, 73, 85, 90, 49, 54, 56, 58, 55, 60, 50, 62, 69, 64, 76, 71, {-1, 78, 90, 85, 54, 49, 53, 55, 64, 57, 47, 59, 78, 61, 73, 80, -1, 73, 85, 90, 49, 54, 56, 58, 55, 60, 50, 62, 69, 64, 76, 71,} -1, 78, 90, 85, 54, 49, 53, 55, 64, 57, 47, 59, 78, 61, 73, 80, -1, 73, 85, 90, 49, 54, 56, 58, 55, 60, 50, 62, 69, 64, 76, 71, -1, 78, 90, 85, 54, 49, 53, 55, 64, 57, 47, 59, 78, 61, 73, 80, -1, 73, 85, 90, 49, 54, 56, 58, 55, 60, 50, 62, 69, 64, 76, 71, -1, 78, 90, 85, 54, 49, 53, 55, 64, 57, 47, 59, 78, 61, 73, 80, -1, 73, 85, 90, 49, 54, 56, 58, 55, 60, 50, 62, 69, 64, 76, 71, -1, 78, 90, 85, 54, 49, 53, 55, 64, 57, 47, 59, 78, 61, 73, 80, -1, 73, 85, 90, 49, 54, 56, 58, 55, 60, 50, 62, 69, 64, 76]
入力長=8、隠れ層ノード数=256, Epoch数=3000, loss=0.1106
再現実験：[71, 82, 69, 73, 84, -1, 69, -1]→〇
[71, 82, 69, 73, 84, -1, 69, -1, 82, -1, 84, -1, 71, 69, 84, -1, 76, 78, 74, 78, 77, -1, 74, -1, 77, -1, -1, -1, 76, 74, 79, -1, 69, 73, 69, 71, 82, -1, 67, -1, 84, -1, 79, 75, 69, 67, 86, -1, 74, 80, 76, 67, 78, 75, 72, -1, 79, -1, 84, 82, 76, 72, 82, 79, 76, 75, 71, 72, 71, 82, 65, -1, 84, -1, 79, 77, 71, 67, 75, 84, 71, 80, 78, 67, 76, 75, 70, -1, 77, -1, 84, -1, 78, 74, 79, 77, 76, 75, 73, 71, 69, 80, 63, -1, 82, -1, 77, -1, 73, 69, 86, 84, 69, 80, 78, -1, 76, 73, 68, -1, 75, -1, 82, -1, 78, 73, 81, 79, 76, 73, 73, 73, 71, 78, 61, -1, 80, -1, 75, -1, -1, 80, 88, 84, 70, 69, 76, 78, -1, 74, 66, -1, 73, -1, 80, -1, 73, 75, 83, 88, 63, 74, 71, -1, -1, 69, 59, -1, 78, -1, 73, -1, 80, -1, 90, 83, 68, 67, 78, 76, 73, 76, 64, -1, 71, -1, 78, -1, 73, -1, 85, 90, 61, 72, 71, 69, 78, 71, 59, 62, 76, -1, 71, -1, 78, -1, 87, 85, 66, 65, 76, 74, 71, 76, 66, 57, 69, -1, 76, -1, 71, -1, 92, -1, 61, 70, 69, 67, 76, 69, 59, 64, 76, 67, 69, -1, 76, -1, 85, -1, 68, 63, 74, 72, 69, 74, 64, 68, 71, 74, -1, -1, 69, -1, 90, -1, 61, 68, 67, 65, 74, 67, 57, 63, 78, 67, 69, 76, 74, -1, 83, -1, 66, 61, 72, 70, 67, 72, 62, 68, 82, 74, 76, 69, -1, -1, 88, -1, 59, 66, 65, 63, 72, 65, 55, 63, 77, 67, 71, 73, 76, 67, 81, -1, 64, 59, 70, 68, 65, 70, 60, 70, 73, 72, 78, 80, 71, 72, 86, -1, 57, 64, 63, 61, 70, 63, 53, 65]
B.「虹機械 公案-001」
入力長=4、隠れノード数=128, Epoch数=10000, loss=0.3532
再現実験：[61, 53, 68, 61]⇒×
[61, 53, 68, 61, 73, 66, 90, 71, 59, 76, 52, 59, 71, 76, 68, 63, 68, 58, 63, 68, 80, 61, 85, 78, 66, 71, 47, 64, 76, 71, 61, 68, 63, 51, 67, 63, 75, 68, 92, 73, 61, 78, 54, [61], 73, 80, 65, 82, 63, 58, 63, 68, 73, 61, 90, 78, 59, 73, 49, {66, 78, 71, 59, 76, 45, 57, 74, -1, 69, -1, 76, 52, 71, 59, 76, 59, 71, 76, 64, 69, 50, 62, 69, -1, 64, 76, 59, 47, 66, -1, 73,} 66, 78, 71, 59, 76, 45, 57, 74, -1, 69, -1, 76, 52, 71, 59, 76, 59, 71, 76, 64, 69, 50, 62, 69, -1, 64, 76, 59, 47, 66, -1, 73, {66, 78, 71, 59, 76, 45, 57, 74, -1, 69, -1, 76, 52, 71, 59, 76, 59, 71, 76, 64, 69, 50, 62, 69, -1, 64, 76, 59, 47, 66, -1, 73,} 66, 78, 71, 59, 76, 45, 57, 74, -1, 69, -1, 76, 52, 71, 59, 76, 59, 71, 76, 64, 69, 50, 62, 69, -1, 64, 76, 59, 47, 66, -1, 73, 66, 78, 71, 59, 76, 45, 57, 74, -1, 69, -1, 76, 52, 71, 59, 76, 59, 71, 76, 64, 69, 50, 62, 69, -1, 64, 76, 59, 47, 66, -1, 73, 66, 78, 71, 59, 76, 45, 57, 74, -1, 69, -1, 76, 52, 71, 59, 76, 59, 71, 76, 64, 69, 50, 62, 69, -1, 64, 76, 59, 47, 66, -1, 73, 66, 78, 71, 59, 76, 45, 57, 74, -1, 69, -1, 76, 52, 71, 59, 76, 59, 71, 76, 64, 69, 50, 62, 69, -1, 64, 76, 59, 47, 66, -1, 73, 66, 78, 71, 59, 76, 45, 57, 74, -1, 69, -1, 76, 52, 71, 59, 76, 59, 71, 76, 64, 69, 50, 62, 69, -1, 64, 76, 59, 47, 66, -1, 73, 66, 78, 71, 59, 76, 45, 57, 74, -1]
入力長=8、隠れ層ノード数=128, Epoch数=5000, loss=0.2748
再現実験：[61, 53, 68, 61, 73, 66, 90, 71]⇒〇
[61, 53, 68, 61, 73, 66, 90, 71, 59, 76, 52, 59, 71, 76, 68, 63, 68, 58, 63, 68, 80, 61, 85, 78, 66, 71, 47, 64, 76, 71, 61, 68, 63, 51, 67, 63, 75, 68, 92, 73, 61, 78, 54, 59, 71, 76, 66, 61, 68, 56, 72, 70, 82, 63, 87, 80, 68, 73, 49, 66, 78, 71, 59, 66, 61, 49, 65, 74, 77, 70, 94, 75, 63, 80, 56, 61, 73, 78, 66, 59, 66, 54, 70, 69, 84, 65, 89, 82, 70, 75, 51, 68, 80, 73, 61, 69, 59, 47, 63, 74, 79, 72, 96, 77, 65, 82, 58, 63, 75, 80, 68, 76, 55, 52, 68, 67, 84, 67, 91, 84, 72, 77, 53, 70, 82, 75, 63, 71, 60, 45, 63, 72, 77, 72, 96, 79, 67, 84, 60, 65, 77, 82, 70, 78, 55, 50, 68, -1, 82, 65, 89, 84, 72, 79, 55, 72, 84, 77, 65, 73, 62, 45, 63, -1, 75, 70, 94, 77, 65, 84, 60, 67, 79, 84, 72, 80, 57, 52, 59, 68, 73, 63, 87, 82, 70, 77, 53, 72, 84, 79, 67, 75, 64, 47, 64, 61, 78, 68, 92, 75, 63, 82, 58, 65, 77, 84, 69, 82, 59, 54, 59, 66, 71, 61, 85, 80, 68, 75, 51, 70, 82, 77, 74, 77, 66, 49, 66, 59, 78, 66, 90, 73, 61, 80, 56, 63, 75, 82, 67, 84, 61, 56, 61, 66, 71, 59, 92, 78, 66, 73, 49, 68, 80, 75, 72, 77, 68, 51, 68, 61, 78, 66, 85, 73, 61, 78, 54, 61, 73, 80, 65, 82, 63, 58, 63, 68, 73, 61, 90, 78, 59, 73, 49, 66, 78, 73, 70, 75, 70, 51, 70, 63, 80, 68, 85, 73, 66, 78, 54, 61, 73, 78, 63, 80, 63, 58, 63, 70, 75, 63, 92, 80, 61, 73, 56, 66, 78, 73, 68, 73, 68, 51, 70, 63, 82, 70, 87, 75]
4.2.どこまで正しく再現できるかの検証実験結果
A.「虹機械 はじまりのうた」
入力長=8、隠れ層ノード数=256, Epoch数=3000, loss=0.1106
再現実験：[71, 82, 69, 73, 84, -1, 69, -1]→系列長=1280まで
三輪眞弘さんの「配信芸術」作品「「虹機械」はじまりのうた のテーマによる永遠の変奏曲」：学習済みモデルによる「虹機械-擬き」」は、この実験で得られた学習済モデルを素材としています。
[71, 82, 69, 73, 84, -1, 69, -1, 82, -1, 84, -1, 71, 69, 84, -1, 76, 78, 74, 78, 77, -1, 74, -1, 77, -1, -1, -1, 76, 74, 79, -1, 69, 73, 69, 71, 82, -1, 67, -1, 84, -1, 79, 75, 69, 67, 86, -1, 74, 80, 76, 67, 78, 75, 72, -1, 79, -1, 84, 82, 76, 72, 82, 79, 76, 75, 71, 72, 71, 82, 65, -1, 84, -1, 79, 77, 71, 67, 75, 84, 71, 80, 78, 67, 76, 75, 70, -1, 77, -1, 84, -1, 78, 74, 79, 77, 76, 75, 73, 71, 69, 80, 63, -1, 82, -1, 77, -1, 73, 69, 86, 84, 69, 80, 78, -1, 76, 73, 68, -1, 75, -1, 82, -1, 78, 73, 81, 79, 76, 73, 73, 73, 71, 78, 61, -1, 80, -1, 75, -1, -1, 80, 88, 84, 70, 69, 76, 78, -1, 74, 66, -1, 73, -1, 80, -1, 73, 75, 83, 88, 63, 74, 71, -1, -1, 69, 59, -1, 78, -1, 73, -1, 80, -1, 90, 83, 68, 67, 78, 76, 73, 76, 64, -1, 71, -1, 78, -1, 73, -1, 85, 90, 61, 72, 71, 69, 78, 71, 59, 62, 76, -1, 71, -1, 78, -1, 87, 85, 66, 65, 76, 74, 71, 76, 66, 57, 69, -1, 76, -1, 71, -1, 92, -1, 61, 70, 69, 67, 76, 69, 59, 64, 76, 67, 69, -1, 76, -1, 85, -1, 68, 63, 74, 72, 69, 74, 64, 68, 71, 74, -1, -1, 69, -1, 90, -1, 61, 68, 67, 65, 74, 67, 57, 63, 78, 67, 69, 76, 74, -1, 83, -1, 66, 61, 72, 70, 67, 72, 62, 68, 82, 74, 76, 69, -1, -1, 88, -1, 59, 66, 65, 63, 72, 65, 55, 63, 77, 67, 71, 73, 76, 67, 81, -1, 64, 59, 70, 68, 65, 70, 60, 70, 73, 72, 78, 80, 71, 72, 86, -1, 57, 64, 63, 61, 70, 63, 53, 65, 80, 65, 73, 75, 78, 67, 81, 79, 62, 57, 68, 66, 63, 68, 58, 70, 75, 70, 80, 71, 73, 74, 88, 86, 58, 62, 64, 59, 68, 61, 51, 63, 82, 63, 75, 78, -1, 69, 83, 81, 51, 55, 59, 64, 61, 66, 56, 68, 75, 70, 82, 73, -1, 76, 88, -1, 56, 60, 55, 57, 66, 59, 49, 61, 80, 63, 75, 80, -1, 71, 83, 90, 49, 56, 60, 62, 59, 64, 54, 66, 73, 68, 80, 75, -1, 78, 90, 83, 54, 49, 53, 55, 64, 57, 47, 59, 78, 61, 73, 80, -1, 73, 85, 90, 47, 54, 58, 60, 57, 62, 52, 64, 71, 66, 78, 73, -1, 80, 92, 85, 54, 47, 51, 53, 62, 55, 45, 57, 76, 59, 71, 78, -1, 73, 85, 92, 49, 54, 56, 58, 55, 60, 50, 62, 69, 64, 76, 71, -1, 78, 90, 85, 56, 49, -1, 51, 60, 53, 43, 55, 74, 57, 69, 76, -1, 71, 83, 90, 49, 56, -1, -1, 53, 58, 48, 60, 67, 62, 74, 69, -1, 76, 88, 83, 54, 49, 61, 54, 58, 51, 41, 53, 72, 55, 67, 74, -1, 69, 81, 88, 47, 54, 66, 49, 51, 56, 46, 58, 65, 60, 72, 67, -1, 74, 86, 81, 52, 47, 59, -1, 56, 60, 39, 51, 70, 53, 65, 72, -1, 67, 79, 86, 45, 52, 64, 61, 49, 55, 46, 58, 63, 58, 70, 65, -1, 72, 84, 79, 50, 45, 57, 66, 54, 60, 50, 53, 70, 51, 63, 70, -1, 65, 77, 84, 43, 50, 62, 59, 47, 53, 45, 60, 65, 58, 70, 63, -1, 70, 82, 77, 48, 43, 55, 64, 52, 58, 50, 55, 72, 53, 65, 70, -1, 63, 75, 82, 41, 48, 60, 57, 45, 51, 43, 60, 67, 60, 72, 65, -1, 70, 82, 75, 46, 41, 53, 62, 50, 56, 48, 53, 72, 55, 67, 72, -1, 65, 77, 82, 39, 46, 58, 55, 43, 51, 41, 58, 65, 60, 72, 67, -1, 72, 84, 77, 46, 39, 51, 60, 48, 58, 37, 62, 70, 53, 65, 72, -1, 67, 79, 84, 41, 46, 58, 53, 41, 53, 44, 57, 65, 60, 70, 65, -1, 72, 84, 79, 48, 41, 53, 58, 46, 51, 39, 64, 72, 55, 65, 61, 70, 65, 77, 84, 43, 48, 60, 53, 41, 58, 46, 59, 67, 62, 72, 68, 63, 70, 82, 77, 48, 43, 55, 60, 48, 53, 41, 66, 74, 57, 67, 63, 70, 63, 75, 82, 41, 48, 60, 55, 43, 60, 48, 61, 69, 64, 74, 68, 65, 70, 82, 75, 46, 41, 53, 60, 48, 55, 43, 68, 76, 59, 69, 63, 61, 63, 77, 82, 39, 46, 58, 53, 41, 60, 48, 63, 71, 66, 76, 68, 66, 68, 82, 86, 46, 39, 51, 58, 46, 53, 41, 70, 76, 61, 71, 61, 70, 61, 75, 79, 41, 46, 58, 51, 39, 58, 46, 65, 80, 57, 78, 66, 63, 68, 80, 84, 45, 41, 53, 58, 46, 51, 39, 70, 75, 64, 71, 59, 68, 61, 75, 77, 52, 48, 60, 53, 41, 58, 46, 63, 82, 59, 78, 64, 61, 66, 80, 82, 48, 43, 55, 60, 48, 53, 41, 70, 75, 66, 73, 59, 66, 59, 73, 75, 41, 48, 60, 55, 43, 60, 48, 65, 82, 61, 80, 66, 62, 66, 78, 80, 46, 41, 53, 60, 48, 55, 43, 72, 77, 68, 75, 61, 55, 59, 71, 73, 39, 46, 58, 53, 41, 60, 48, 67, 84, 63, 82, 68, 60, 64, 76, 78, 44, 39, 51, 58, 46, 53, 41, 72, 79, 70, 77, 63, 53, 60, 69, 71, 37, 44, 56, 51, 39, 58, 46, 65, 84, 65, 84, 70, 58, 53, 74, 76, 42, 37, 49, 56, 44, 51, 39, 70, 77, 72, 77, 65, 53, 58, 67, 69, 35, 42, 54, 49, 37, 56, 44, 63, 82, 65, 84, 72, 55, 53, 72, 74, 40, 35, 47, 54, 42, 49, 37, 68, 75, 70, 77, 65, 60, -1, 68, 67, 33, 40, 52, 47, 35, 54, 42, 61, 80, 63, 82, 70, 53, -1, 63, 72, 40, 33, 45, 52, 40, 47, 35, 66, 73, 68, 75, 63, 58, -1, 70, 65, 35, 38, 52, 45, 33, 52, 40, 59, 78, 61, 80, 68, 51, -1, 68, 70, 42, -1, 45, 49, 40, 45, 33, 64, 71, 66, 73, 61, 56, -1, 63, -1, 37, -1, 52, 54, 35, 52, 40, 57, 76, 59, 78, 66, 49, -1, 68, -1, 44, -1, 47, -1, 39, 47, 35, 64, 69, 64, 71, 59, 54, -1, 61, -1, 46, 42, 54, -1, 44, 54, 42, 59, 76, 57, 76, 64, 47, -1, 66, -1, 39, 37, 49, 56, 37, 49, 37, 66, 71, 64, 69, 57, 52, -1, 59, -1, 44, -1, 56, 49, 44, 56, 35, 61, 78, 59, 76, 64, 45, -1, 64, -1, 37, -1, 58, 56, 37, 49, 42, 66, 82, 66, 71, 59, 52, -1, 57, -1, 42, -1, 51, -1, 44, 56, 37, 61, 75, 61, 78, 66, 47, -1, 64, -1, 35, -1, 56, -1, 39, 51, 44, 68, 80, 68, 73, 61, 54, -1, 59, -1, 40, -1, 49, -1, 44, 56, 39, 63, 78, 70, 80, 68, 49, -1, 66, -1, 35, -1, 54, -1, 37, 49, 44, 68, 73, 63, 84, 63, 56, -1, 61, -1, 42, -1, 47, -1, 42, 54, 37, 61, 80, 68, 77, 70, 51, -1, 68, -1, 37, -1, 54, -1, [37], 49, 42, 66, 73, 61, 80, 63, 75, 58, 63, -1, 80, 44, 51, -1, 44, 56, 37, 61, 78, 66, 73, 66, 49, -1, 68, -1, 39, -1, 58, -1, 39, 51, 44, 68]
B.「虹機械 公案-001」
入力長=8、隠れ層ノード数=128, Epoch数=5000, loss=0.2748
再現実験：[61, 53, 68, 61, 73, 66, 90, 71]⇒系列長=640まで
[61, 53, 68, 61, 73, 66, 90, 71, 59, 76, 52, 59, 71, 76, 68, 63, 68, 58, 63, 68, 80, 61, 85, 78, 66, 71, 47, 64, 76, 71, 61, 68, 63, 51, 67, 63, 75, 68, 92, 73, 61, 78, 54, 59, 71, 76, 66, 61, 68, 56, 72, 70, 82, 63, 87, 80, 68, 73, 49, 66, 78, 71, 59, 66, 61, 49, 65, 74, 77, 70, 94, 75, 63, 80, 56, 61, 73, 78, 66, 59, 66, 54, 70, 69, 84, 65, 89, 82, 70, 75, 51, 68, 80, 73, 61, 69, 59, 47, 63, 74, 79, 72, 96, 77, 65, 82, 58, 63, 75, 80, 68, 76, 55, 52, 68, 67, 84, 67, 91, 84, 72, 77, 53, 70, 82, 75, 63, 71, 60, 45, 63, 72, 77, 72, 96, 79, 67, 84, 60, 65, 77, 82, 70, 78, 55, 50, 68, -1, 82, 65, 89, 84, 72, 79, 55, 72, 84, 77, 65, 73, 62, 45, 63, -1, 75, 70, 94, 77, 65, 84, 60, 67, 79, 84, 72, 80, 57, 52, 59, 68, 73, 63, 87, 82, 70, 77, 53, 72, 84, 79, 67, 75, 64, 47, 64, 61, 78, 68, 92, 75, 63, 82, 58, 65, 77, 84, 69, 82, 59, 54, 59, 66, 71, 61, 85, 80, 68, 75, 51, 70, 82, 77, 74, 77, 66, 49, 66, 59, 78, 66, 90, 73, 61, 80, 56, 63, 75, 82, 67, 84, 61, 56, 61, 66, 71, 59, 92, 78, 66, 73, 49, 68, 80, 75, 72, 77, 68, 51, 68, 61, 78, 66, 85, 73, 61, 78, 54, 61, 73, 80, 65, 82, 63, 58, 63, 68, 73, 61, 90, 78, 59, 73, 49, 66, 78, 73, 70, 75, 70, 51, 70, 63, 80, 68, 85, 73, 66, 78, 54, 61, 73, 78, 63, 80, 63, 58, 63, 70, 75, 63, 92, 80, 61, 73, 56, 66, 78, 73, 68, 73, 68, 51, 70, 63, 82, 70, 87, 75, 68, 80, 49, 61, 73, 78, 61, 80, 61, 56, 63, 70, 75, 63, 94, 82, 63, 75, 56, 68, 71, 73, 66, 73, 68, 49, 68, 63, 82, 70, 87, 75, 70, 82, 51, 63, 78, -1, 70, 78, 61, 56, 61, 68, 75, 63, 94, 82, 63, 75, 58, 70, 73, -1, 63, 73, 68, 49, 68, 61, 80, 68, 87, 75, 70, 82, 51, 63, 80, -1, 70, 80, 64, 56, 61, 68, 73, 61, 92, 80, 63, 75, 58, 70, 75, -1, 70, 78, 59, 49, 66, 61, 80, 68, 85, 73, 68, 80, 51, 63, 82, -1, 63, 73, 66, 54, 70, 66, 73, 61, 92, 80, 61, 73, 56, 68, 75, -1, 70, 80, 61, 49, 63, 61, 80, 66, 85, 73, 68, 80, 49, 61, 80, -1, 63, 75, 68, 56, 68, -1, 76, 61, 81, 78, 61, 73, 56, 68, 73, -1, 68, 80, 63, 51, 70, 66, 71, 66, 88, 71, 66, 78, 49, 61, 80, -1, 61, 73, 68, 56, 63, 61, 78, 59, 83, 67, 59, 71, 54, 66, 73, -1, 68, 80, 61, 49, 68, -1, 73, 66, 90, 74, 64, 76, 47, 59, 78, -1, 61, 73, 68, 56, 61, -1, 80, 61, 85, 69, 60, 69, 52, 64, 71, -1, 66, 78, 61, 49, [66], -1, 71, 64, 76, 69, 57, 74, 45, 57, 76, -1, 71, -1, 78, 54, 71, 59, 76, 57, 69, 76, 64, 69, -1, 62, 69, -1, 76, -1, 71, 47, 78, 66, 71, 64, 76, 69, 57, 76, -1, 57, 74, -1, 69, -1, 76, 52, 71, 59, 78, 59, 71, 76, 64, 69, -1, -1, -1, -1, 78, -1, 69, 90, 106, 99, -1, 104, 101, 63, 104, 92, 97, -1, 102, -1, 85, -1, 80, 92, 99, 104, -1, 99, 104, 68, 99, 87, 104, -1, 97, -1, 90, -1, 75, 85, 104, 99, -1, 104, 99, 61]
（2024.10.30 公開, 31 追加実験結果を追記, 2025.3.5 編集の上noteにて公開）