「生成AI」とWindowsが管理できるファイル数の限界について

この間、適当な「フォルダ」を開いた所、フリーズしてしまったので、「タスクマネージャー」を開くと、見慣れない
・[ニュースと関心事項(Microsoft Edge WebView2)(msedgewebview2.exe)]
・[検索(Windows Search)]
という項目が、やたらにメモリを「100MB」以上も使っている上に、普段ほとんど動いていない「GPUエンジン」使用率まで上がっている。
通常、自分のパソコンでは、何もしていない時に、メモリを「100MB」以上も使っているのは、「Antimalware Service Executable」だけなので、どうもこれが原因っぽい。

それで、「Windows Search」のトラブルで調べていくと、マイクロソフトのトラブルシューティングに、「Windows Search のパフォーマンスのトラブルシューティング」という次のホームページに説明が書いてあって、
・「生成AI」とWindowsが管理できるファイル数の限界について
という深刻な問題が、「生成AI」使いの人達には、将来の未来では発生してくるようです。

((*注意)今回の記事については「知る」だけにして、「いじる」はやらない方がいいです。慎重に判断しないと、「パソコンが修復不可能な状態で止まる」、「バックアップ用のHDDにアクセスできなくなる」などの極めて深刻なトラブルが発生する可能性が高い)

(先に知っておくべき事)
「Windows」というOSは、そもそも中身のベースが、「MS-DOS」という「ファイル管理システム」がベースで動いています。
ネット検索すると、ハッカーの記事では、「ファイル管理システム」をいじれば、いろいろとできる幅が広がるような事が書いてあるのですが、
・「ファイル管理システム」という「Windows」を動かしているベースの部分をいじると、「パソコンが修復不可能な状態で止まる」、「バックアップ用のHDDにアクセスできなくなる」などの極めて深刻なトラブルが発生する可能性が高いです。
安易に、ここら辺は、いじらない方が無難なので、それ以外の所で対処するしかないようです。

基本的には、「現在のWindows OS は、NTFS でないと動かない」ので、ここを変更しない方が無難です。
ちょっと前までのもの凄く古い「Windows 98」以前とかは、「FAT32(2TB制限)」というのが使われていたので、「その当時のOSで決まっている標準規格」以外への変更をすると、「ファイル自体にアクセスできなくなる」可能性が高いので、まずは、そこら辺を知っておく必要があります。
現在、「exFAT」という「フォーマット形式」があるにはあるのですが、これをやると、Windowsは、「ファイル自体にアクセスできなくなる」可能性が高いので、まずは、これ以外の手法でできる事を考える必要があります。

(現在、自分のパソコンで起きている問題)
パソコンは、ファイルに、「インデックス」というのを付けていて、ファイル検索する時に使っています。
自分のパソコンの「インデックス数」の確認は、次の箇所でできる。

Windowsの[設定]-[検索]-[Windows検索]に、「インデックス付けされた項目」数が書かれている(2024/9/26現在で、「487721」)

この数が桁違いに多すぎると、パソコンの動作に支障をきたす。(今回の自分の場合は、適当な「フォルダ」を開いただけで、フリーズした)

詳しい説明は、マイクロソフトの次の「トラブルシューティング」に書いてある。

(Windows Search のパフォーマンスのトラブルシューティング)
https://learn.microsoft.com/ja-jp/troubleshoot/windows-client/shell-experience/windows-search-performance-issues

『インデクサーのパフォーマンスを調整する
インデックス作成のパフォーマンスに影響を与える主な要因は、インデックスが作成されたアイテムの数とインデックスの全体的なサイズです。 これらの要因は関連していますが、個別のものです。

(インデックスが作成されたアイテムの数)
一般的なユーザーのコンピューターでは、インデクサーがインデックスを作成するアイテム数は 30,000 個未満です。 パワー ユーザーのコンピューターでは、インデクサーがインデックスを作成するアイテム数は最大 300,000 個になるかもしれません。 インデクサーが 400,000 個を超えるアイテムにインデックスを付けると、パフォーマンスの問題が発生し始める可能性があります。 詳細については、「インデックス データベースのサイズ」を参照してください。

インデクサーは、最大 100 万個のアイテムにインデックスを作成できます。 インデクサーがその制限を超えてインデックスを作成しようとすると、失敗したり、コンピューター上のリソースの問題 (CPU、メモリ、ディスク領域の使用率が高いなど) が発生したりする可能性があります。

(注意)
既定では、インデクサーはコンピューター上のすべての Outlook メールボックスにインデックスを付けます。 メールボックスに 600 万を超えるアイテムが含まれている場合、インデクサーのパフォーマンスが低下する可能性があります。 詳細については、「Outlook 設定の変更」セクションを参照してください。

インデックス付き項目の数は、次のように確認できます。

Windows 11: Settings>Privacy & security>Searching Windows を選択し、 Indexed の値を確認します。

Windows 10: Settings>Search>Searching Windows を選択し、 Indexed Items の値を確認します。

(インデックス データベースのサイズ)
インデックス付きアイテムの数が 400,000 を超えるにつれて、インデックス データベースはアイテムのサイズに関係なく大幅に増加します。 アイテムのサイズも、データベース サイズに影響します。 大きなファイルをいくつか含むデータベースや、小さなファイルを多数含むデータベースは、パフォーマンスに影響を与える可能性があります。 両方の要因が合わさって、問題を複雑化する可能性があります。 インデクサーは、インデックス データの圧縮を試みます。 ただし、インデックス データベースが大きくなると、この方法の効果は低下します。』

(「生成AI」を本格的に使っている人は、将来的には、この同じ問題が発生する可能性がある)

「生成AI」を本格的に使っている人は、現在、「生成AI」を使って作成した大量の画像ファイルが、今までのパソコン使用の時代とは比較にならない速度で、「ファイル数が日に日に莫大な数に増えている」段階です。

自分のように、
・「インデックス付きアイテムの数が 400,000 を超えた」場合、自分に起きたのが、適当な「フォルダ」(その「フォルダ」に画像が、400,000も入っているわけではなくて、「パソコンで管理できる、ファイルのインデックス数」が、トータルで、「487721」個になっていただけ)を開いただけで、フリーズした。

この問題は、どうも、
・そもそも、Windowsのような家庭用パソコンは、「生成AI用のスーパーコンピューター」のような作りにはなっていないので、「ファイル管理システムで管理できる、ファイル数や、インデックス数に限界がある」という問題のようで、将来的に、未来の私達に起きてくる可能性のある問題のようです。

最後に、もう1度念を押して書くが、
・今回の記事は、「未来に起きてくるであろう問題を知る」だけに留めて、「今、いじる」と、「ファイル管理システム」問題なので、通常、

・「ファイル管理システム」という「Windows」を動かしているベースの部分をいじると、「パソコンが修復不可能な状態で止まる」、「バックアップ用のHDDにアクセスできなくなる」などの極めて深刻なトラブルが発生する可能性が高い。

ので、ネットのハッカーの記事を参考にいじらない方が無難です。
自分のように、「あれ？何で？フォルダを開いただけなのに、フリーズしてるのか？」とかのトラブルの原因がわからない場合に、

・「インデックス付きアイテムの数が 400,000 を超えた」場合に、パソコンのパフォーマンスが大幅に落ちる事がある。
という問題点を、「Windows」の「ファイル管理システム」は抱えているという事です。
「生成AI」をヘビーに使っている人達は、少し、この問題をどう解決したらいいのか？を考えておかないといけないという感じの話題なだけで、まだ解決方法がわかっておらず、「そもそも、Windowsの限界」の意味の話題なので、解決方法が無い可能性がある。

(わかっている問題点)
・「Microsoft Edge WebView2」や「Windows Search」の機能自体をアンインストールすると、「Outlook」などのメールアプリが動作しなくなる可能性がある。
・「フォーマット形式」を、「NTFS」以外に変更してしまうと、「Windowsが動作しなくなる」、「パソコンが修復不可能な状態で止まる」、「バックアップ用のHDDにアクセスできなくなる」などの極めて深刻なトラブルが発生する可能性が高い。

(安全な対処方法)
結構、やっかいな問題なので、まずは、「マイクロソフトの見解」を上の『Windows Search のパフォーマンスのトラブルシューティング』のホームページから抜き出して考えていくと、

＜マイクロソフトの見解＞
(1) Windowsの「ファイル管理システム」の限界

『インデクサーは、最大 100 万個のアイテムにインデックスを作成できます。 インデクサーがその制限を超えてインデックスを作成しようとすると、失敗したり、コンピューター上のリソースの問題 (CPU、メモリ、ディスク領域の使用率が高いなど) が発生したりする可能性があります。』

(2) Windowsの「ファイル管理システム」で、「動作不安定になる目安」

『インデックス付きアイテムの数が 400,000 を超えるにつれて、インデックス データベースはアイテムのサイズに関係なく大幅に増加します。 アイテムのサイズも、データベース サイズに影響します。 大きなファイルをいくつか含むデータベースや、小さなファイルを多数含むデータベースは、パフォーマンスに影響を与える可能性があります。 両方の要因が合わさって、問題を複雑化する可能性があります。 インデクサーは、インデックス データの圧縮を試みます。 ただし、インデックス データベースが大きくなると、この方法の効果は低下します。』

という感じの内容の箇所は、
・Windowsの「ファイル管理システム」の仕様の限界
という意味なので、要するに、ユーザーが安全に対処できるのは、
・「インデックス付きアイテムの数を 400,000 以内に減らす」事です。

(インデックス付きアイテムの数の減らし方)
Windowsの[設定]-[検索]-[Windows検索]の所に、「除外するフォルダーの追加」というボタンがあるので、「ファイル数が多めのフォルダーを、そこに登録する」と、上にある先程の「インデックス付けされた項目」数をカウントしている欄の下の行に、「今変更した内容で、インデックスを再び作り直している」状態が表示されるので、5分とか待つと、この処理が終わります。
これを繰り返して、
・「インデックス付きアイテムの数を 400,000 以内に減らす」
まで行うと、とりあえず、自分の環境では、フリーズせず普通に動作するように戻った。(自分の場合には、「487721」個から、「38229」まで減らしたら、普通に動作するように戻った)

現在できる「安全な対処方法」は、これ位のようです。

要するに、
・「インデックス付きアイテムの数を 400,000 以内に減らす」
という、ここのラインが、
・Windowsの「ファイル管理システム」の仕様の限界
のようで、この範囲内でしか、Windowsの扱えるファイルの数は安全に動作しないようです。

・「インデックス付きアイテムの数が、400,000～100 万個」の状態は、「パソコンが重くなったり、フリーズしやすくなったりするが、ギリギリ動作する」という範囲
で、
・「インデックス付きアイテムの数が、100 万個」の状態のWindowsは、もはや正常動作しない。
ようです。

古い国産パソコン(9801とか)時代の16bitゲーム時代の「65535」の限界とかの話と同じで、「インデックス付きアイテムの数を 400,000 以内」というのが、「Windowsの扱えるファイルの数の仕様限界なので、それ以下の範囲で使え」みたいな状態のようです。