Fess は robots.txt でクローリングできなくなる

環境：
・VMware vSphere Hypervisor 7.0U3g（英語環境）
・Ubuntu Server 22.04.2

Fess でクローリングを実行してもうまくいかない自分のサイトがあった。

いろいろ研究してみたところ、どうやら robots.txt でクローリングを無効化する設定をしていることが原因だと分かった。

一時的に robots.txt のファイル名を変えて無効化したところ、クローリングがうまくいった。

Fess 側のウェブクロール設定で「設定パラメータ欄」に以下のように設定することで robots.txt を無視できるらしいが、この方法はなぜか反映されなかった。

client.robotsTxtEnabled=false

参考：
robots.txtとは？意味から設定方法まで詳しく解説｜アクセス解析ツール「AIアナリスト」ブログ
https://wacul-ai.com/blog/seo/internal-seo/seo-robots-txt/

robots.txtとは？意味やSEO効果、設定方法を徹底解説 | ウィルゲート
https://www.willgate.co.jp/promonista/robots-txt/

robots.txt の書き方、設定と送信 | Google 検索セントラル | ドキュメント | Google for Developers
https://developers.google.com/search/docs/crawling-indexing/robots/create-robots-txt?hl=ja

Fessでrobots.txtなどを参照する設定 | 今日のひとこと
https://www.chazine.com/archives/3983

クロール　【DVD解説付き】 (水泳レベルアップシリーズ)