OSS全文検索システムFESSを使ってみる

本

基本的に自分の作業振り返り用ですが、Windows環境で全文検索システムを構築したい人の参考になれば幸いです。

運営しているクリエイター: Umino Shahi

全文検索サーバFessを導入後1年経ちました

1年経った現在昨年8月くらいに記事にして本番運用が9月から。ちょうど1年ほど経過したところですが、なんとか無事に運用できています。ユーザーの満足度も高いようです。使ってみた感想や運用面の変化について少しだけ書き起こしておきます。思惑と実際物理、仮想の環境については過去記事に詳しくあります。ネットワーク環境当時はネットワークのパフォーマンス向上を目的に、クローリングに使用するLANポートを外部ではなく、プライベートへ設定。つまり物理サーバ内で完結した仮想的な

全文検索Fessをバージョンアップしてみた

久しぶりのFessネタ。 4月に入りFessの14.13がリリースされていることを発見。これまで14.9を動かしていたわけですが、連休を前にバージョンアップを実施することにしました。劇的には変わらなくても新しいもののほうが良いはず！ではとりかかりましょう。アップグレード公式にアップグレードの手順があります。しかし、今回は連休前。インデックスを再構築する時間はたっぷりとあるため、データの移行は行わないことに決定。設定完コピの新環境を立ち上げることにします。

全文検索FESS いきなり繋がらなくなったんだが？

しばらくの間、クロール時間の実績を確認するために毎朝管理画面を開いていたわけですが、突然の音信不通に。サーバで、ターミナルを確認しようと思ったらFESSもopenseachも、動いていないご様子。ターミナルを開いて起動を試みる。 Javaが見つからないとかなんとか… 環境設定でpathを確認するとちゃんと通ってる。 Javaのフォルダを開いて原因が発覚。 java.exeが、いなくなってるよね。マイクロソフトのDEFENDERさんに怪しいファイル認定されて隔離

全文検索FESS クロールスケジューリング

前回までの設定で概ね本番稼働に向けての設定は進んで来たので運用面の調整を進めていきます。本番稼働では日中は検索にパフォーマンスを集中して欲しいため、クロールは夜間に終わらせてしまいたいところ。今回はクロールのグループを５つにわけて、曜日別にクロールを実施。ファイル数を均等にクロールできるよう、フォルダ内のファイル数を調査してみたいと思います。約２００万ファイルを想定してこれを５つのグループに均等に割り当てるので１グループ４０万ファイル以下にするのが理想的。私

全文検索FESSのチューニング

最初にチューニングとか偉そうなことを書いてはいるものの、私は全然中身を熟知していないし、トライアンドエラーでなんとか動かしているくらいのレベル感なのでそんなに大したものではありません。こればかりは環境にもよるのであくまでもここでこんな設定ができるくらいの参考として書き残しておくものです。 Opensearchのメモリ確保私の環境ではデフォルト設定でクロールを進めていると50万ファイルくらいを超えたところでFESSとOpensearchが接続できなくなってしまいま

全文検索システムにAD権限を使ったクロール設定をする方法

前回までの設定でADユーザがログインできるようになりました。今回はユーザが属するグループを使った権限を付与してクロールしていきます。事前準備まずは権限を付与したいADのグループの情報が必要です。 ADユーザグループの情報が公開されていればそれを利用すればいいのですが、公開されていない場合はnetコマンドを使って調べることができます。コマンドプロンプトで、net user ユーザ名 /domain で自分の所属するグループを見ることができます。 c:\umino

全文検索システムFESSにADユーザを設定する

ユーザ管理設定まずはユーザ管理をどうするかから考えていきます。なぜなら、ユーザ、グループ、ロールが変更になるとクロールやラベルの設定がやりなおしになってしまうから。ユーザ運用について FESSで登録したユーザ、グループで運用するのか AD（Active Directory)などWindowsの権限を利用するのか、後先考えずにスタートすると振り出しに戻ることになるので慎重に検討しましょう。今回はADのユーザグループを使った設定をしていきます。 ADのユーザ管理を行

全文検索システムFESS本番環境インストール編

FESSのインストールお試し環境構築では、FESS内蔵のElasticSearchにデータを収集していました。本家の説明を見る限り、本番環境ではOpenSearchを別途用意して接続することが望ましいようです。お試し環境で構築したFESSはまっさらにして、改めて導入していきます。・OpenJDK：　　　　　　お試し環境を構築した人は導入済み。・FESS：　　　　　　お試し環境のインデックス等のゴミが残らないように今回は改めてZIPファイルをフォルダに展開。・

全文検索システムの本番環境について考える

背景オープンソースの全文検索システムFESSを触ってみたところ思いのほか簡単かつ、高機能だと思ったので、本番環境への導入を考えていきます。以前はWindows Search Server Expressを使っていましたが、サーバ更新のタイミングで使えなくなることが課題でした。エクスプローラーのファイル検索機能だけにすると利便性が下がるため、代替のシステムを探していたところ、ちょうど面白そうなものが見つかったというわけです。 FESS導入のポイント・何よりも導入費用

全文検索システムFESSのお試し環境構築

やったことお試し導入したFessはまだ空っぽの状態なので、検索サイトとして使うためにはいくつかの設定が必要です。 FessはWEB検索やファイル検索、データソースの検索に対応しています。今回は自宅用PCのファイルが検索できるよう、ファイルシステムの設定を進めて行きます。クロール設定ファイルを検索対象とするためにはまずクロールという作業が必要となります。クロールはファイル内にどんなキーワードが含まれているかを収集します。収集したキーワードをインデックスに登録する

全文検索システムFESSを試してみた

💻全文検索欲しくない？検索システムの魅力　現代人には想像できないかもしれないが、昔はインターネットと言えばURLを手入力して、目的のサイトを開いていたものです。その後YAHOOなどディレクトリ型の検索サイトが登場し、見たい分野に登録されているサイトを選択、検索すれば見れるようになり、今となってはGOOGLEの登場でキーワードさえ入れれば目的のページがずらりと並ぶようになりました。なんなら、なんと検索すればいいものか自分ではわからなくてもスマホで撮影すれば似たような