ウェブクローラーのターボモードを実装した。

今日は朝、ウェブクローラーのアルゴリズムに特定のキーワードが含まれるサイトを発見すると、フェッチポーズ(ページ取得の際の一時的な待ち時間)を速くする、そして指定の回数を超えるとまた普通のフェッチポーズにするアルゴリズムを実装した。

思っていたよりも早く実装できたので嬉しい。

4/27/2022 18:15PM アップデート: 実際に動いている動画をアップロードしました。

加藤翼
株式会社インスパイアサーチ
CEO・サーチエンジニア