考察ノート

今夜はインスパイアサーチで作っている、育てる検索で進化計算アルゴリズムとかparticle swarm optimizationなどを応用したウェブクローラーのアルゴリズムの研究をしています。

「粒子群最適化(Particle Swarm Optimization：PSO)法とは、 組み合わせ最適化問題の近似解を求める為のメタヒューリスティク スアルゴリズムの一つです。」https://www.msi.co.jp/s4/introduction/pso.htmlより引用
ウェブクローラーも並列に動かせば全体的に見れば群れなので、群れ同士が通信、コミュニケーションをする機能とかをお持たせれば、面白いかなと思っています。

個々と集団では異なる最適解を出すように、ウェブクローラー同士で「このサイトはこれに強いので、キーワードを抽出して再起的に幅優先アルゴリズムで動かして」とか互いにメッセージを送ったあったりするのが良いかもしれないと思いました。
2/5/2022更新:
関連文献をResearchGateで見つけました。
https://www.researchgate.net/profile/Promise-Nlerum/publication/325479315_A_Web-Based_Crawler_Using_Bee_Swarm_Intelligent_Algorithm/links/5b10893ea6fdcc4611d97a5d/A-Web-Based-Crawler-Using-Bee-Swarm-Intelligent-Algorithm.pdf
加藤翼
株式会社インスパイアサーチCEO