電子書籍作成のお供にデータ収集プログラム
電子書籍に限った話ではありませんが、何らかの本を作る際にはデータ集めが欠かせません。
データ収集のお供に小規模プログラム
いまだとWeb上にいろいろ情報が掲載されていますが、そのまま利用すると問題があるのと、他のデータと組み合わせて「より詳しいデータ」に仕立て上げるのがふつうです。
複数のデータを突き合わせてみたら矛盾があった、といった「発見」があるかもしれません。そうした発見は新たな視点を与えてくれることでしょう。何にしても、実際に収集して確認してみるまでわからないことはたくさんあります。
そのために、ちょっとした使い捨てのプログラムを作ってデータ収集を行うことがよくあります。
先日アップデート版を出した電子書籍「戦場の絆 僕らの15年戦争」では、Webからのデータ収集のために何本かのAppleScriptのプログラムを組んで利用しています。
「元になっている作品/ゲームなど」という見開きのコラムページのために、バンダイが出してきたガンプラの各年の新製品数をグラフ化することを企画。ごくごく小さなグラフですが、ガンプラのすべての製品名や各種データを製品ページから取得する必要があります。
Webブラウザを操作してサイト上のデータを取り出すのは、普通に人間がWebブラウザを操作するのと見分けがつかないため、Webサーバ側からはガードしにくく、手っ取り早くデータ収集を行えます(汎用のWebクローラーもありそうですが……)。
そして、そのデータをそのまま掲載すると著作権的な問題もありますが、発売年ごとにグラフ化すれば、全体的な傾向もわかりますし、グラフの掲載についてはとやかく言われるものではありません。本当に実際に数えているわけですし(プログラムが)。
かくして、表とかグラフ1つあたりにWebデータ収集プログラムが活躍し、複数のデータを組み合わせて掲載しているのです。
▲各MSの搭乗回数を取得するクローラーAppleScriptの動作時の画面。ゲームセンターに出撃するたびに、MSの登場回数をかぞえて自分のMS搭乗ランキングを計算してSNSに掲載していた