Hadoopとは？HiveとPrestoのそれぞれの使用感を纏めてみた

毎日１トランザクションで数GB～数百GBを扱っているので、基盤のアーキテクチャについて勉強したいと思います。

Hadoop(ハドゥープ)

ビッグデータを「分散処理」するための「フレームワーク」です。

そして、Hadoopなどのフレームワーク上で動作する
分散型SQLクエリエンジンとして注目を集めている 「Hive」 と 「Presto」

「Hive」 と 「Presto」のそれぞれの特性は以下です。
個人的な使用感で、ざっくりと紹介

Hive（ハイブ）

メモリ不足エラーになりにくい
Prestoより遅い
Prestoより処理が安定しているように思える

Presto（プレスト）

メモリ不足エラーになりやすい
Hiveより早い
Hiveより処理が不安定に感じる