Sparkとは？

Sparkは、大規模なデータセット（ビッグデータ）向けに高速で柔軟な分析のために設計された、オープンソースのビッグデータ処理エンジンです。 2009年にカリフォルニア大学バークレー校のAMPLabで開発されたSparkは、2010年3月にオープンソース化され、2013年にApache Software Foundationに提出され、すぐにトップレベルのプロジェクトになりました。

ApacheSparkのユースケースは数多く存在しています。約10年間で、ビッグデータアーキテクチャの中核技術になりました。データを取り扱う組織が市場のニーズに適応するため、Sparkに関するチームの知識を拡大することが必要です。

Sparkが登場するまで、機械学習のプロジェクトは実質的にスケーラブルではなく、処理時間がかかりすぎました。 Sparkは複数の言語に対応しています。 大きな利点の2つは、そのスケーラビリティと処理速度です。 Scala、PySpark、R、SQLなどの複数の言語をサポートしています。 Sparkアプリケーションを最適化するための多くの構成パラメーターも提供しています。

Sparkは、単一のドライバーと複数のエグゼキューターで構成されています。 単一のエグゼキュータまたはアプリケーションを処理するために必要な数のエグゼキュータを持つように構成できます。 また、自動スケーリングをサポートしており、エグゼキュータの最小数と最大数を構成できます。

Apache Sparkの利点

ApacheSparkが提供するいくつかの利点は次のとおりです。

• 使いやすさ：Sparkを使用すると、ユーザーはJava、Scala、またはPythonでアプリケーションをすばやく作成し、Hadoopの分散環境を最大限に活用する並列アプリケーションを構築できます。

• 高速分散処理用に設計されています。Sparkのエンジンを使用すると、大量のデータをメモリ内またはバッチで迅速に処理できます。

• 複数の言語をサポート：Sparkを使用すると、ユーザーはSQL、Python、R、およびScalaを使用してコーディングできます。

• 強い信頼をおけるデータサイエンスエコシステムを提供します。Sparkを使用すると、機械学習や高度な分析のユースケースにカスタムパッケージまたはビルド済みパッケージを簡単に使用できます。

• さまざまなワークロードの処理が可能。Sparkを使用すると、ストリーミングを使用して、ほぼリアルタイムのデータ処理、バッチ処理、およびさまざまなデータソース間でのアドホッククエリの実行を行うことができます。

Sparkがオープンソース・コミュニティの中で大きな反響を呼んでいるのは間違いありません。ビッグデータ戦略を導入しようとしている企業は、Hadoop、Spark、あるいはその両方、どちらのソリューションがより適しているのか疑問に思っているようです。この疑問に答えるために、この2つのビッグデータフレームワークを比較してみました。

SparkはスケーラブルなオープンソースのHadoop実行エンジンで、複数のフォーマットを持つ大規模なデータセットを高速かつ柔軟に分析するために設計されています（「高速」という言葉を強調しています）。Hadoopと比較して、Sparkはメモリ上では100倍、ディスク上では複雑なアプリケーションでも10倍の速度でプログラムを実行します。

Hadoopは、オープンソースのソフトウェア、分散ファイルシステム（HDFS）、およびMapReduce実行エンジンを使用して、非常に大規模なデータセットをコモディティサーバーの分散クラスターに格納し、管理し、並列処理する並列データ処理プラットフォームです。しかし、Hadoopには大きな欠点があります。それは、SparkとHadoopを比較した場合、あまり高速に動作しないことです。というのも、マップやリダクションのジョブのほとんどは、完了までに数分から数時間以上もかかる長時間のバッチジョブだからです。その上、ビッグデータへの要求は高まっており、バッチワークロードはHadoop MapReduceフレームワークでは対応できないような、よりインタラクティブな作業に変わってきています。

ref

Apache Spark：ビッグデータ分析と機械学習の革命