PySpark 気象分析

Apache Spark は、ビッグ データの処理と分析のための一般的な分散コンピューティング フレームワークです。このチュートリアルでは、Spark の Python 固有のインターフェイスである PySpark を実際に使用します。前のチュートリアルで得た概念的な知識に基づいて構築しました: Apache Spark を使用したビッグデータ分析の紹介。このチュートリアルでは、Apache Spark とその分散アーキテクチャの背後にある基本的な概念について学びました。
PySpark ライブラリは、機械学習用の Apache Spark API や、SQL、DataFrame、ストリーミング、Spark Core、MLlib などのその他のクールな機能へのアクセスを提供します。これらの機能のいくつかは、チューリッヒの測候所によって収集された履歴データセットを準備および分析するのに役立ちます。ローカル コンピューティング環境でデータを変換およびクエリするための重要な PySpark 関数の概要を理解できます。