AWS:Amazon Sagemakerについて

みなさん、こんばんは。ちゃみみです。

MLSライセンスの取得に向けて今勉強中ですが、特にこの領域でポイントになるのがSagemakerと機械学習とは？みたいなのが重要とのことでまたBlackbeltをサマって行きたいと思います。

Sagemakerって、何？ってところからですが、機械学習をする上でよくある問題なんかを素早くプロセスを回せるようにするためのサービスだそうです。
機械学習(以下ML)のインフラ構築・運用を自動化するだけでなく、他の機能も提供しているそうな。

◆コンポーネント
・ラベリング：画像や文章などに対して効率的にラベル付けを行えるようにする

・開発環境：学習コードの記述やデータ加工整形を行うための環境としてJupyter NotebookやMLライブラリ群がインストール済みのインスタンスを提供してくれる

・学習：APIをたたくと学習用インスタンスが起動し、学習ジョブを実行、複数ジョブの並行同時実行、複数インスタンスでの学習、ハイパーパラメータチューニングも可能

・モデル変換：学習済みモデルに対して、実行環境に最適化された形でのモデル変換機能を提供

・推論：指定したモデルを読み込んで大量データをバッチで推論する処理などをサポート


◆コンポーネント詳細
●開発：
→ノートブック上で前処理やプロトタイピング
幅広いインスタンスタイプを選択することができ、主にt2~p3まで可能。EC2インスタンス上でSagemakerを動かすことになるが、管理はEC2インスタンスではなくあくまでSagemaker側で管理する形となるため、そこは注意が必要。

→gitインテグレーション
Sagemakerにgitリポジトリを登録することが可能でノートブック起動時に登録済みのリポジトリをアタッチしておくことで最初から利用可能となる。

→ライフサイクル設定
インスタンス起動時と開始時のセットアップ(ノートブックで利用する設定やソフトのインストールなど)を自動で行える。
※EC2のブートストラップにあるユーザーデータ設定とは異なるためここも注意が必要

●学習：
→分散学習、複数ジョブの同時実行が行える。
インターネット環境に無いオフライン環境下でもコンテナをノートブックインスタンスにpullしてくることでローカルテストすることが可能。
事前にnvdia-dockerなどをインストールしておく必要があることは注意。

●推論：
→オートスケーリングでは、バリアント(エンドポイントにデプロイするモデル)ごとにオートスケールの設定が可能なので細かく管理ができる。
ターゲットのメトリクスは、1インスタンスの平均リクエスト数/minとカスタムメトリクスが対象
ちなみにA/Bテストも可能。
推論パイプラインという一連の処理(前処理用のコンテナ、分類用のコンテナ、後処理用のコンテナといった形で処理をSagemaker内に記述することが可能)を組むことができる
【Elastic Inferece】の存在～～
→CPUのみのEC2インスタンスにGPUでMLの推論を行うためのアクセラレータをつけることができる機能で簡単に言えばコスト削減も見込めたり、処理スピードを上げたりすることができる機能である



試験では、ビルトインアルゴリズムが問われるケースもあるようで一覧をまとめておく
★Linear Learner
Factorization Machines
★XGBoost
Image Classicfication
★seq2seq
★k-means
k-NN
★object2Vec
Semantic Segmentation
★PCA
★LDA
★Neural Topic Model
★DeepAR Forecasting
★Blazing Text(word2vec)
★Random Cut Forest
Object Detection
IP Insights

分類としてはこんな感じ～

Elatic Inferenceと勘違いしやすかったのが、このNeoです。今でもそこまで違いがよくわからんとです汗

2021年12月13日

以下、宣伝です。
仲間も募集中なので、気になる方は↓の記事を覗いてみてくださいませ。
いい会社だと思いますよ。