troccoのフリープランができたらしいのでSnowflakeで試してみた。
分析屋の下滝です。
troccoのフリープランが最近出たようです。troccoとは、公式の説明よると次のようなツールとのことです。
trocco®は、ETL/データ転送・データマート生成・ジョブ管理・データガバナンスなどのデータエンジニアリング領域をカバーした、分析基盤構築・運用の支援SaaSです。あらゆるデータの連携・整備・運用を自動化し、スピーディーにデータ活用環境を整備。インサイトを得やすい状況に導きます。
分析屋でもお客さん先で使っている社員もいるそうです。今回フリープランが使えるようになったとの事なので試してみたいと思いました。。他のプランに関してはこちらから確認できます。
まだアカウントを作っていない人は作ってください。
今回は、snowflakeからsnowflakeでETL的なことをイメージするようなものを試してみようと思います。通常は、RDS -> Snowflake といった別のDBやデータソースからDWHへのETLなんかが多いと思います。
troccoは、初めて使うので何となく画面をみながら触ってみた感じを書いてみたいと思います。
まずは、snowflakeへの接続情報を作成します。
接続情報メニューから新規作成します。
DWHからsnowflakeを選びます。
接続情報を入力していきます。ホストやユーザー名、パスワード等です。
接続確認を押して、確認できたら保存します。
続いて転送設定から、データ転送する内容を定義していきます。新規作成しを押します。
snowflake 上のテーブルから snowflake 上のテーブルにデータを転送（挿入）する設定を作成していきます。
転送元と転送先にsnowflakeを選びます。
設定タイプを選びます。違いはわかりませんがそのまま続けます。
まずは転送設定の任意の名前を入力します。
次に転送元です。先ほど作成したsnowflakeの接続情報を選びます。ウェアハウス、データベース、スキーマを指定します。
転送元から取得するデータをselectで指定します。ここではproductというテーブルがすでに存在するとしています。
次に、転送先の設定です。同じようにウェアハウス、データベース、スキーマを指定します。転送先のテーブルも指定します。
ここでは、product_troccoというテーブルにデータを挿入します。
Insertを指定します。次のステップのボタンを押します。
プレビュー画面が出てきます。確認画面を押します。productテーブルのデータが表示されています。
次に進むと、転送設定内容の確認画面が出ます。保存しして次に進みます。
これで、転送設定が新たに作成されました。右上の実行ボタンを押します。
この画面になるので、実行します。
画面戦後、実行中のログが進行に応じて表示され、終われば実行完了となります。
snowflakeの画面で確認してみると、product_trocco というテーブルが新たに作られており、データも転送されていることがわかります。
ここまででデータ転送は終了です。
なお、実行された処理（転送ジョブ）はtroccoの画面上に記録されるようです。
他にも変更履歴のタブで変更内容も記録されるようです。
また、過去の転送ジョブの一覧は、別の画面で確認できるようです。
今回は以上です。
フリープランだとできることが限られますが、なんとなく便利な気もしました。
次回は、データマート作成の機能について試してみたいと思います。
株式会社分析屋について
ホームページはこちら。
noteでの会社紹介記事はこちら。
【データ分析で日本を豊かに】
分析屋はシステム分野・ライフサイエンス分野・マーケティング分野の知見を生かし、多種多様な分野の企業様のデータ分析のご支援をさせていただいております。 「あなたの問題解決をする」をモットーに、お客様の抱える課題にあわせた解析・分析手法を用いて、問題解決へのお手伝いをいたします！
【マーケティング】
マーケティング戦略上の目的に向けて、各種のデータ統合及び加工ならびにPDCAサイクル運用全般を支援や高度なデータ分析技術により複雑な課題解決に向けての分析サービスを提供いたします。
【システム】
アプリケーション開発やデータベース構築、WEBサイト構築、運用保守業務などお客様の問題やご要望に沿ってご支援いたします。
【ライフサイエンス】
機械学習や各種アルゴリズムなどの解析アルゴリズム開発サービスを提供いたします。過去には医療系のバイタルデータを扱った解析が主でしたが、今後はそれらで培った経験・技術を工業など他の分野の企業様の問題解決にも役立てていく方針です。
【SES】
SESサービスも行っております。