誤ってデータセット＆ETLを更新してしまった時【Domo buddies勉強会】
Domo（ドーモ）初心者の皆さん。誤ってExcelをDomoにアップロードしてしまった、もしくは見るだけのつもりで開けたETLを編集してうっかり保存してしまった、元に戻したい！なんて思ったことはありませんか。おそらくDomoユーザーであれば誰もが一度は経験したことがあるのではないでしょうか。
先日開催されたDomo buddies勉強会（コミュニティ主催による月次勉強会イベント）で、Domo buddies 太田さんが「Domo歴1年を振り返ってやっちゃった失敗とそのリカバリー方法」と題して初心者のありがちな失敗をお話しいただきました。本ブログでは、そのセッション内でご紹介のあった、【入力データセットに間違えてアップロード】と【ETL間違えて上書きしてしまった】際のエピソードとリカバリー方法をまとめました。
実体験を踏まえてお話をしてくださった太田さんのプレゼンのニュアンスをそのまま伝えたく、勉強会の内容の一部分を抜粋してドーモのコミュニティマネージャーの西尾がお届けします。
1．登壇してくれたbuddies：太田 元無さん
こんにちは、株式会社日立物流の太田と申します。以前はSCM系のエンジニアをしておりましたが2021年に現在の日立物流に中途入社しました。弊社では倉庫現場での出荷入荷や在庫のデータ分析や可視化にDomoを活用しています。
私自身は現在、Domoを使って物流センター内の資産や設備の情報の統合可視化プロジェクトに従事しています。とはいえ入社前はDomoという会社も製品も一切知らず、そもそもBIツール全般から疎いところからスタートしました。今ではカードやETLの作成、最近ではCustomAppの作成に至ります。
まだまだこれからではありますが、本日はこの一年で学んだ話を発表したいと思います。
2．入力データセットに間違えたファイルをアップロードしてしまった
とある業務において、月別のExcelファイルを処理するETLがありました。毎月、ExcelをDomoにアップロードし、入力データセットに該当月分のデータを追加します。次にその入力データセットを用いて手動でMagic ETLを実行し出力のデータセットを作成する、という運用です。
2.1．Magic ETL実行前に気づけたケース
ここである日、本来は12月のExcelをアップロードすべきところを、誤って11月のExcelをアップロードしてしまいました。すでに11月のExcelはアップロードして取り込まれていたので、重複して11月分のデータができてしまったということです。この時はMagic ETLの実行前に気づくことができました。
このケースのリカバリ方法がこちらです。まず、入力データセットのページに行き、「履歴」というタブをクリックします。ここでは該当のデータセットがどのように更新されていったかを確認できます。ログとなる結果の部分にマウスのカーソルを重ねると、メニューがダイアログで出てきます。戻したい時点のログの行で「この点まで戻す」を選択するか、誤った操作をしたログの行で「このアップデートを削除」を選択すると過去の状態に復元できます。
今回のケースのようにETLの実行前であれば、単純に履歴からデータセットを戻すだけでアップロードする前の状態に戻せます。
2.2．Magic ETL実行前に気づけなかったケース
続いて、二つ目のケースです。なんとさきほどのアップロードの間違いを愚かにも私はこの時もう一度してしまったんです（苦笑）。しかも今度はMagic ETLを実行をした後に気が付きました。さきほどと違う点は、ETLが実行されているため入力された情報が不正のままの状態で出力データセットが作られてしまったというところです。
この時はどう対処したかというと、先述のケースのリカバリー方法と全く同じですが、履歴のページより入力データセットをもとの状態に復元し、再度ETLを実行しました。
ただこの手法が有効だったのは、このETLのデータセットの出力方法が全置換であったため、単純にこの部分を再実行してあげれば元の状態に戻りますよと言う状態でした。ここが不幸中の幸いというところでした。もし方式が異なっていたらちょっと難しい結果となっていたかとと思います。
このように、Domoのデータセットの履歴機能は非常に有効だと感じました。
3．Magic ETLを間違えて上書きしてしまった
さて続いては、Magic ETLを間違えて上書きしてしまった際のエピソードです。間違って正しい部分を書き換えてしまったとき、もしくは誤った内容で更新してしまうなどです。確かに手動ですべての変更箇所を訂正すればよいのですが、どこをどう修正したのか覚えていないのが大半ですし、修正自体を間違えてしまうという懸念もなくはありません。
そこで、私の場合はETLのバージョン機能を使って上書き前の状態に復元しました。まずは該当のDataFlowのページに飛び、「バージョン」というタブをクリックします。ETLを上書き保存したタイミングによって、版が積まれていくので、カーソルをバージョンの各行に重ねると、「これを現在のバージョンにする」というダイアログが表示されます。こちらを選択すると、選択した行の状態にETLが戻るということが実装されています。
※参考「DataFlow のバージョン履歴を閲覧する」
https://domo-support.domo.com/s/article/360042923074?language=ja
4．まとめ
入力データセットとMagic ETLに関しては、間違った処理をしてもDomoの機能で簡単に復元できることが多いのですが、出力データセットに関しては入力データセットとMagic ETLの両方を復元しながら正しい状態に戻すという処理が必要があります。
したがって、間違いに気付くタイミングとしてMagic ETLを実行する前であるということはかなり重要だと、これらの失敗から学びました。
今回の私のセッションは【初心者枠】ということでお時間を頂いており、ベテランユーザーの皆様にとっては少々易しい内容であったかもしれません。ただこのようなあるあるネタはユーザーであればどこかで心当たりが合ったり、社内でも盛り上がっている内容です。初心者にとってはとくに有益ですので、皆さんもぜひ同じようなエピソードがありましたら共有していただけるとありがたいです。
以上、ありがとうございました。
※最後に
ドーモのコミュニティマネージャー西尾です。この話をきいて多くの方が、あぁ、最初のころはうっかりやってしまうと感じたのではないでしょうか。
ユーザーさんと話していて思うことに、皆さん同じような課題にぶつかり、悩み、躓いています。コミュニティマネージャーとしては、ぜひ皆でその悩みを共有して共に成長していきたいと考えています。
Domo buddiesでは毎月勉強会を開催しています。ユーザーさんの生の声をリアルタイムで話を聞いてみませんか？
Domoのコミュニティでは毎月本ブログでご紹介したような
Domoの使い方や事例の勉強会を開催しています。
▼今後のイベントはこちらから（Domoユーザー限定）▼
https://domobuddies.doorkeeper.jp/events/upcoming