day8 データの収集・データパイプライン【SUNABACO AI2nd】

スイムレーン図の作成のワークをskipしてしまっています。手を動かす時間を確保しないといけませんね。

振り返り

IoT

各種センサーおよび周辺機器が安くなっているので、デジタル世界からでなく、リアル世界からデータを持ってこれるようになっている

スイムレーン図

後述の内容を踏まえて、意思決定＋情報の両方の流れを示して作図する必要がある
ブラウザ上の作図ツールとしてdiagram.netsがあります
インタビューのやり方はSUNABACO式ユーザビリティエンジニアリングを参照

データ収集

データドリブンとは（振り返り部分から）

（データ分析/統計/AIを使うとは）分析をすることではなく、

• ビジネス上のボトルネックに対して、

• どんな業務の誰と誰の意思決定がからんでいるかをときほぐし、

• どこの意思決定をどのように改善(正確性/迅速性)すればよいのかを明らかにし、

• そこに対して人間が何を見て判断しているかをみつけ、

• その数値を入力・処理してヒトの意思決定を改善する

Fact

Factに基づいて意思決定をするのがEBPM
逆に、データを収集する際には、意思決定に必要なFactを集める、という姿勢が必要

目的をもってデータ収集をする

課題は何かを明確にする
その課題と関連性が高いデータは何かを考える
そのデータを持っている人はだれかを考える
　>>スイムレーン図のレーンから見つけやすい
データを提供してもらう

どこにどんなデータがあるのか

業務に関するデータ：スイムレーンから探す
バックオフィスに関するデータ：勤怠管理システムなど
マクロに関するデータ：気象庁、e-Statなど

データ管理方法を知る

データパイプライン

ヒトが見やすい資料と、PCが処理しやすい資料は違うよ

ETL処理

サイロ化している(PCで処理しにくい、場所も様々)資料を、
自動で
抽出(Extract)
変換(Transform)
書き出し(Load)

AI倫理

• プライバシーの侵害 >> edge AIで解決できるか？

• 公平性の欠如　

• 不透明性

• 責任の所在

公平性の欠如は、ナラティブの欠如であり、ヒトが補う必要があるのか

グスクの感想

コメント拾い・その他

「組織の中で無駄が多いのは日々感じてるけど、改善を進められる立場にないんですよね」という受講者のコメントに対して
部下の立場からFactで対抗した例としてアデリアレトロが紹介されました

ただ、アデリアレトロでは、Factを元にヴィレヴァンに卸せることを確認して自社組織を動かした話なので、どっちかというと"「いきなり売上5000万円」のスタートアップをバンバン立ち上げる僕らのやり方"に近い気がします

Factで対抗したという点では以前のSUNABACOセミナーで、マルカメ果樹園北沢さんが「データから成果を出して父親に認められた」というエピソードを紹介されていました。

グスクの感想

語彙カバー率

少なくとも95%程度の語彙が分かっていないと文意理解は困難
これを平易な語彙に変換するのはtext to textで、LLMの得意分野

Garbage in, Garbage out

・できるだけ広く集める必要がある
・不要なデータを集める労力は、別に振り分けるべき

>>スイムレーン図のボトルネックの位置座標の近いデータや担当者からデータ収集する

帰還した戦闘機の損傷個所

持ってるデータを無理くりいじるんじゃない！！
生存バイアス、志願者バイアスなどに注意して

Excelのパワークエリ

ヒト用をPC用に表を編集できる

データレイク/ データウェアハウス/ データマート

ETLのExtract(抽出)したときがデータレイク、そこからTranslate, Load (変換、書き出し)したらウェアハウス

iPhoneが処理したデータにアプリからアクセスできる？

>できます

次回から

Azureでの作業を実際に行うのでリアタイをより推奨とのことです。