【徹底解説】ビッグデータが描く未来
こんにちは、テクナドです。
最近、日本では朝夕が涼しくなってきたというニュースを目にしました。筆者はシンガポール在住ですのでもうそろそろ雨期に入りますね。これほどまで秋冬が恋しくなるとは思ってもいませんでした。年がら年中暖かい南国ならではのぜいたくな悩みです…(笑)
さて今回は、前回に引き続きテクニカルな話をしていきます。『ビッグデータ』聞いたことはあるようで、実際は何なのかよくわからないといった方も多いと思います。
筆者自身、大学卒業後進学予定だったイギリスの大学院ではビッグデータや統計学を使用した『金融工学』を専攻予定でした。(今現在は入学の権利を保持したままシンガポールで働いております。)それではさっそく本題に入っていきましょうか。
ビッグデータとは
ビッグデータとはなにか？
ビッグデータとは、簡単に言うと「日々生成される多種多様なデータ群」のことです。 総務省は『平成29年版 情報通信白書』において、個人と企業と政府が生み出すビッグデータの構成要素を大きく3つに分類して解説しています。まずは国や地方公共団体が提供する「オープンデータ」。続いて企業が保有するパーソナルデータ以外の幅広いノウハウなどのデータと、M2M （Machine to Machine）と呼ばれる産業用機械の機器間通信時のデータで構成される「産業データ」。最後が、個人の属性情報や移動・行動・購買履歴などの個人情報を含む「パーソナルデータ」です。
ビッグデータを活用すれば、いつでもリアルタイムに商品やサービスに対する需要を予測できます。 消費者のニーズを高い精度で予測できるため、それに合わせたマーケティングの展開が可能となります。 最適な情報を提示するための、顧客各々に合わせるパーソナライズも正確に行えるので、マーケティングの成功率も高まります。
ビッグデータの３つの特徴
ビッグデータ（Big Data）とは、我々人間では全体を把握することが困難な巨大なデータ群のことです。 明確な定義は存在しませんが、一般的には2001年にダグ・レイニーが示したVolume（量）、Variety（多様性）、Velocity（速度あるいは頻度）の「3つのV」を高いレベルで備えていることが特徴とされています。
ビッグデータのメリット
高精度な予測分析による最適化
膨大な情報量を含むビッグデータに基づく分析が機能すれば、これまでよりも精度の高い予測が可能です。さまざまなビジネスシーンにおいて、直感的な意思決定から、データに裏付けられた論理的な意思決定への転換を図れます。
例えば、経験が必要とされる生産管理・在庫管理の現場では、業務が担当者のノウハウに依存することがあるでしょう。そのため担当者の違いによる数値のばらつきや、熟練担当者不在による損失・停滞などを招くリスクがありました。しかしビッグデータの予測分析に基づく意思決定を徹底すれば、属人的な業務から脱却できます。また高度な需要予測に基づいた生産管理や在庫管理が機能すれば、在庫の過不足を抑えられるため、ムリ・ムダを省き事業を適正化するのに役立ちます。
こうした高度な予測に基づく脱“属人化”は、価格管理の場面においても有用。季節ニーズに応じたダイナミックプライシング（変動型価格）として実現しています。ホテルなどの宿泊施設や遊園地などのレジャー施設、航空チケットやスポーツ観戦チケットなどの価格管理に採用され、需給に合わせ価格調整を自動化することで収益の最大化に貢献しています。
____________________________________________________________________
リアルタイムでデータを「見える化」
昨今では分析技術の進化により、大量で多角的なビッグデータをリアルタイムに処理し「見える化」することが可能になりました。これにより、データの活用範囲が広がり、新しい価値創出に貢献しています。
自動車の自動運転実現には、ビッグデータのリアルタイムな制御技術が欠かせません。自動運転は、自動車のカメラやセンサーから収集されるデータを瞬時に識別する必要があるからです。また自動運転をサポートする高精度なデジタル地図（＝ダイナミックマップ）の整備には、周辺車両情報や歩行者情報などのさまざまな情報（＝ビッグデータ）をリアルタイムに更新し続ける必要があります。
製造業におけるスマートファクトリー化も、ビッグデータに支えられています。例えば機械の故障を事前に検知して事故を防ぐ「予知保全」は、工場の機械同士の通信や、設備に取り付けたセンサーから取得した情報をリアルタイムに解析することで実現しています。また製造ラインの画像や動画をリアルタイムにAIが解析することで「不良品の検出」を実現。精度の高い検品による品質や生産性の向上に貢献しています。
____________________________________________________________________
顧客に合った顧客体験サービスの実現
ビッグデータを顧客体験の向上に活用する動きも活性化しています。さまざまなデータを組み合わせ多角的な分析をすることで、高解像度な顧客理解に裏付けされた顧客サービスを展開できるようになります。
レコメンド機能で個人ごとに有用な提案
ECサイトでアップセルとクロスセルを促進するのに欠かせないレコメンド機能は、顧客情報やサイト上での行動を収集分析することで実現しています。また顧客データや購買データはマーケティングにも応用。データをもとにしたパーソナライズされたサービスや情報の提供により顧客体験（CX）を向上させ、LTVの最大化に寄与しています。
ビッグデータによるパーソナライズなサービスは、教育業界でも活用が期待されています。教育や学習のデータを収集・分析して教育現場に役立てることを目的とするラーニングアナリティクス（Learning Analytics）という取り組みです。ラーニングアナリティクスによる教育現場の見える化により、学ぶ側個々人への最適なコンテンツの提供や、教える側のスキルの標準化が見込まれています。
____________________________________________________________________
ビッグデータの課題点
増大化する保守管理と運用の負荷
データのVolume（量）が膨大であるということは、留意すべきです。データを保存するためのストレージがデータ量に応じて必要であるほか、データの選定やクレンジング（前処理）の負荷も増大するからです。当然、データ選定や前処理をおざなりにすると、分析作業の効率や分析の精度を落としてしまいます。「どのデータを収集するのか」「どのように保存・蓄積するのか」「どのように利活用していくのか」といった保守管理と運用の方針を明確にしたうえで、コストメリットもあるクラウドサービスの活用を含めたITインフラの最適化が求められます。
____________________________________________________________________
セキュリティ対策
ビッグデータにはパーソナルなデータも含まれるため、セキュリティ対策が欠かせません。EUではGDPR （EU一般データ保護規則）が施行され、個人データ保護の取り組みが進みました。特にWebサイト上で取得するCookieによるブラウジング情報の取得・利用については、EUをはじめ世界的に注視されています。最新の法規制やルールに関する情報をキャッチアップして、適宜対応する必要があります。
また、カメラやセンサーなどのIoT機器を活用したデータ収集についても情報漏洩を防ぐためのセキュリティ設計が求められています。
____________________________________________________________________
ハイスキル人材の不足
ビッグデータを適正に運用するためには、データ活用に長じた高度なスキルを持った人材（データサイエンティスト・データアナリスト）の登用が有効です。また技術的知見に加えて、ビジネスに対する深い洞察力を有している人材が望ましいとされています。ビジネスにおけるデータの利活用の意義を把握していると、データ分析プロジェクトの費用対効果を組織に啓蒙できるからです。しかしながら「データ」と「ビジネス」の両面を高いレベルで満たす人材は特に不足しているため、採用戦略以外に自社での人材育成を検討する必要があるでしょう。
広く活用されているビッグデータですが、ビッグデータの収集と解析がプライバシーの侵害につながる場合があります。 収集される多くの情報の中には、個人を特定できる情報も含まれており、こうしたデータの取り扱いを誤ると企業の社会的信頼が大きく低下するおそれがあります。
日本は現在、サイバー空間（仮想空間）とフィジカル空間（現実空間）を高度に融合させた次世代社会「Society 5.0」の実現を目指しています。そこで重要視されているのが、先の3つの構成要素を連携してデータを効果的に活用することです。ビッグデータの連携により、社会に新たなソリューションやイノベーションを生み出すことが期待されています。
____________________________________________________________________
ビッグデータの活用について
データ分析の青写真を描く
ビッグデータの利活用は、その目的を設定するところから始まります。目的に応じて分析課題を設定し、必要となるデータを収集、データをクレンジング（前処理）して蓄積、そして分析・見える化（利活用）するという流れです。重要なポイントは、手元にあるデータからできる方法を考えるというプロセスに陥らないこと。まず目的ありきで既存のデータを捉え直し、足りないデータがある場合は追加で収集することも検討しましょう。
____________________________________________________________________
活用を見据えてデータを集め、整える
データのクレンジングは、ビッグデータを活用したデータ分析において最も重要と言っても過言ではないパートです。総務省の『ICTスキル総合習得教材』では、「網羅性（Completeness）・唯一性（Uniqueness）・適時性（Timeliness）・正当性（Validity）・正確性（Accuracy）・一貫性（Consistency）」というDAMA（データマネジメント協会）UK支部のデータ品質基準を引用しています。こうした基準をもとに、欠陥がないか、重複していないか、表記揺れや誤表記がないかなどを検証することが大切です。品質の悪いデータによる分析では、誤った結論に行き着く恐れがあります。データ収集後は必ず、データクレンジングでデータの欠陥を修正し、データ品質を高めましょう。
またシステムを横断してデータを使用しやすくするために、データ形式やフォーマットの標準化を徹底し、根本からデータ品質対策を講じることも重要です。
____________________________________________________________________
適切な方法でデータを分析する
適切にクレンジングされたビッグデータは、さまざまな手法で分析できます。平均値や中央値、偏差などの基本的な統計や、複数項目を掛け合わせて集計するクロス集計、機械学習技術を用いた分析などです。知見は必要ですが、Python・Rなどのプログラミング言語を活用すればさらに高度な「見える化」も可能です。データを分析して利活用するところまでを見据えて、BIツールによる効率化を図ることも重要です。
ビッグデータの分析とセットで語られることの多いキーワードが「AI（人工知能）」「機械学習」「ディープラーニング」です。詳しい解説は省きますが、「ディープラーニング」は「機械学習」に内包される技術であり、「機械学習」は「AI」に内包される関係性にあります。そして「AI」の開発や発展には、学習させるための大量な情報（ビッグデータ）が求められます。一方で、ビッグデータを効果的に利活用するために「機械学習」や「ディープラーニング」が用いられます。このように、ビッグデータと「AI」「機械学習」「ディープラーニング」は相互依存の関係にあります。
____________________________________________________________________
ビッグデータを取り巻く状況と今後の展望
すでに多くの分野で活用が進んでいるビッグデータは、今後もさらに社会的な重要性が高まり、活用が進んでいくと目されています。
5G、IoTの普及による恩恵
ビッグデータの取得を加速させるためのテクノロジーが近年、いくつも花開いています。超大容量・超高速・超大量接続を実現する次世代データ通信技術「5G」、IoT機器の近い領域でデータ処理を可能にするエッジコンピューティング技術、そしてそれらを支えるセンサー、ストレージ、クラウド、セキュリティ技術の進化です。これらが相互に恩恵をもたらすことで、今まで使えていなかったデータの活用も進み、新たなビジネスやソリューションの創出につながることが期待されています。
____________________________________________________________________
国家的なデータ戦略で広がるデータの利活用
日本では、2021年のデジタル庁発足、2022年4月施行の改正個人情報保護法におけるオープンデータの利活用推進、さらにはスマートシティ法案（国家戦略特別区域法案）による規制緩和・特例措置などによって、ビッグデータの利活用を促進すべく国家レベルでデジタル戦略が進んでいます。
しかしながら他国に比べると、データの利活用が進んでいるとは言えない状況です。総務省の『令和2年版 情報通信白書』によれば、個人データ以外のデータ利活用状況のアンケートで米国企業の約55％、ドイツ企業の約53%が「活用している」と回答した一方で、日本企業は約23%に留まりました。さらに内閣官房情報通信技術（IT）総合戦略室の『地方公共団体へのオープンデータの取組に関するアンケート結果』（令和3年）では、全国の地方公共団体の約48%が「オープンデータ関連の取組は何も行っていない」と回答しています。すでに民間企業や地方自治体が主体となってオープンデータを活用したサービスが創出されている状況ではありますが、まだまだ開拓の余地があるのも事実です。
____________________________________________________________________
ビッグデータ活用の新たな展開
日本では法整備が進んでいるほか、情報システム基盤の統一によるデータ標準化に取り組む動きがあります。またデータクレンジングサービスやツールの市場も成長を続けており、ビッグデータの利活用に貢献する環境整備や技術開発が進んでいます。
例えば「データ仮想化」も注目すべき技術の一つです。「データ仮想化」は、異なるデータソースやフォーマットのデータを仮想的に統合して一元処理を可能にします。データソースが多様化する中、ITインフラのコストと運用負荷を軽減する技術として注目を集めています。
発展するビッグデータ関連サービスの一方で、スモールデータの解析も注目を集めている分野です。「ビッグデータ」という枠組みにすらもとらわれず、プロジェクトの目的に向け最適解を目指し続けることが、これからのデータ利活用においては重要でしょう。
____________________________________________________________________
最後に
さて、ここまで読んでいただいた皆様ありがとうございました。やはり技術関連の話となると少し難しめの内容になってしまいますね。今回扱った『ビッグデータ』インターネット上には日々膨大な数のデータが蓄積されており、そのデータ量は加速度的に増え続けています。スマートデバイスやSNSなどの普及により、私たちの生活行動（移動、購買、検索履歴など）は、行動データとして数値化可能なものとなりました。
それらをビッグデータとして活用すれば、今まで経験や勘に頼っていたマーケティング戦略から脱却し、より顧客ニーズに合ったプロモーションや商品企画に繋げることが可能です。こうしたデータ分析を行うデータサイエンティストやデータアナリスト、ITプロフェッショナル、システムエンジニアは世界中で必要とされています。今日のテクノロジーの世界では、イノベーションが急速に進んでいます。このように変化が速い時代において、新たな知識や技術を貪欲に取り入れて時代の変化にうまく適応することが、勝ち残る秘訣といえるでしょう。