データインテリジェンスの動向を呟く
冒頭
2023年現在、Generative AIの台頭により”Data is new oil.”という言葉の重みが日に日に増してきている。そんな中、企業向けデータマネジメントを担うツールであった”データカタログ”にも転機が訪れている。ここ数年の欧米動向を見ていると、旧来データカタログと自身を呼んでいた海外ベンダーが、Active Metadata PlatformやData Intelligence Platformへと自身を再定義するに至っている。以前の記事では、前者について説明を行った。本日は、よりエンタープライズ企業へとフォーカスを当てた取り組みである後者について、特に国内状況についての考察を行う。
“Intelligence”とは？
Data Intelligenceと似た名前に、Business Intelligenceという概念がある。今となっては”BIツール”として慣れ親しまれ、あまり原義を意識することもなくなってきているが、そもそも”Intelligence”とは何であろうか。
ー 全く関係のない話だが、私の出身大学は、外国語大学と併合した経緯で言語学位が豊富な大学で、私は経済学部生でありながら英米言語学のデュアルディグリー制度に所属していた経緯がある。「”xxx”とは何か」のようなソシュール言語学を連想させるトピックには心躍る、いわゆる言語オタクである。ー
さて、goo辞書によるとIntelligenceとは下記の通り出てくる。
1 [U]（人・動物などの）知能，知力，理解力；（人・行為・言葉などの）優れた知性，聡明そうめいさ≪of≫
1a [C] 知的存在［生物］；〔しばしばI-〕神，聖霊，天使
2 [U]（機密）情報（の収集）
2a [U] 情報［諜報］部；〔集合的に〕諜報部員
一般的に知られている “知能・知力・理解力” のような意味に加えて、”情報の収集” や “諜報” といった応用的な意味があることが分かる。ちなみに、スパイ行為を “Intelligence work”と呼ぶが、そういった “ある目的の為に、情報を収集し有益な情報へと整理し直す行為とその実行主体” がIntelligenceという訳である。
BIとして親しまれたBusiness Intelligenceはつまるところ、”ビジネス上の意思決定を行うために、ビジネスの情報を収集し、有益な情報へと整理し直す行為ととその実行主体” という意味合いが込められた名付けである。Business Intelligenceについては2000年以前から、IBM研究所やGartnerが色々な定義付けを提唱しているが、大体こういった意味合いが原義のようである。面白い。
Data Intelligenceとは？
本題に戻ろう。では、Data Intelligenceとは何であろうか。原義に近い理解をすると ”ある目的の為に、データに関しての情報を収集し、有益な情報へと整理し直す行為とその実行主体” であるが;
IDCによると、以下のように定義されている。
“Data intelligence leverages business, technical, relational and operational metadata to provide transparency of data profiles, classification, quality, location, lineage and context; Enabling people, processes and technology with trustworthy and reliable data.”
また、以下とも書かれている。
Data intelligence is intelligence about the data, as informed by metadata. Data intelligence is not intelligence informed by the data. As defined in several IDC publications, data intelligence helps organizations answer six fundamental questions:
■ Who is using What data?
■ Where is data, and where did it come from (lineage and provenance)?
■ When is data being accessed, and when was it last updated?
■ Why do we have data? Why do we need to keep (or discard) data?
■ How is data being used, or perhaps more specifically – how should data be used?
■ Relationships – what relationships are inherent within data and with data consumers?
IDCの本記事タイトルにもなっているが、 ”Intelligence about Data, Not from Data”、つまりデータそのものではなく、メタデータの収集によって、有益な情報へと整理し直す行為だと強調されている。
海外ベンダーの思惑
海外スタートアップであるCollibra社やAlation社が表舞台に登場した2014年頃から5年間の北米の歴史では、データに関しての情報（Data about data）をメタデータと呼び、基本的なメタデータを一元的に管理し参照する製品をデータカタログ、そして、このアクティビティ自体をデータガバナンスと呼んでいた。（これはDMBoK2で語られるデータガバナンスとは似て非なるアクティビティである。）
しかし2023年現在、上記の企業は揃ってData Intelligence Platformとして自身をリブランディングする形となっている。各社が提唱するData Intelligenceの概念としてはActive Metadataと非常に似ているが、細かなニュアンスの違いが見られる。以下はその一例である。
Active Metadataの方が、市民ユーザー（人間）からのメタデータ収集に重きを置いている。
Data Intelligenceの方が、エンタープライズレベルのデータガバナンス・データリネージ・データ品質に関するメタデータの応用的な収集・自動生成を強調している。
ー そもそも、Active Metadataの発起人といえばAtlan社である。
「Snowflakeを始めとするモダンデータスタックエコシステムの普及」というマクロ環境の変化に伴い、彼らは2021年辺りから、Active Metadataを従来のエンプラ向けデータカタログへのアンチテーゼとして掲げるようになった。フランスのCastor社・カナダのSecoda社と共に、彼らは自身を第三世代と呼び、反対にAlation社やCollibra社を第二世代と形容する。
しかし、Atlan社はインド政府のインキュベーションから始まったものの、その後シンガポール、北米で特に新興テック企業・スタートアップ等のMid-marketに対してフォーカスし事業立ち上げを行なってきた経緯から、Enterprise-marketに顧客対象を絞るAlation社やCollibra社とは、そもそもビジネス対象とする世界に大きな差があった。（現在は、Atlan社、Castor社、Secoda社ともに創業者の母国と米国でエンタープライズGTMを画策しているが、創業者やベンチャーキャピタルの動向を見る限り苦戦しているように見える。）
AlationやCollibra等のエンタープライズ向けベンダーは、”マクロ環境を踏まえて我々も勿論進化している。”、”我々は2014年の我々ではなく、第二世代と呼ばれる筋合いはない。”、”エンタープライズ向けの機能や営業戦略があり、貴方とは違う。”と宣言するかのよう、Data Intelligence Platformと自身を名付けている、そんなように見える。（私自身がこのData Intelligence界隈の住人であり、多くの一次情報に触れてきた感覚から概ね合ってそうである。）
余談だが、エンタープライズ向けベンダー各社のHPで”by Industory”コンテンツを見ると、銀行、保険、医薬、製造、小売、エネルギー、公共、辺りの重量級エンタープライズ産業への案内が殆どであり、反対に、Mid-market向けベンダー各社のHPを見るとテックベンチャーのロゴを全面に推している。
日本の現在地点
2023年現在、日本でもエンタープライズ企業において、全社横断的なデータ活用を目的とし、Snowflake, Databricks等のData Warehouse製品を用いた全社データ活用基盤の構築が急速にデファクト化している。それに従って、こういったData Intelligenceの取り組みも喫緊の課題となっている。いくらData Warehouseツールを導入しても、上述のsix fundamental questionsに答えることができなければ、全社横断的なデータ活用は絶望的であるからだ。
直接的にData Intelligenceといったいい回しをしていなかったとしても、これらの課題は北米でもヨーロッパでも企業が近年経験した通り道であり、データ活用の重要なラストピースであることは明確である。Data Warehouseの世界では、「米国が10年で行ったことを日本では3-4年で実現している」といった発表も出ている（ここでの10年というのはAmazon Redshiftが2013年に発表されてから今日2023年までの米国のDWH市場の道のりに対応していると思われ、3-4年というのはSnowflakeが日本支社を立ち上げた2019年からの期間に対応していると見受けられる）が、つまり順接的に考えればData Intelligenceに関してのニーズが米国同様に顕在化するのがちょうど今であり、米国の歩幅とだんだん合ってくる。
別のベクトルから見ると、経産省が出した”2025年の崖”まで残り2年という中、エンタープライズレベルのData Intelligenceを構築できるかが企業の競争力を決めると言える、国内はそんな状態にあるといえるだろう。反対に、この課題の解決に向けて最速でスタートダッシュを切れば、北米・或いは競合に対して遅れた数年を、順当に盛り返すことができる。
Data Intelligenceの導入にあたって
アクティブメタデータの記事でも記載したように、国内企業を取り巻くIT・デジタルの周辺環境を考えると、必ずしも北米で定義される”Data Intelligence”が日本企業にとって唯一無二の目指すべき未来ではないことは、依然として念頭におきたい。加えて、Data Intelligence関連ツールの導入に際しては、国内特有のプロダクト要件、組織環境、システム環境への対応を行うために、DX部署でのAdditional Effortが必要な場面もある。下記が考慮される論点の一例である。
ツールの国内ホスティング対応や、日本語対応
ツールの日本特有の既存BI/ETLツール対応
メタデータ収集・活用における通信方法やセキュリティ対応
社内啓蒙のためのマニュアル作成やサポートのコスト
社内DX人材不足によるリソース過少と、新しい属人化の発生
SIerの存在によるステークホルダーの複雑化
購買やプロジェクト推進上の政治コスト
上記は一例であるが、考慮すべき論点に関しては個別具体的な各社の組織・システム状況に依るので、一概には言えない。
しかし、個別状況を考慮する必要があるが故に、Data Intelligenceを含むこの手のツールは長めのプリセールス期間を挟むので、プロジェクトの成功を考えるとベンダー企業の営業/SEとの連携が非常に重要である。また、ライセンス購入後の導入支援や活用サポートも非常にポイントとなる。
手前味噌にはなるが、Data Intelligence、Data Catalog、Data Governanceの実装をお考えの方は、失敗を防ぐためにも、ぜひ一度国内の専門ベンダーにご相談いただきたい。末筆ながら、国内唯一のデータカタログ専門パートナーであるQuollio TechnologiesのWebsiteを記載して締め括る。https://quollio.com