金融サービス業向けレイクハウス： 金融サービス業におけるデータ駆動型イノベーションへの道を切り開く Lakehouse for Financial Services: Paving the Way for Data-Driven Innovation in FSIs
こちらは下記Databricksブログの翻訳になります。加えて理解しやすくするためにいくつかの参考記事のリンクを加えています。
「データ駆動型イノベーション」というと、金融サービス業（FSI）は一般的にはあまり思い浮かびません。しかし、膨大な量のデータを自由に利用できる可能性があるため、想像力が欠如しているわけではありません。金融サービス業界はイノベーションを起こしたいのですが、複雑なレガシーアーキテクチャやベンダーロックインによって、データやAIが重要なビジネスドライバーになるのを阻まれ続けています。
医療や教育など他の規制部門が障壁を破り続けているにもかかわらず、金融サービス業界ではここ数十年、ほとんどイノベーションが起こっていないと言えるでしょう。Databricksでは、これを「テスラフィケーション（Tesla-fication）：ここではテスラ化と訳します」と呼んでいます。これは、ある破壊的な、データとAIを駆使したイノベーターが、以前その領域を支配していた既存企業よりも不釣り合いに大きな成功を収めるということです。この成功の兆候の1つは、株式市場に見ることができます。現在、テスラは9000億ドル以上の時価総額を誇っており、次の大手自動車競合企業10社の合計よりも価値があるのです。現有勢力は、もはや外堀などにはなりません。
実際、金融サービスではすでにテスラ化が起こり始めています。2014年に立ち上げられたブラジルのフィンテック企業であるNubankは、自国内外の競争力学を急速に変化させました。Nubankは早くからクレジットカード市場を破壊し、オンライン申請を可能にし、クレジットヒストリー（訳者注：海外ではこれがないとクレジットカードが作れない）がない人にも信用を拡大した。現在では、最先端のテクノロジー、データ、AIを駆使して、新しい商品やサービスを開発しています。データサイエンスは、カスタマーサポートから与信枠に至るまで、ビジネスのあらゆる局面で不可欠な役割を果たしている。立ち上げから7年後の2021年12月、Nubankはラテンアメリカ最大のIPOのひとつとなり、一時はブラジル最大の銀行の時価総額を抜いた。銀行、保険、資本市場に至るまで、金融サービスのあらゆる分野で「テスラ化」の兆しが現れています。金融サービス業界にとって、これは従来の競争優位の源泉であった資本と規模が、もはや通用しないことを意味します。今日、変革の担い手たちは、競争優位の源泉であるデータと人材という2つの近代的な資源に投資を集中させることが求められています。
金融サービス業レイクハウスのご紹介
Introducing Lakehouse for Financial Services
本日、Lakehouse for Financial Servicesを発表し、すべての金融サービス各社のためにデータと人を結びつけることを支援することを喜ばしく思います。Lakehouse for Financial Servicesは、構築済みのソリューションアクセラレーター、データ共有機能、オープンスタンダード、認定導入パートナーなど、業界に特化した機能を通じて、金融サービス業界特有の要件に対応します。このプラットフォームにより、銀行、保険、証券市場分野の企業は、データ資産の影響力を高め、価値実現までの時間を短縮し、最終的には、融資から保険まで、ビジネスのあらゆる部分でデータとAIを中心とすることが可能になります。
では、なぜLakehouse for Financial Servicesが成功に不可欠なのでしょうか。お客様とお話する中で、データ駆動型組織への転換をめぐる最大の課題が明らかになりました（そして、Lakehouseがそれにどのように対処するか）。
ベンダーロックインのリスク：金融機関は特に、独自のデータ形式やテクノロジーに縛られ、コラボレーションやイノベーションを阻害されやすい傾向にあります。Lakehouseはオープンソースとオープンスタンダードを採用しており、データチームは好きなツールを利用することができます。
マルチクラウド未対応：規制当局は金融機関に対し、単一ベンダーへの過度の依存から生じるシステムリスクを考慮するよう求める傾向が強まっています。レイクハウスは、主要なクラウドベンダーのすべてをフルサポートすることで、この問題を解決しています。
BI（ビジネス分析）のためのリアルタイムのデータアクセス：一般的に最新のデータが最も価値がありますが、従来のアーキテクチャでは、データアナリストがそれにアクセスすることが困難な場合が多くありました。Lakehouseを使用すれば、部門を超えたデータチームが常に最新で信頼性の高いデータにアクセスすることができます。
すべてのデータセットに対するサポートの欠如：金融機関で最も急速に増加しているデータは非構造化データセット（テキスト、画像など）であり、データウェアハウスは重要なユースケースに適しているとは言えません。レイクハウスは、構造化、半構造化、非構造化などあらゆるタイプのデータに対応し、Factsetなどの主要プロバイダーとのデータ共有機能まで提供しています。
AIのユースケースを推進：金融サービス業界には規制があるため、AIの導入や拡張は困難ですが、主なハードルは、サイロ化したインフラやレガシーなプロセスと相まって、リスク回避に関する内部ポリシーです。レイクハウスは、MLflowを通じてAIをアクセス可能かつ透明化します。Delta Lakeのタイムトラベル機能と相まって、AIは独立した検証のための次世代モデルリスク管理として採用されています。
金融サービス業向けレイクハウスはなぜこのような課題に取り組むことができるのでしょうか？
What makes Lakehouse for Financial Services Equipped to Tackle These Challenges?
Lakehouse for Financial Servicesは、このような課題に取り組み、規制の厳しい環境下でも、企業が競争力を高め、リスク管理を革新するための新しい方法を見つけることができるよう、明確に構築されました。ここでは、私たちがどのようにそれを実現しているかをご紹介します。
金融サービスのユースケースに対応した構築済みソリューションアクセラレータ
Pre-built Solution Accelerators for Financial Services Use Cases
Lakehouse for Financial Servicesは、お客様が直面している最も一般的でインパクトのあるユースケースに取り組む、完全に機能し自由に利用できるノートブックである14の金融サービスソリューションアクセラレータと連携しています。これらのユースケースは以下のものを含んでいます。
取引後の分析および市場監視：このライブラリは、市場データの効率的な時系列処理エンジンを使用して、コア市場データと異種の代替データソースを組み合わせ、資産運用マネージャーが投資戦略を大規模にバックテストし、取引コスト分析に関するレポートを効率的に作成できるようにするものです。
トランザクションエンリッチメント：このスケーラブルな地理空間データライブラリは、リテールバンキングにおける「超」パーソナライゼーションを可能にし、次世代の顧客セグメンテーションや最新の不正防止戦略に必要な顧客の取引行動の理解を深めることができます。
規制（レギュラトリー）レポーティング：このアクセラレータは、オープンデータ標準とオープンデータ共有プロトコルに従って、規制データの取得、処理、送信を合理化します。
GDPR 遵守（コンプライアンス）：厳格な監査機能を確保しながら、「忘れられる権利」要件へのコンプライアンスをめぐる技術的課題を簡素化します。
共通データモデル：共通データモデルのフレームワークとアクセラレータのセットで、FSIが組織全体のデータの標準化で抱えている課題に対応します。
業界オープンソースプロジェクト
Industry Open Source Projects
今回の発表の一環として、金融サービスにおけるイノベーションとコラボレーションを促進するFINOS（FinTech Open Source Foundation）に参加したことをお知らせします。FINOSには、ゴールドマン・サックス、モルガン・スタンレー、UBS、JPモルガンといった世界有数の金融業界各社がメンバーとして名を連ねています。オープンソースは、複雑でコストのかかるベンダーロックインや独自のデータフォーマットを回避しようとする組織にとって、金融サービスにおけるデータ戦略の中核となる戦略的イニシアティブとなっています。FINOSの一員として、Databricksは銀行のエコシステム全体を通して金融データの処理と交換を促進するための支援を行っています。これは、当社のDelta LakeおよびDelta Sharingと、主要な金融サービス企業が主導する最近のオープンソースイニシアティブとの統合によって実行されます。
Databricksは、データへのアクセスや洞察を大幅に民主化することで、データの標準化を促進するために取り組んでいます。最終的に、私たちはデータを大衆に届けたいと考えています。最近、LEGENDエコシステムとDelta Live TablesのようなDelta Lakeの機能性を統合したのはこのためです。大手金融サービス機関によって開発され、その後LINUX Foundationを通じてオープンソース化されたLEGENDエコシステムは、ドメインエキスパートや金融アナリストがビジネスロジック、分類、財務計算をデータにマッピングすることを可能にします。今回、Lakehouse for Financial Servicesに統合されたことにより、同じビジネスプロセスをコアデータパイプラインに直接変換し、最小限のオペレーションオーバーヘッドで高品質の標準を適用することができます。Lakehouseのクエリーレイヤーと組み合わせることで、金融アナリストは、ビジネスアプリケーションやコアエンタープライズサービスを通じて、膨大な量のリアルタイムデータを直接利用できるようになります。
Lakehouse環境の簡単な導入
Lakehouse for Financial Servicesを利用することで、お客様は簡単にセキュリティ標準を自動化することができます。具体的には、金融サービス向けに作成したユーティリティ・ライブラリとスクリプトは、ノートブックの自動セットアップを実現し、600社以上のお客様からのベストプラクティスやパターンに基づき、金融サービス業界にとって重要なセキュリティとガバナンスの問題を解決できるようカスタマイズされています。
データを標準化するためのデータモデルフレームワーク
レイクハウスは、ソリューションアクセラレーターに加え、金融サービス業界が抱える組織全体のデータ標準化の課題に対応するため、共通のデータモデルのフレームワークを提供しています。例えば、あるソリューションアクセラレーターは、金融規制（the Financial Regulation Data model : FIRE）データモデルを簡単に統合し、データの標準化を推進し、下流ツールにデータを提供し、AI品質チェックを可能にし、Unity Catalogを使ってデータを統治するように設計されています。
オープンなデータ共有
昨年、データが存在するプラットフォームに依存せず、組織間でリアルタイムにデータを安全に共有するための世界初のオープンプロトコル、Delta Sharingを発表しました。これは、私たちの素晴らしいパートナーたちのエコシステムによって支えられており、私たちはその規模を拡大し、成長させ続けているのです。この度、オンラインデータショッピングを簡素化するSaaSプラットフォームであり、Delta Sharingを実装した最初のプラットフォームの1つであるTicksmith社に投資したことを発表できることを嬉しく思います。TickSmithとDatabricksの統合により、金融サービス業界は統一された環境でデータ製品を簡単に作成、パッケージ化、提供できるようになりました。
導入パートナー
Databricksは、コンサルティングおよびSIパートナーであるAvanadeと協力し、金融機関にリスク管理ソリューションを提供しています。Azure Databricks上に構築された私たちの共同ソリューションは、お客様がデータをバリューアットリスクモデルに迅速に展開し、新たなリスクや脅威に対応することをより容易にします。クラウドへの移行とデータ主導のリスクモデルの近代化により、金融機関は規制や運用コンプライアンスに関するリスクを軽減し、スループットの増加に対応するための拡張性を確保することができます。
Databricksはまた、Deloitte FinServ Governed Data Platformと提携しています。これは、規制要件を満たすクラウドベースのキュレーションされたデータプラットフォームで、金融機関向けに単一の真実の源を構築し、データドメインと承認済みプロビジョニングポイントをインテリジェントに整理し、ビジネスインテリジェンス、可視化、予測分析、AI/ML（人工知能/機会学習）、NLP（自然言語プロセス）およびRPA（ロボティクスプロセス自動化）を活性化させることを可能にします。
まとめ
私たちの周りではテスラ化が始まっています。Lakehouse for Financial Servicesは、構築済みのソリューションアクセラレータ、データ共有機能、オープンスタンダード、認定導入パートナーにより、お客様がデータとAIの旅で飛躍的な進歩を遂げることを支援するよう設計されています。私たちは、すべてのFSIが業界のテスラになることを支援する使命を担っています。
以下に日本語の参照サイトをいくつか掲載しておきます。