（金融）AWS re:Invent ① ゴールドマン・サックス：金融データ分析の再発明
AWS re:Invent (リンク)は毎年通りの大きなお祭りだが、今年はゴールドマン・サックスの発表もあり金融もかなりの盛り上がりだったイメージ。せっかくなので現在（2021年12月9日）オンデマンドなどで見れる情報などから見えることをステージに上がった金融機関ごとにシリーズで取り上げられればと思っています。まずは第一弾でゴールドマン・サックスから。
オンデマンドのセッション
現在オンデマンドで見れるセッションは「Goldman Sachs: Reinventing financial data analytics」。Andy Phillips (GS), Francis Ginnaros (GS), Balaji Gopalan (AWS)がステージに上がりAWSを活用してどのようにクラウド・ネイティブの金融データ分析のプラットフォームを構築し、実際のどのような分析が必要な問題をどの様に解決しているかをステップバイステップで説明し、そのインフラをGoldman Sachs Financial Cloudで提供することの意味などについて話しています。
徹底的なエンジニアの内製化
やはり一番最初に出てくるゴールドマン・サックスのITに対する考え方「Technology is fundamental to everything we do」（ITが自分達が行うすべての事の土台となっている）。そして今や1万人のエンジニアを世界の拠点で抱え（👇参照）これは全体の社員の25％に当たるという驚異的な数字。ただ「内製化」というのは「すべて自分達でフルスクラッチで作る」という意味ではなく、彼らがこのAWSのカンファレンスでステージに立っていること、さらにプレゼンの他のセクションからもわかるように
・使えるプラットフォーム（AWSなど）はフル活用
・業界で使われているオープンソースのプロダクトなども活用
・自分達で開発したもので業界で使えそうなものをオープンソース化
などを行いながら、ビジネスサイドとの要件定義、POC、開発、保守などをすべて内製化していることを意味する。
実際の分析が必要なシナリオ、そして分析を行うチャレンジ
今回のセッションは実際の分析が必要なシナリオ、それに対してどのような技術的なチャレンジがあり、それを解決するインフラそしてプラットフォームを構築してtime-to-market（実際に活用できるまでの時間）を劇的に短くするかなどが話されている。
そしてデータ分析が「何故そんなに難しいのか (Why is this so hard?)」というセクションでは「80/20ルール」について語っている。結局データ分析をしたいのに分析以外のことに使っている時間が８０％で実際の分析には２０％の時間しか使えない。下のステップで表現されているが実際の「分析」以外の「作業」がとても多い。
・① Source：データを探してきてライセンスのオプションなどを考え、少ないサンプルを使って検証など
・② Ingest：数百のファイルのプロセスしデータの不一致などに対応。過去のデータとのフォーマットの変更などにも対応。
・③ Understand & model：PDFベースのマニュアルを理解し、スタンダードのデータモデルを構築。他のデータソースとの結合など。
・④ Validate & productionize：技術的なチェックをしたのち、マーケットのエキスパートとさらなる改善。さらなるフィードバックの構築。
ではどのようにその「作業」を少なくするかということでAWS Data Exchangeや他AWSのコンポネントを活用。そしてFINOS Legendも活用以下のスライドにも書いてあるが、こちらゴールドマン・サックスが7年ほどかけて開発していたAlloyやPUREと呼ばれるプラットフォームをFINOSの元オープンソース化したもので業界の活用が進んでいるもので当社のオープンソースとの働き方がここからも見える。
ゴールドマン・サックスの発表したGoldman Sachs Financial Cloud for Dataのインパクト
そして今回の大きなニュースがGoldman Sachs Financial Cloudの発表。米国での発表の抄訳版のなかには
GS Financial Cloud for Data は、ヘッジファンド、資産運用管理会社、その他の機関投資家向けのクラウドネイティブな金融データ管理および分析ソリューションで、ゴールドマン・サックスの主要な時系列分析ツールである PlotTool Pro や、同社の Python ツールキットである GS Quant など、Goldman Sachs のフロントオフィス分析ツールの能力が大幅に向上します。GS Financial Cloud for Data と AWS Data Exchange（クラウド内のサードパーティのデータを簡単に検索、購読、利用できるようにするサービス）の統合により顧客は、自社のデータとゴールドマン・サックス が提供する金融市場データや厳選されたサードパーティのデータをシームレスかつ安全に統合することができます。これらのデータは、セキュアに管理されたゴールドマン・サックスの時系列データベースと分析エンジンで利用できるため、何百もの異なる資産のティックレベルの金融データをリアルタイムで保存、統合できます。その結果、開発者は最新の定量的手法を使用してさまざまな金融データセットについて一貫した大規模な分析を簡単に行えるようになり、市場に価値をもたらすまでの時間を短縮できます。
とあります。プレゼンでも話していたがゴールドマン・サックスがトライアルアンドエラーを繰り返してデザインしたアーキテクチャのクラウドネイティブのデータ分析のためのインフラが2週間以上かかっていたのが5分で構築できるようになり、
そして分析や可視化を可能にするツール群。ティックデータなど伝統的な資産クラスでのデータの検証や正常化や可視化などの「作業」がシンプルにできるのであれば、将来的にはもっとデータとしてばらつきのあるオルタナデータなどの分析のプロセスももっと簡単になるかも、という期待感を与えるプレゼンだった。
何を学んだのか
さらに最後に彼らが何を学んだのか (“Lesson learned”)のセクションがあったがかなり基礎的な所に戻っていて面白い、ただし金融でのシステム開発ではとても大事な基礎なのでご紹介。
・セキュリティ：セキュリティは後から足せないの最初からデザインに入っていないといけない。
・ユーザービリティ：ただしセキュリティだけにフォーカスするとインフラがシンプルでなくなってしまうのでそのバランスも考えないといけない。
・リスク管理：金融なのでリスクの観点から2つのインフラなどが必要でフェイルオーバーが可能でないといけない。
・パフォーマンス：ネットワークのパフォーマンスなども最初から検討されていないといけない。
（最後に）金融でのデータ分析の民主化
スライドとしては少し最初に戻るがまとめとして良いスライドがこちらで
トレーディングフロアには大まかに分けて4タイプのヒトがいる。
・営業 （Sales）：アイデアを出し、顧客との接点
・トレーダー（Traders）：市場を分析し、取引の執行、リスクの管理
・エンジニア（Engineer）：アーキテクチャ作り、アプリの開発、インフラの管理
・クオンツ（Quants）：データ分析、戦略の開発、モデルの管理
そしてテクノロジーがこの4タイプのヒトたちの役割の境界線をどんどんぼやけさせているというコメントをしており、まさにデータ分析の技術を民主化（「democratization」）することにより、ヒトが今までの定義よりも色々な仕事ができるようになっている、という事でまさに社内でそれを起こすという民主化を体現しているというのが印象的だった。
なるべく短くまとめたかったのでかなりの部分をはしょったけれどもこの40分ほどのセッション面白いポイントが盛りだくさんだった。興味を持った人達は是非実際のオンデマンドのセッションを見て頂きたい。またGoldman Sachs Financial Cloudの発表はこちらから読めます。
・（英語）Goldman Sachs and AWS Collaborate to Create New Data Management and Analytics Solutions for Financial Services Organizations
・（日本語）ゴールドマン・サックスと AWS 、金融サービス機関向けに新しいデータ管理・分析ソリューションを共同開発
フィードバックもDX加速の仲間も募集しております
是非この記事へのフィードバックも聞きたいし、こんな目線での業界のDXなど一緒に仕事をするパートナー企業や個人募集しております。
意見交換をしたい、一緒に仕事をしたいなどお声がけしていただければとても嬉しいです。SymphonyでGen Ueharaまでメッセージを送っていただいてもかまわないし、こちらどちらからコメントでもフォローもよろしくお願いいたします。
・ツイッター：@gen0707（フォローしていただいたら感激です）
・LinkedIn：Gen Uehara（是非コメントつきでコネクションリクエストお送りください）
・Eight：上原 玄之（コメント付きで名刺交換大歓迎です）
・Facebookも同じ名前でいます。
では楽しい世界をみんなで頑張って築き上げましょう！