AWS re:Invent 2023参加レポート〜 拡大を続けるAWSのエコシステム 〜
1. はじめに
11月18日、Nevada州Las Vegas市ではFormula 1史上初めてとなる決勝レースが開催された。観客席、仮設ブリッジ、フェンスの撤去が急ピッチで行われていたが、AWS re:Invent 2023が初日を迎えた11月27日でもLas Vegas市の至る所にFormula 1レースの痕跡が多く残されていた。本稿では、AWS re:Invent 2023について報告する。
2. AWS re:Inventの見どころ
(1) イベント概要
AWS re:Inventはクラウドサービスを提供するAWS社が毎年開催している年次イベントだ。例年、re:InventではAWS社が提供するクラウドサービスに関する新サービスや新技術、新たなパートナーシップ、利用事例などが発表される。今年は昨年末からのトレンドを受け、Generative AIが話題の中心になると思っていた参加者も多いはずだ。
また、re:Inventではエンジニア向けには新サービスや新技術に触れる機会も提供されるため、多くのエンジニアが参加する。そこが、AWS re:Inventが他のConferenceと大きく違う点だろう。
3. Keynote
KeynoteはAWS re:Inventで人気のコンテンツだ。CEO Keynoteは開場の90分前から行列ができるほどだ。ここでは、AWS re:Invent 2023で開催された3つの人気Keynoteについて紹介する。
3-1. Monday Night Live with Peter DeSantis
AWS社SVP, AWS Utility Computing ProductsのPeter DeSantis(以降、Peter)さんのKeynoteは”Monday Night live”と呼ばれ、例年AWS re:Invent初日のWelcome Receptionの後に開催される。Peterさんは、AWS社”Serverless”のこれまでの歩みと”Serverless”の恩恵について語った後、新サービスの発表を行なった。
振り返ると、Peterさんの今回のKeynoteのメインテーマは“Data”だったと思う。
(1) Amazon Aurora Limitless Database
AWS社は、MySQL および PostgreSQL と互換性があるFull Managed型のRelational DatabaseのAmazon Auroraを提供し、Auto-Scaleを実現するAmazon Aurora Serverlessを提供している。
本KeynoteでPeterさんは、メモリーなどのホストコンピューターの性能に制約されず、複数のDatabaseの管理と複雑な運用がなくても効率的にDatabaseを分散・拡張し、Amazon Auroraの規模の制限をなくしたAmazon Aurora Limitless Databaseを発表した。Peterさんは、「Amazon Aurora Limitless Databaseを利用すると、一つのDatabaseでPetabyte級のデータを扱えるようになる。」と説明した。
Amazon Aurora Limitless Databaseは11月27日からプレビューが可能で、近いうちにMySQL、PostgreSQLにも対応するそうだ。
(2) Amazon ElastiCache Serverless
AWS社はAmazon ElastiCacheというManaged Caching Serviceを提供し、Cache管理の稼働とコストの削減に実現している。しかし、Amazon ElastiCacheはServerlessではないため、性能はメモリーサイズに依存する。そこでAWS社は管理が必要なインフラや容量計画を排除し、新たなCacheを瞬時に生成して付加できるAmazon ElastiCache Serverlessを発表した。
同サービスは、発表前からサービスが一般公開されている。
(3) Amazon Redshift Serverless
AWS社は2021年に負荷に合わせてData WarehouseをAuto Scaleし、Data WarehouseのData Layoutを最適化するAmazon Redshiftを発表している。Peterさんは、AIを活用して既存のAmazon Redshift Serverlessが予想しない巨大なQueryを受け取った時でも、Queryの大きさに合わせて新たなClusterを作り、Databaseのパフォーマンスを落とさないようしたと発表した。
Amazon Redshift Serverlessは11月27日からプレビューが可能だ。米国のDigital Health分野で人気のPeloton社は一般公開前からAmazon Redshift Serverlessを利用し、管理タスクの削減、コストパフォーマンスの向上に成果を上げている。
(4) Quantum Computing(量子コンピューター)
Peterさんは、AWS社の将来に向けた取り組みについても発表した。その取り組みの一つがQuantum Computingだ。同社は、2019年にCalifornia Institute of Technology(CalTech)のキャンパスにQuantum Computingの研究開発のためのAWS Centerを設立している。Peterさんによると、CalTechは40年前からQuantum Computingの研究を続けていて、AWS社がQuantum Computingの議論を始めるには最適な場所だったそうだ。
AWS社のQuantum Computingは発展途上のものだが、このような投資がAWS社の魅力と強みだろう。
この他にも、PeterさんはEC2 Instanceに対応し、100万分の1以内の誤差に精度を向上させたAWS Time Sync Serviceも発表した。
3-2. AWS CEO, Adam Selipsky Keynote Keynote
AWS re:Inventの中で一番注目度が高く、AWS社が一番力を入れているのが、AWS社CEOのAdam Selipsky(以下、Adam)さんのKeynoteだろう。
冒頭、Adamさんはいつものように金融、ヘルスケア、自動車などの業界のリーディングカンパニーがAWSを利用していることを説明した。さらに、Salesforce社との長年のパートナーシップに言及し、Salesforce社のさまざまなサービスをAWS社が支えていることを説明した。また、大企業だけでなく、Unicorn企業の8割以上(出典: PitchBook)がAWSを利用し、大学、政府などもAWSを利用していると加えた。
Adamさんは、AWS社がInfrastructure、Storageの分野で新たな仕組みを提供してきたという説明に続いて、新サービスの発表を始めた。
(1) Reinvent Infrastructure & Storage - Amazon S3 Express one Zone
Adamさんは、昨今のStorageの高速化のニーズの高まりを受け、頻繁にアクセスするデータに対する高速かつ低遅延なObject StorageとなるAmazon S3 Express one Zoneを発表した(11月28日から利用可能)。Amazon S3 Express one Zoneを使うと標準的なS3サービスの10倍以上の高速化と50%以上のデータアクセスコストの節約が望めるという。Pinterest社では、Amazon S3 Express one Zoneを利用することで、書き込み速度が10倍以上高速化し、TOCを40%改善したと紹介があった。
(2) Reinvent General Purpose computing - R8g Instance for EC2 with Graviton 4
Adamさんは、汎用的なコンピューターリソースを提供するGravitonの４代目となるGraviton4の提供が発表した。Graviton4は、1世代前のGraviton3と比べると、CPUコアは50%以上、メモリーは75%以上増え、平均で30%の高速化を実現する。大規模なJava Applicationにおいては、45%以上の高速化が望めるそうだ。そして、EC2向けにGraviton4を搭載したR8g Instanceが発表された(11月28日からPreview可能)。R8g Instanceは、大規模のデータベース、リアルタイムなBig Data分析向けに設計され、コストパフォーマンス、エネルギー効率にも秀でている。
(3) Reinvent Generative AI - Generative AI Stack
Adamさんは、AWS社ではGenerative AIを3つのレイヤーに分け、それぞれのレイヤーに対する投資をしていると説明した。一つ目はFoundation Models(FMs)のトレーニングと推論のインフラレイヤー、二つ目はLLMs(Large Languege Models)や他のFMsを使いこなすためのツールレイヤー、三つ目は特別な知識がなくてもFMsを利用するためのアプリケーションレイヤーになる。
以下に、Adamさんが本Keynoteで発表したGenerative AIに関する機能を紹介する。
(3-1) Infrastructure Layer
(a) AWS Trainium 2
Generative AIおよびMLのトレーニングをターゲットにしたプロセッサーのAWS Trainium2が発表された。Adamさんの説明によると、AWS Trainium2は初代AWS Trainiumより4倍も高速で、無数のパラメーターで構成されるFoundation Modelにも対応する。AWS Trainium2は2024年の提供開始を予定している。
(3-2) Tools Layer
(a) Amazon Bedrock
AI21 Labs社のJurassic-2、Amazon社のAmazon Tian、Anthropic社のClaude、Cohere社のCommand+Embed、Meta社のLlama2、Stability AI社のStable Diffusion XLを単一のAPIで選択できるFull Managed型サービスのAmazon Bedrockにおいて、以下のサービスが発表された。
(a-1) Fine Tuning
Amazon Titan Text Lite、Amazon Titan Text Epressで利用なFine Tuning機能をCohere Command Lite、Meta Llama2へと拡張し(11月28日から利用可能)、近日中にAnthropic Claudeでも利用可能とする。
(a-2) Retrieval Augmented Generation(RAG) with Knowledge Bases
AWS社は、企業・組織が持つデータを使ってGenerative AIの精度と信頼性を向上させるために用いられるRetrieval Augmented Generation(RAG、検索拡張生成)機能を、Amazon Bedrockのユーザー向けに2023年9月にプレビュー公開していたが、Adamさんは、本機能を11月28日から一般公開すると発表した。
(a-3) Continued Pre-training for Amazon Titan Text Lite & Express
Amazon Titan Text LiteとAmazon Titan Text Express向けにラベル付けされていないデータを利用した継続的な事前トレーニング機能(11月28日からPreview可能)。
(a-4) Agent for Amazon Bedrock
2023年7月、AWS社は複数のシステムを横断的に管理し、Generative AIをアプリケーションに特別なスキルがなくても簡単に組み込めるようにするAgent for Amazon Bedrockをプレビュー公開していた。そして本Keynoteにおいて、Adamさんは本機能を11月28日から一般公開すると発表した。
(a-5) Guardrails for Amazon Bedrock
一貫したレベルのRespinsible AIを遵守しつつ、Generative AIによるアプリケーション開発を容易に行うためのGuardrails for Amazon Bedrockが発表された(11月28日からPreview可能)。
(3-3) Applications Layer
(a) Amazon Q
Adamさんは、実事業に適し、自然に会話ができるようにデザインされたGenerative AIアシスタントのAmazon Qが発表した(11月28日からPreview可能)。Amazon Qは、企業/組織が持つシステム、データを理解した上で、企業/組織が定めたセキュリティルールやプライバシーポリシーを遵守する。Amazon Qはアプリ開発者、ネットワークエンジニア、ビジネスエキスパート、コンタクトセンターなど、幅広いビジネスシーンでの活用が望める。Adamさんは、Amazon Qとの連携によりパワーアップしたアプリ開発者向けのAmazon CodeCatalyst、ネットワークエンジニア向けのAmazon Q Code Transformation、ビジネスエキスパート向けのAmazon QuickSight、コンタクトセンター向けのAmazon Connectも披露した。
(4) Zero-ETL Integrations
一般的にはデータを活用するには、データソースからの抽出(E)、データの転送(T)、データベースへのロード(L)が必要だが、ETL Pipelineの設計、開発、実装には手間と時間がかかる。しかも永遠とUpdateを続けなければならない。AWS社はre:Invent 2022において、Amazon Aurora*1のMySQLとAmazon Redshift*2を自動的につなげるzero-ETLサービスを発表している。
本KeynoteでAdamさんは、Amazon Redshitと連携した3つの新たなzero-ETLサービスを発表した(11月28日からPreview可能)。
・Amazon Aurora PostgreSQL
・Amazon Aurora RDS for MySQL
・Amazon DynamoDB
さらにAdamさんは、DynamoDBとOpenSearch Serviceとの間でのzero-ETLを発表した(11月28日から利用可能)。
*1: Fully Managed relational Database
*2: Fully Managed petabyte-scale data warehouse
(5) Data
(5-1) Amazon DataZone AI Recommendations - プレビュー可能
AWS社は、企業や組織内の情報を組織横断で検索、共有、管理、分析できるAmazon DataZoneを提供している。Adamさんは、Amazon DataZoneユーザーが欲しい時に欲しい情報をすぐに取り出せるように、Generative AIを活用してAmazon DataZone内の情報に数クリックでMetadataなどの付加情報を追加・編集できるAmazon DataZone AI Recommendationsを発表した(11月28日からPreview可能)。
(6) Satellite
(6-1) Amazon Project Kuiper
Adamさんは、Digital Devideの解消、安定したConnectivityを必要としているユーザー向けに低軌道衛星を活用したハイスピードインターネットの計画を発表した。Adamさんは、2023年10月に打ち上げた2台の実験用衛星は順調に飛行を続けていると説明した。
AdamさんはProject Kuiperにより、気象観測、救援隊、事前災害、既存インフラの通信障害などの課題を解決したいと考えているようだ。
3-3. Dr. Swami Sivasubramanian Keynote
AWS社VP & CTOのDr. Werner Vogels(以降、Vogels)さんのKeynoteは、ユーモアのあるコンテンツと新サービスの技術的な説明が聞けるため、AWSエンジニアから絶大な人気を得ている。ここでは、VogelaさんのKeynoteについて紹介する。
(1) Constraints
VogelsさんのKeynoteは"The Cloud removed constraints"というメッセージの通り、システムの開発・運営に関する”CostとSustainability”がテーマだったと思う。
(1-1) Cost
Vogelsさんは、"Architect with cost in mind"というAWS re:Invent, 2012での発言を引用し、PBS社がAWSを利用してStreaming costを80%削減した事例を紹介し、"Cost is a close proxy for sustainability"とコスト管理が企業の生命線であると説明した。続いてVogelsさんは、2022年にAWSを利用し始めたWeTransfer社がCarbon Emissionを78%削減した事例を紹介した。今回のKeynoteでは、この"Cost is a close proxy for sustainability"というフレーズをなん度も繰り返していた。
(2) The Frugal Architect
今年、Vegelsさんが一番伝えたかったメッセージがこの”The Frugal Architect”だろう。コストを最小限にするために余分な機能を省き必須機能だけを搭載した設計について、Design、Measure、Optimizeの3つの項目で説明した。
(2-1) Design
ルール1: Cost is a non-functional requirement
Security、Compliance、Availabilityに妥協することなく、全てのステップにおいてコストについて熟考すべき。
ルール2: Systems that last align cost to busines
ビジネス的な判断と技術的な判断に基づき、進化可能なシステム設計とし、負の遺産はすぐに精算すべき。Vogelsさんは進化するシステムを、単一エンジンのセスナがスモールジェットに進化し、単独飛行からグループ飛行が可能となり、最終的には飛行中に給油可能なA380S級の航空機への進化に例えていた。
ルール3: Architecting is a Series of Trade-offs
Vogelsさんは、「アーキテクトは、Cost、Resilience、Security、Availability、Sustainabilityなどのnon-functional requirementの中から優先度を常に検討すべき。」と語った。この直後に行われたゲストスピーチでNubank社Senior director of engineeringのCat Swetel(以降、Cat)さんは、NuBank社がAWSを使って実現したサービスと解決した課題について披露した。Catさんは、「AWSを採用することで、CostとStabilityの両方を実現した。」と語った。
(2-2) Measure
ルール4: Unobserved systems lead to unknown cost
Vogelsさんは、母国での自身の経験を説明した上で「アーキテクトは、自分自身の尺度を持って新サービスの価値を認識し、そのサービスのcostとSustainabilityを知るべき。」という説明に続いて、Amazon Management Console myApplicationsを発表した(一般公開中)。同サービスは、コスト、アプリケーションの健全性、安全性、品質を監視、管理し、コストからみたアプリケーションのパフォーマンスを可視化する。ここでも" Cost is a close proxy for sustainability"のフレーズが使われていた。
さらに、Amazon CloudWatch Application Signalsが発表された(Preview可能)。同サービスは自動的にアプリケーションを実装・運用し、ビジネスの目標に照らし合わせてアプリケーションのパフォーマンスを評価する。
(左: Amazon Management Console myApplications、
右: Amazon CloudWatch Application Signals)
ルール5: Cost-Aware architectures Implement Cost Controls
Vogelsさんは、「コストを可視化できるようにしたら、システムはコストコントロールできるようにチューニング可能な仕組みとするべき。アプリケーションには様々な機能(Vogelsさんは"Tier"と表現)があるが、どの機能が顧客及びビジネス的に重要か認識すべき。」と説明した。
(2-3) Optimize
ルール6: Cost Optimization is Incremental
Vogelsさんは、「システムに潜んでいるDigital Wasteを削減してコストダウンを図るために、停止、リサイズ、シフト、削減を常に見直すべき。」と説明した。
ルール7: Unchallenged success leads to assumptions
Vogelsさんは、Grace Hopperさんが残した名言の「最も危険なフレーズは"We‘ve always done it this way...(私たちはいつもこうやってきた)"」を引用し、”今までのものを全部捨てろとは言わないが、世界は常にものすごいスピードで動いているので、常に学習することが必要だ。チャレンジのない成功は仮のものなので信念を否定しなさい。”と語った。
(3) “Medical x AI”導入事例
Vogelsさんは、Dublinの病院のAI導入に関する事例を紹介した。「MRIなどの画像は一枚の画像だけで病気を診断するのではなく、複数の画像を総合的に見て診断する。AIは膨大な医療画像を全方位で確認することに優れていているが、診断はプロが行う。AI Assistantは医者のサポートをするが、実際に診断を下すのは人間だ。」とAIの便利さと人間が果たすべき役割について語った。
(4) その他のサービス
(4-1) Amazon SageMaker Studio Code Editor(一般公開中)
Vogelsさんは、Amazon SageMaker Studio のIDEのオプションとして、Code-OSS(Visual Studio Code-Open Source)ベースのCode Editorの提供を発表した。本機能を使うことで、開発者は高度なデバッグ機能やリファクタリングツールを利用することで開発効率が格段に向上する。
(4-2) AWS Application Composer in VS Code(一般公開中)
Vogelsさんは、AWS Toolkit の一部として利用可能な VS Code での Application Composer を提供すると発表した。開発者は、AWS Application Composer のDrug & Drop機能をを利用してアプリケーションをゼロから設計・開発したり、既存のアプリケーションをインポートして編集することができる。
(4-3) Amazon Inspector CI/CD Container Scanning(一般公開中)
VogelsさんがStageから消えてエンディングのビデオが流れ、誰もが「今日はこれで終わり」と思った瞬間、Vogelsさんは、CI/CD Pipelineに対応したコンテナイメージのセキュリティスキャン機能の提供を発表した。同機能を利用することで、開発者はソフトウェアの脆弱性を実行ファイルの作成時に確認でき、実装前にリスクを修正できる。
7. おわりに
AWS re:InventはAWS社の最新サービスの発表の場だけでなく、エンジニア向けのHands-onも提供される。また、ユーザーがAWSを使ってどのようのDX(Digital Transformation)を推進したのかを知ることができる場でもある。
ExpoではAWS社の新機能を組み込んだ新いソリューションを数多く見ることができる。そのため、今のサービストレンドの把握や自社やお客さまの課題を解決してくれるソリューションと出会えるだろう。
AWSに限らず、Cloud Migrationを検討している企業やエンジニアは一度AWS re:Inventに参加することを勧める。
以上、