セミナーメモ：次世代データ統合基盤を探る！Databricksによる一気通貫で実現するデータ＋AIの最新世界線

下記オンラインセミナーの受講メモ

• 2024/10/23開催　次世代データ統合基盤を探る！Databricksによる一気通貫で実現するデータ＋AIの最新世界線

• 主催：PrimeNumber, Databricks

PrimeNumberとDatabricksの関係

PrimeNumberはDatabricksのパートナーとして承認済み＋調整中

Databricks解説

課題感

Databricksの守備範囲

様々な便利機能

Pipelineの実装も可能。リネージ機能もあり。ReDashを買収していて、SQL Warehouse機能上でBIも可能。Unity Catalogを利用することで情報の統合管理も可能。

ワークフロー実装

NotebookとGUIを組み合わせたワークフローの管理
SQLやPythonでパイプラインを書いて、それを可視化できる。

👇️

リネージ機能

AIによるメタデータの解釈

AItranslate

LLMを用いて変換した結果を返す関数をSQL内で利用可能