OPTEMOエンジニアブログ

トレーニング環境をAWS SageMakerからGCP Vertex AIへ移行したよ

こんにちは、すずきです。以前、モデルのトレーニングにAWSのSageMaker Studioをつかっていたのですが、期間限定で$100,000(1500万円..!)のGCPクレジットをいただいたので(Google Cloud for Startupsによるスタートアップ支援)、トレーニング環境をVertex AI Workbenchに移行しました。 SageMakerとVertex AIで使い勝手がところどころ違ったので、移行プロセスを共有します。こちらは以前書いた

LangChainで実装されたAIエージェントでポ◯モンのデータ分析とレポートをやってみたよ

こんにちは、すずきです。最近、OpenAIが新しいAIエージェントを開発しているという記事が話題になっていました。AutoGPTやBabyAGIが昨年から話題になっていますが、これからAIエージェントがより身近な存在になってきそうです。この技術動向に少しはキャッチアップしておこうと思い、RAGをつかったチャットボット開発のとき参考にした講座のAIエージェントに関するセクションを観なおしました。講座で公開されているデータをつかうだけだと面白くないので、ポケモンの種類

PyTorchモデルをTorchServeのネイティブサポートでデプロイしてみた

こんにちは、エンジニアのすずきです。以前の記事で、SageMaker Training JobsによるTabBERTモデルのFine-Tuningを行いました。 Fine-Tuning済モデルをS3にアップロードすることができたので、今回はSageMakerでモデルのデプロイをしてみました。 TorchServe作成した機械学習モデルを推論システムとして使うためには以下の要素が必要となります。学習済みの機械学習モデル学習済みモデルに入力する特徴量作成の処理(特徴

SageMaker Training JobsでFine-Tuningを行う際にmodel.tar.gzをS3から読み込む

こんにちは、エンジニアのすずきです。以前の記事で、SageMaker Training JobsによるTabBERTモデルの事前学習を行ったので、今回は事前学習の結果model.tar.gzを元にFine-Tuningを実行するJobを作成しました。基本的には事前学習と同じようなJobなのですが、以下の部分で工夫が必要だったのでメモとしてまとめました。 tarファイルの展開環境変数によるローカルとSageMaker間での引数の切替なお、Fine-Tuning

SageMaker Training JobsでBERTの応用モデルの事前学習をためしてみる

こんにちは、エンジニアのすずきです。以前の記事で、TabBERTモデル(IBM論文の付属コード)の環境構築と学習(事前学習、Fine-Tuning)をEC2上で行いました。動作確認くらいであればこれで問題なかったのですが、いざ本番運用を考えてみると、以下のような問題がありそうでした。学習中以外の時間にかかるEC2のコスト推論環境を別途たてることになったときの環境再構築コスト入出力データの管理の手間調べてみたところ、Amazon SageMakerというAW

【AI】BERTの応用モデルでクレジットカードの不正利用検知をおこなう③ ~Fine-Tuning~

はじめにこんにちは、エンジニアのすずきです。最近、多変量の時系列表データの学習に使用する、TabBERT(Hierarchical Tabular BERT)というBERTの応用モデルに関する論文を読み、付属コードで事前学習まで行いました。ただ、付属コードだと事前学習までしか行えなかったため、さらなる理解のために、Fine-Tuningと分類タスクについては自分で実装してみることにしました。前回までの記事については、以下をご覧ください。コード解説以前の記事から繰

【AI】BERTの応用モデルでクレジットカードの不正利用検知をおこなう② ~環境構築・事前学習~

はじめにこんにちは、エンジニアのすずきです。 2022年8月からAI関連の仕事をしており、BERTという自然言語処理モデルについて勉強しています。最近は、多変量の時系列表データの学習に使用する、TabBERT(Hierarchical Tabular BERT)というBERTの応用モデルに関する論文を読みました(紹介記事も書きました)。この論文、なんとありがたいことに、著者が事前学習のコードとデータをGitHubにあげています。環境構築やモデル学習の経験を積むこ

【AI】BERTの応用モデルでクレジットカードの不正利用検知をおこなう① ~論文紹介~

はじめにこんにちは、エンジニアのすずきです。自然言語処理で利用されるBERTを多変量表データの学習に応用した、Hierarchical Tabular BERT(TabBERT)というモデルの紹介論文を簡単にまとめた記事となります。論文では、時系列表データの生成モデルであるTabGPTやTabBERTによる大気汚染濃度の回帰分析についても紹介されていますが、今回は自分のやりたいことと近い、TabBERTによるクレジットカードの不正利用検知(分類)の部分のみをまとめまし

フォローしませんか？

#AI