OPTEMOエンジニアブログ

ECRコンテナイメージのセキュリティスキャンとSlack通知を自動化したよ

こんにちは、すずきです。最近はハリソン山中の喋り方で日常生活を送っています。 ECS on Fargate環境を導入する際、最初にCIへTrivyやDockleによるコンテナイメージの脆弱性スキャンを組み込んだのですが、次にリリース間のセキュリティリスクも考えて、ECRのイメージを定期的にスキャンしてその結果をSlackで通知する仕組みをつくりました。 Lambda、EventBridge、S3、IAMロールというAWSの基本リソースを使用して、誰でも簡単にこの仕組みを構

ECSのCI/CDを運用&セキュリティ面でいろいろ工夫したよ

こんにちは、すずきです。最近、GitHub ActionsでECS on FargateのCI/CDワークフローを構築する機会があったので、運用保守やセキュリティに関して工夫した点をまとめました。英語版の記事もあるので、日本語が苦手な方はこちらをご覧ください。割と反響がありました(1週間で12,000 View超えた)。ワークフロー全容以下がECS on FargateのCI/CDワークフローの全容です。このワークフローは、コードのチェックアウト、ECRリポジトリ

トレーニング環境をAWS SageMakerからGCP Vertex AIへ移行したよ

こんにちは、すずきです。以前、モデルのトレーニングにAWSのSageMaker Studioをつかっていたのですが、期間限定で$100,000(1500万円..!)のGCPクレジットをいただいたので(Google Cloud for Startupsによるスタートアップ支援)、トレーニング環境をVertex AI Workbenchに移行しました。 SageMakerとVertex AIで使い勝手がところどころ違ったので、移行プロセスを共有します。こちらは以前書いた

SageMaker TrainingのDockerイメージとConda環境を最適化したよ

こんにちは、すずきです。以前、以下の記事でDockerコンテナ内にConda環境を設定し、Amazon SageMakerでのトレーニングを実行する手順を書きました。また、以下の記事では、デバッグ環境(EC2/Deep Learning AMI)とトレーニング環境(SageMaker)で環境を一致させるために、condaの設定ファイルenvironment.ymlをデバッグ環境から書き出して、それを使ってトレーニング環境のDockerイメージを構築しました。 Doc

マルチステージビルドやDistrolessでGoアプリケーションのDockerイメージを最適化してみたよ

こんにちは、すずきです。 Node.js(Express)ベースのアプリケーションをGoに移行した際、Dockerイメージのサイズを2.8 GBから400 MBまで大幅に削減できて一旦満足したのですが、リソースの効率的な利用やデプロイの速度向上を目指す中で、さらなるイメージサイズの削減ができることがわかったので、新たな試みをしてみることにしました。 DevOps経験のあるエンジニアには既知の内容だと思いますが、初心者の方々への参考として、改善内容を共有します。元のDo

スタートアップのエンジニアってマジでなんでもできるんだなと思った ~2023ふり返り~

こんにちは、すずきです。 M-1とSASUKEが終わるといよいよ年の瀬なんだなぁって感じっすね。ここ一年、月イチペースでnoteの更新をやってきたんですが、技術まわりやAWS認定資格の投稿ばかりで、開発業務の内容、チーム運用、働き方など、弊社の組織に関する内容を全く投稿できていませんでした。個人的な話なんですが、2023年はこれまで主にやっていたフロントエンドやAIまわりだけでなく、インフラ(AWS)や新しい言語(Golang)などのいろんな領域に挑戦できました。この

超いまさらだけどバックエンド開発環境をDockerコンテナ化したよ

こんにちは、エンジニアのすずきです。ローカル開発環境のコンテナ化…どの企業様でもされていると思うのですが、限られたエンジニア数で新機能開発に重きをおいた結果、弊社ではずっと先送りになっておりました… 先送りにした結果、dev環境とローカル環境で同じDB(RDS)を参照する状況となり、チーム開発に大きな支障をきたしてしまいました。私は主にフロントエンドとAIまわりを担当しているため、Dockerについてはあまり詳しくなかったのですが、チーム開発の崩壊を防ぐために、以下

SageMaker Training JobsでBERTの応用モデルの事前学習をためしてみる

こんにちは、エンジニアのすずきです。以前の記事で、TabBERTモデル(IBM論文の付属コード)の環境構築と学習(事前学習、Fine-Tuning)をEC2上で行いました。動作確認くらいであればこれで問題なかったのですが、いざ本番運用を考えてみると、以下のような問題がありそうでした。学習中以外の時間にかかるEC2のコスト推論環境を別途たてることになったときの環境再構築コスト入出力データの管理の手間調べてみたところ、Amazon SageMakerというAW

フォローしませんか？

#docker