OPTEMOエンジニアブログ

RDS for MySQLからAurora MySQLへ移行したよ

こんにちは、すずきです。 3ヶ月くらい前に、RDS for MySQLからAurora MySQLへDBを移行したので、そのときに検討したことや実際の作業手順などをまとめました。同様の作業をされる方の参考になれば幸いです。背景サービスのリリース後もRDS for MySQLを利用していましたが、クライアントやトラフィックが日々増えていくなかで、データの耐久性と将来的なパフォーマンスに不安がでてきていました。そこで、複数AZにデータを分散し、MySQLのパフォーマンス

AWS Certified Data Engineer - Associate(DEA-C01)の結果が出るまで1週間以上かかった件

こんにちは、2024 Japan AWS All Certifications Engineersのすずきです。最近はGoogle Cloudばかり触っています。このたび、2024/3に新設されたDEA-C01を受けてきました。最近廃止になったAWS Certified Data Analytics - Specialty(DAS-C01)と試験範囲が近く、データ解析に関連するサービス(Glueとか)も結構業務で触るので、復習も兼ねて勉強しました。試験結果859/

ECRコンテナイメージのセキュリティスキャンとSlack通知を自動化したよ

こんにちは、すずきです。最近はハリソン山中の喋り方で日常生活を送っています。 ECS on Fargate環境を導入する際、最初にCIへTrivyやDockleによるコンテナイメージの脆弱性スキャンを組み込んだのですが、次にリリース間のセキュリティリスクも考えて、ECRのイメージを定期的にスキャンしてその結果をSlackで通知する仕組みをつくりました。 Lambda、EventBridge、S3、IAMロールというAWSの基本リソースを使用して、誰でも簡単にこの仕組みを構

Google Cloud Next Tokyo ’24に行ってきたよ(2024/8/2)

こんにちは、すずきです。 6月のAWS Summitに引き続き、夏季休暇でGoogle Cloud Nextに初めて参加してきました(弊社では7~10月に3日間選択して夏季休暇を取れます)。雰囲気会場を俯瞰で撮影できる場所が見当たらなかったので少し伝えづらいのですが、AWS Summitがディズニーなら、Google Cloud NextはUSJみたいなこぢんまりとした感じでした。それなりの人混みではありましたが、会場は歩き疲れるほどの広さではなく、私にとってはちょ

TROCCOのプランが変わったので、Cloud FunctionsでHubSpotからBigQueryへデータ転送してみたよ

こんにちは、すずきです。どうにも盛り上がりに欠けるバチェロレッテシーズン3を最新話まで観終わったので、バーベキュー最強決戦!シーズン3を観始めました。第六話の「牛肩バラ肉勝負」は名勝負でしたね.. はじめに本記事では、HubSpotで管理している「コンタクト(contacts)」「会社(companies)」「取引(deals)」データを、BIツール(Looker Studioなど)のデータソースとなるBigQueryに転送する方法を紹介します。これまでTROCCOと

ECSタスクのスケジュール停止でコストを削減したよ

こんにちは、すずきです。最近はバチェロレッテシーズン3というお笑い恋愛リアリティショーとDoctor Climaxというタイの謎ドラマを観て真実の愛について勉強しています。真実の愛を学んでいる傍ら、サービスのデプロイ先をLambdaからECS on Fargateに変更しました。本番環境以外にかかるコストをできるだけ削減しようと、いろいろ試みてきました。 vCPUとメモリを最小構成(0.25 vCPU, 0.5 GB)にする Fargate Spotを使用する E

【朗報】AWS認定全冠(12冠)後、2024 Japan AWS All Certifications Engineersになんとか選ばれたよ。

こんにちは、すずきです。このたび、2024 Japan AWS All Certifications Engineersに選ばれましたヾ(*´∀`*)ﾉ♥ﾜｰｲｯ以前、Japan AWS All Certifications Engineersにはどうやら選ばれない、みたいな記事を書いたんですが、すみません！選ばれちゃいました☆(・ω<) 別に嘘をつくつもりはなかったんです.. この記事を書いた当時は選定基準を満たせていなかったんですが、思いの外簡単に満たせてしまっ

AWS Summit Japanに初めて行ってきたよ(2024/6/21)

こんにちは、すずきです。 2024/6/21に有給休暇を取ってAWS Summit Japanに行ってきたのでたくさん感想を書きます！！..というつもりだったのですが、体調不良で午前中の参加のみとなり、予約していたセッションにも全部不参加となってしまったので、Summitの雰囲気と戦利品(各社ノベルティ)の紹介だけします。本当に薄い内容となります。すみません！企業ブース自分がかなりミーハーなので、知っている企業のグッズ(ノベルティ)を集めるためにいろんなブースにお邪魔し

ECSのCI/CDを運用&セキュリティ面でいろいろ工夫したよ

こんにちは、すずきです。最近、GitHub ActionsでECS on FargateのCI/CDワークフローを構築する機会があったので、運用保守やセキュリティに関して工夫した点をまとめました。英語版の記事もあるので、日本語が苦手な方はこちらをご覧ください。割と反響がありました(1週間で12,000 View超えた)。ワークフロー全容以下がECS on FargateのCI/CDワークフローの全容です。このワークフローは、コードのチェックアウト、ECRリポジトリ

トレーニング環境をAWS SageMakerからGCP Vertex AIへ移行したよ

こんにちは、すずきです。以前、モデルのトレーニングにAWSのSageMaker Studioをつかっていたのですが、期間限定で$100,000(1500万円..!)のGCPクレジットをいただいたので(Google Cloud for Startupsによるスタートアップ支援)、トレーニング環境をVertex AI Workbenchに移行しました。 SageMakerとVertex AIで使い勝手がところどころ違ったので、移行プロセスを共有します。こちらは以前書いた

GCP Professional Cloud Architect(PCA)に合格したらGoogle Cloudからフリースをもらえたよ

こんにちは、すずきです。先に書きますが、今回の記事はいつもよりさらに中身がないです。　先月(2024/3/15)、GCP認定資格であるProfessional Cloud Architect(PCA)を受けてきました。 Google Cloud for Startupsによるスタートアップ支援で期間限定クレジット($100,000..!)を手に入れてから、BigQueryやCloud FunctionsやVertex AIなどのGCPサービスを最近よく使うようになりま

BigQueryでLooker Studioの自動データ更新をしてみたよ

はじめにこんにちは、すずきです。 CS部門では、お客さまとの打ち合わせでLooker Studioを用いた分析データを共有しているのですが、このプロセスにいくつかの課題がありました。課題の解決にあたって初めてGCP(BigQuery, Cloud Functions)を触ったので、備忘録として記事を書きました。従来の手順アプリケーションの管理画面から過去一週間分のデータをCSV形式でエクスポートそのデータをGoogleスプレッドシートに手動でコピースプ

SageMaker TrainingのDockerイメージとConda環境を最適化したよ

こんにちは、すずきです。以前、以下の記事でDockerコンテナ内にConda環境を設定し、Amazon SageMakerでのトレーニングを実行する手順を書きました。また、以下の記事では、デバッグ環境(EC2/Deep Learning AMI)とトレーニング環境(SageMaker)で環境を一致させるために、condaの設定ファイルenvironment.ymlをデバッグ環境から書き出して、それを使ってトレーニング環境のDockerイメージを構築しました。 Doc

Bunを使ってCIの実行時間を大幅削減した

こんにちは。株式会社OPTEMOでエンジニアをしている田代です。久しぶりのnote投稿です。頑張って書いています。 CIの時間はゼロにしたいCIの回る時間は、極力ゼロにしたいです。 PRを捌くことに直接的な影響はあまりないかもしれませんが、サクッとPRレビューしてマージしたくてもCIで待つ必要があったり、あとはコスト面でもないにこしたことはありません。最近ありがたいことに開発に携わる人数が増加していていたり細かな修正もどんどん対応していくことでPRの本数が増えて

フォローしませんか？

#エンジニア採用