OPTEMO エンジニアブログ

アポイントなしでそのまま商談開始できるインサイドセールス向けツール「OPTEMO」の開…

OPTEMO エンジニアブログ

アポイントなしでそのまま商談開始できるインサイドセールス向けツール「OPTEMO」の開発者が運営するブログです。開発業務、働き方などについて発信していきます。採用情報はこちら:https://optemo.co.jp/recruit/

マガジン

最近の記事

ECS & EventBridge & DynamoDBでAurora MySQLの月次データ削除バッチを自動化したよ

こんにちは、すずきです。 Aurora MySQLの不要データを削除するにあたり、データ数が多すぎて手動での削除は効率が悪いので、自動化を検討しました。今回は月単位のデータを日毎にバッチ処理で自動削除する仕組みを構築しました。 当初はEventBridge + Lambdaでバッチ処理を行うつもりだったのですが、よく考えたらLambdaの最大実行時間(15分)以内に処理が完了しないことに気がついたので、Lambdaの使用を諦めました。 そこで、ECS on Fargat

    • Aurora MySQLの不要なデータを削除してストレージを最適化したよ

      こんにちは、すずきです。 Aurora MySQLの使用容量の8割を占めるテーブルがあったのですが、過去データについてはCSV化してアーカイブできていたので、過去レコードを削除してDB容量を解放することにしました。 レコード削除だけで容量が解放されると思っていたら予想外に手間がかかったので、今回記事にしました。 テーブル使用容量の確認以下のクエリで各.ibdファイルの容量を確認できます。 SELECT file_name, ROUND(SUM(total_extent

      • RDS for MySQLからAurora MySQLへ移行したよ

        こんにちは、すずきです。 3ヶ月くらい前に、RDS for MySQLからAurora MySQLへDBを移行したので、そのときに検討したことや実際の作業手順などをまとめました。 同様の作業をされる方の参考になれば幸いです。 背景サービスのリリース後もRDS for MySQLを利用していましたが、クライアントやトラフィックが日々増えていくなかで、データの耐久性と将来的なパフォーマンスに不安がでてきていました。そこで、複数AZにデータを分散し、MySQLのパフォーマンス

        • AWS Certified Data Engineer - Associate(DEA-C01)の結果が出るまで1週間以上かかった件

          こんにちは、2024 Japan AWS All Certifications Engineersのすずきです。最近はGoogle Cloudばかり触っています。 このたび、2024/3に新設されたDEA-C01を受けてきました。 最近廃止になったAWS Certified Data Analytics - Specialty(DAS-C01)と試験範囲が近く、データ解析に関連するサービス(Glueとか)も結構業務で触るので、復習も兼ねて勉強しました。 試験結果859/

        ECS & EventBridge & DynamoDBでAurora MySQLの月次データ削除バッチを自動化したよ

        マガジン

        • 資格試験
          13本
        • メンバー紹介
          8本
        • イベント/展示会
          2本
        • CEO 桃太郎の日記🍑
          14本
        • AI関連
          14本
        • ワーケーション
          6本

        記事

          ECRコンテナイメージのセキュリティスキャンとSlack通知を自動化したよ

          こんにちは、すずきです。最近はハリソン山中の喋り方で日常生活を送っています。 ECS on Fargate環境を導入する際、最初にCIへTrivyやDockleによるコンテナイメージの脆弱性スキャンを組み込んだのですが、次にリリース間のセキュリティリスクも考えて、ECRのイメージを定期的にスキャンしてその結果をSlackで通知する仕組みをつくりました。 Lambda、EventBridge、S3、IAMロールというAWSの基本リソースを使用して、誰でも簡単にこの仕組みを構

          ECRコンテナイメージのセキュリティスキャンとSlack通知を自動化したよ

          Google Cloud Next Tokyo ’24に行ってきたよ(2024/8/2)

          こんにちは、すずきです。 6月のAWS Summitに引き続き、夏季休暇でGoogle Cloud Nextに初めて参加してきました(弊社では7~10月に3日間選択して夏季休暇を取れます)。 雰囲気会場を俯瞰で撮影できる場所が見当たらなかったので少し伝えづらいのですが、AWS Summitがディズニーなら、Google Cloud NextはUSJみたいなこぢんまりとした感じでした。 それなりの人混みではありましたが、会場は歩き疲れるほどの広さではなく、私にとってはちょ

          Google Cloud Next Tokyo ’24に行ってきたよ(2024/8/2)

          TROCCOのプランが変わったので、Cloud FunctionsでHubSpotからBigQueryへデータ転送してみたよ

          こんにちは、すずきです。 どうにも盛り上がりに欠けるバチェロレッテシーズン3を最新話まで観終わったので、バーベキュー最強決戦!シーズン3を観始めました。第六話の「牛肩バラ肉勝負」は名勝負でしたね.. はじめに本記事では、HubSpotで管理している「コンタクト(contacts)」「会社(companies)」「取引(deals)」データを、BIツール(Looker Studioなど)のデータソースとなるBigQueryに転送する方法を紹介します。 これまでTROCCOと

          TROCCOのプランが変わったので、Cloud FunctionsでHubSpotからBigQueryへデータ転送してみたよ

          ECSタスクのスケジュール停止でコストを削減したよ

          こんにちは、すずきです。 最近はバチェロレッテシーズン3というお笑い恋愛リアリティショーとDoctor Climaxというタイの謎ドラマを観て真実の愛について勉強しています。 真実の愛を学んでいる傍ら、サービスのデプロイ先をLambdaからECS on Fargateに変更しました。本番環境以外にかかるコストをできるだけ削減しようと、いろいろ試みてきました。 vCPUとメモリを最小構成(0.25 vCPU, 0.5 GB)にする Fargate Spotを使用する E

          ECSタスクのスケジュール停止でコストを削減したよ

          【朗報】AWS認定全冠(12冠)後、2024 Japan AWS All Certifications Engineersになんとか選ばれたよ。

          こんにちは、すずきです。 このたび、2024 Japan AWS All Certifications Engineersに選ばれましたヾ(*´∀`*)ノ♥ワーイッ 以前、Japan AWS All Certifications Engineersにはどうやら選ばれない、みたいな記事を書いたんですが、すみません!選ばれちゃいました☆(・ω<) 別に嘘をつくつもりはなかったんです.. この記事を書いた当時は選定基準を満たせていなかったんですが、思いの外簡単に満たせてしまっ

          【朗報】AWS認定全冠(12冠)後、2024 Japan AWS All Certifications Engineersになんとか選ばれたよ。

          AWS Summit Japanに初めて行ってきたよ(2024/6/21)

          こんにちは、すずきです。 2024/6/21に有給休暇を取ってAWS Summit Japanに行ってきたのでたくさん感想を書きます!!..というつもりだったのですが、体調不良で午前中の参加のみとなり、予約していたセッションにも全部不参加となってしまったので、Summitの雰囲気と戦利品(各社ノベルティ)の紹介だけします。本当に薄い内容となります。すみません! 企業ブース自分がかなりミーハーなので、知っている企業のグッズ(ノベルティ)を集めるためにいろんなブースにお邪魔し

          AWS Summit Japanに初めて行ってきたよ(2024/6/21)

          ECSのCI/CDを運用&セキュリティ面でいろいろ工夫したよ

          こんにちは、すずきです。 最近、GitHub ActionsでECS on FargateのCI/CDワークフローを構築する機会があったので、運用保守やセキュリティに関して工夫した点をまとめました。 英語版の記事もあるので、日本語が苦手な方はこちらをご覧ください。割と反響がありました(1週間で12,000 View超えた)。 ワークフロー全容以下がECS on FargateのCI/CDワークフローの全容です。このワークフローは、コードのチェックアウト、ECRリポジトリ

          ECSのCI/CDを運用&セキュリティ面でいろいろ工夫したよ

          トレーニング環境をAWS SageMakerからGCP Vertex AIへ移行したよ

          こんにちは、すずきです。 以前、モデルのトレーニングにAWSのSageMaker Studioをつかっていたのですが、期間限定で$100,000(1500万円..!)のGCPクレジットをいただいたので(Google Cloud for Startupsによるスタートアップ支援)、トレーニング環境をVertex AI Workbenchに移行しました。 SageMakerとVertex AIで使い勝手がところどころ違ったので、移行プロセスを共有します。 こちらは以前書いた

          トレーニング環境をAWS SageMakerからGCP Vertex AIへ移行したよ

          GCP Professional Cloud Architect(PCA)に合格したらGoogle Cloudからフリースをもらえたよ

          こんにちは、すずきです。 先に書きますが、今回の記事はいつもよりさらに中身がないです。  先月(2024/3/15)、GCP認定資格であるProfessional Cloud Architect(PCA)を受けてきました。 Google Cloud for Startupsによるスタートアップ支援で期間限定クレジット($100,000..!)を手に入れてから、BigQueryやCloud FunctionsやVertex AIなどのGCPサービスを最近よく使うようになりま

          GCP Professional Cloud Architect(PCA)に合格したらGoogle Cloudからフリースをもらえたよ

          BigQueryでLooker Studioの自動データ更新をしてみたよ

          はじめにこんにちは、すずきです。 CS部門では、お客さまとの打ち合わせでLooker Studioを用いた分析データを共有しているのですが、このプロセスにいくつかの課題がありました。 課題の解決にあたって初めてGCP(BigQuery, Cloud Functions)を触ったので、備忘録として記事を書きました。 従来の手順 アプリケーションの管理画面から過去一週間分のデータをCSV形式でエクスポート そのデータをGoogleスプレッドシートに手動でコピー スプ

          BigQueryでLooker Studioの自動データ更新をしてみたよ

          SageMaker TrainingのDockerイメージとConda環境を最適化したよ

          こんにちは、すずきです。 以前、以下の記事でDockerコンテナ内にConda環境を設定し、Amazon SageMakerでのトレーニングを実行する手順を書きました。 また、以下の記事では、デバッグ環境(EC2/Deep Learning AMI)とトレーニング環境(SageMaker)で環境を一致させるために、condaの設定ファイルenvironment.ymlをデバッグ環境から書き出して、それを使ってトレーニング環境のDockerイメージを構築しました。 Doc

          SageMaker TrainingのDockerイメージとConda環境を最適化したよ

          Bunを使ってCIの実行時間を大幅削減した

          こんにちは。 株式会社OPTEMOでエンジニアをしている田代です。 久しぶりのnote投稿です。 頑張って書いています。 CIの時間はゼロにしたいCIの回る時間は、極力ゼロにしたいです。 PRを捌くことに直接的な影響はあまりないかもしれませんが、サクッとPRレビューしてマージしたくてもCIで待つ必要があったり、あとはコスト面でもないにこしたことはありません。 最近ありがたいことに開発に携わる人数が増加していていたり細かな修正もどんどん対応していくことでPRの本数が増えて

          Bunを使ってCIの実行時間を大幅削減した