もちパパ

都内の社内SE（情シス部）。動物（特に犬）が好き。 日頃学んだことを記録として残します…

もちパパ

都内の社内SE（情シス部）。動物（特に犬）が好き。 日頃学んだことを記録として残します。誰かの役に立ったら幸いです。あやふやな点もあります（？を付けてる箇所）。コメントをお願いします（誤ってる点は正しい情報をご教示いただけると幸いです。）

  • #AI

    AI関連の学びなどを整理します

  • #WEB開発

    WEB開発で学んだことを記録します

  • #プロジェクトマネジメント

    プロジェクトマネジメントについての記録です。

  • #人と犬の幸せな共生

    人と犬の幸せな共生について考えたことなどを残します。

  • #AWS

    AWS関連の記事です。

Digdagでバッチを実行

１．EC2インスタンスに接続 （１）TeraTermから接続で「認証に失敗しました」 ・原因：ユーザーにキー名を入れていた。 ・解決策：ユーザーを"ec2-user"とする ２．Digdagをインストール３．Javaをインストール・コマンド sudo rpm -ivh jdk-8u92-linux-x64.rpm ・エラー error: open of jdk-8u92-linux-x64.rpm failed: No such file or directory ・解決策

もちパパ

    • EMRクラスターの起動とSpackシェル実行

      １．ローカルから接続（１）あｘｘｘｘｘｘｘｘｘ ・原因：EMRは利用できるインスタンスタイプが限定されている。 ・解決策 AWSの東京リージョン（ap-northeast-1）で利用可能で、EMR（Amazon Elastic MapReduce）のSparkで利用できるコストの安いインスタンスタイプは、主に以下のものがあります。EMRのSparkで使用する場合、メモリとCPUのバランスが重要ですので、コストと性能のバランスを考慮した選択が求められます。 （参考）コス

      もちパパ

      • MySQL & Embulk

        １．MySQLセットアップ・問題 MySQL起動のコマンドが”mysql -user root -password”だと起動しない ・解決策 "mysql -uroot -p"だと起動する ２．Embulkのセットアップ（１）java.io.FileNotFoundException: C:\Program%20Files\embulk\embulk-0.11.4.jar ・コマンド java -jar embulk-0.11.4.jar example ./try

        もちパパ

        • SageMaker Canvasでモデル作成、デプロイして利用する際につまづいたこと

          １．JupyterLabに大量の画像ファイルをアップロードした際、 Delete Failed send2trash failed: [Errno 28] No space left on device: b'/home/ec2-user/SageMaker/.Trash-1000/info/wk 1.trashinfo' ◆対策：Terminalから不要なファイルを削除 　・不要なファイルやディレクトリを削除してディスクスペースを確保します。 　・rm コマンドを使用して

          もちパパ

        Digdagでバッチを実行

        もちパパ

        マガジン

        • #AI
          5本
        • #WEB開発
          1本
        • #プロジェクトマネジメント
          2本
        • #人と犬の幸せな共生
          2本
        • #AWS
          1本

        記事

          HerokuでWEBアプリを公開したときにつまづいた箇所と対応方法

          １．”heroku pg:info”事象 コマンドプロンプトで”heroku pg:info”を実行したところ、以下メッセージが表示される » Warning: heroku update available from » 7.53.0 to 8.1.9. ! postgresql-deep-89401 is not ! yet provisioned. ! Run heroku addons:wait ! to wait until the db is provisi

          もちパパ

          HerokuでWEBアプリを公開したときにつまづいた箇所と対応方法

          もちパパ

          InvalidRequestError: Must provide an 'engine' or 'deployment_id' parameter to create … の対応

          結論 環境変数の設定を先に実行する。 （例） 　os.environ["OPENAI_API_TYPE"] = "azure" 詳細・以下コードを実行したとき、以下エラーが発生した。 ＜実行したコード＞ （色々省略） embeddings = OpenAIEmbeddings(　deployment=EMBEDDING_LLM_DEPLOYMENT_NAME,　openai_api_version=EMBEDDING_LLM_API_VERSION,　chunk_

          もちパパ

          InvalidRequestError: Must provide an 'engine' or 'deployment_id' parameter to create … の対応

          もちパパ

          本番障害が発生したときにやるべきこと

          結論 　１．顧客影響、業務影響を極小化する 　２．直接原因を踏まえて横展開する 　３．システムを復旧する 　４．直接原因のみならず根本原因を明らかにする 　５．再発防止する 詳細１．顧客影響、業務影響を最小限にする まずは業務影響、顧客影響はどのくらいあるのか、代替策があるのか、を把握する。 システム復旧には時間がかかることも多い。システム復旧できなくとも影響を極小化することを最優先する。 原因は後でよい。システム復旧も（代替策がない場合を除き）後でよい。 ２．直接

          もちパパ

          本番障害が発生したときにやるべきこと

          もちパパ

          テスト期間に品質強化のためにできること

          結論テスト期間に欠陥（バグ）が多く見つかり、品質強化が必要となった場合の対策は以下の通り。 　１．発生した欠陥の横展開 　２．発生していない欠陥を検出するための横展開 　３．密なコミュニケーション ＜前提＞ 　筆者（私）は社内SEで設計から結合テストは外部ベンダーに委託している 詳細１．発生した欠陥の横展開 これは当たり前だができていない開発者もいる。特に重要だが漏れる点は以下。 　（１）横展開の結果だけではなく、範囲・観点を明確にする 　　横展開は結果だけでは意味

          もちパパ

          テスト期間に品質強化のためにできること

          もちパパ

          犬と人の幸せな共生のためにできること

          結論以下のマインドマップにまとめました。他にもアイディアがあればコメントをいただければ幸いです。

          もちパパ

          犬と人の幸せな共生のためにできること

          もちパパ

          犬が保健所に収容されることを防ぐ方法を考える①

          結論１．犬が保健所に収容されることを防ぐには以下が重要 　（１）迷子を防ぐ 　（２）迷子になった犬を家族の元に返す ２．なぜなら、犬が保健所に収容される原因は、飼い主の持ち込み、野犬、迷子で分けると、迷子（意図的に飼育放棄して迷子にさせる場合と推定値含む）が30.4%～83.5%（？） ※ただし、引き取りと処分は年度をまたぐこともありえる（令和2年に引き取られた犬が令和3年に譲渡されるなど）ので、正確性に欠ける 詳細な分析方法１．環境省の令和3年度分の統計資料（URL:

          もちパパ

          犬が保健所に収容されることを防ぐ方法を考える①

          もちパパ

          RDSのメモリ使用率の確認方法

          結論１．拡張モニタリングを有効にするなど設定すればメモリ使用率を監視することは可能。設定が慣れてないと面倒、かつCloudWatch無料枠を超えると料金が発生する（？） ２．代替策としては、メモリ空き容量とメモリ上限から使用率を計算する。 メモリ使用率 　　＝　メモリ使用量　/　メモリ上限 　　＝　（メモリ上限　-　メモリ空き容量（※１））　/　メモリ上限（※２） （※１）メモリ空き容量（FreeableMemory）はCloudWatchで容易に確認可能。 （※２）メ

          もちパパ

          RDSのメモリ使用率の確認方法

          もちパパ