New-Village

防衛/犯罪対策領域のAIエンジニアです。週末プログラマーとして興味の赴くままにリサーチとアプリ構築を行っています。

New-Village

防衛/犯罪対策領域のAIエンジニアです。週末プログラマーとして興味の赴くままにリサーチとアプリ構築を行っています。

    • 日本の元号対応datetimeライブラリ「jpdatetime」をリリースしました

      開発の経緯日々の生活において和暦に触れることはないのですが、一たび政府発行の公文書に触れ始めると多く目にすることとなります。しかし、Pythonの標準ライブラリであるdatetimeクラスは西暦にしか対応しておらず、元号を扱うには独自の処理の実装が必要であり、都度都度ロジックを実装するのが手間だったため、元号に対応した日時データを簡単に扱えるようにすることを目指して、jpdatetimeというライブラリを開発することにしました。 Pypiで検索してみると、いくつかのライブラ

      New-Village

      日本の元号対応datetimeライブラリ「jpdatetime」をリリースしました

      New-Village

      • 国税庁 法人番号公表サイトの分析

        国税庁が公表している法人番号公表サイトでは、日本の法人 5,467,443社（4月30日現在）に関する法人番号、法人名やフリガナ、英語社名、住所、英語住所などを提供しています。 法人名や住所に関するデータセットとしては非常に規模が大きく、自然言語処理の題材として面白いので、今回は、これらデータの内容を確認していきたいと思います。 サンプルデータ今回の分析対象となるデータのサンプルは下記のとおりです。意図的に自然言語処理の対象となる変数で、かつ、欠損値（NaN）が無いレコード

        New-Village

        国税庁 法人番号公表サイトの分析

        New-Village

        • Blockchain データ分析（2）：分析用データの加工

          前回の記事「Blockchain データ分析（1）：分析用データの入手」で AWS Public Blockchain Data から、ビットコインのブロックチェーンデータを収集してきました。 ダウンロードしてきたブロックチェーンのデータは、一つのトランザクションの中に、複数の送金元と送金先が混在しています。このため、伝統的な分析を行うためにはアドレス（口座、ウォレット）単位で、送金元と送金先、金額、日付時刻が整理されている形にする必要があります。 今回のタスクでは、ダウン

          New-Village

          Blockchain データ分析（2）：分析用データの加工

          New-Village

          • Blockchain データ分析（1）：分析用データの入手

            本記事は 勉強用に金融トランザクション・データを入手する｜New-Village (note.com) と同一内容になります。データ収集用のスクリプトを Python で作成しなおしたので、ファイルの一括入手 部分のみを書き直したものになります。 Spark を使った分析アプリケーション構築を作るに際して、ある程度の規模を持ったトランザクション・データが欲しかったので、暗号資産の取引データを入手してみました。 Googleで検索した感じ、日本語での説明書きがなかったので、記

            New-Village

            Blockchain データ分析（1）：分析用データの入手

            New-Village

            • 勉強用に金融トランザクション・データを入手する

              Spark を使った分析アプリケーション構築を作るに際して、ある程度の規模を持ったトランザクション・データが欲しかったので、暗号資産の取引データを入手してみました。 Googleで検索した感じ、日本語での説明書きがなかったので、記録として残しておきます。 １．データソースの選定Blockchain から直接入手 暗号資産のデータはブロックチェーンから直接取得することが可能です。Github 上でETLプロジェクトが共有されており、Pythonであれば pip でプロジェク

              New-Village

              勉強用に金融トランザクション・データを入手する

              New-Village

              • AIエディタがプログラム開発で役に立つポイント

                昨日に続き、Cursor エディタを使ってみての感想投稿です。本日は、気象庁のREST APIからデータを取得して成形したのちに、コンソールに出力するプロジェクトを開発していました。 AIが役に立ったポイント1. データ処理ロジックの生成 今回は気象庁から取得したJSONを加工するロジックを実装しています。気象庁が提供しているJSONをファイルにダウンロード（input.json）し、さらに加工後のJSONフォーマットを手作業で作成してファイルを作成（output.jso

                New-Village

                AIエディタがプログラム開発で役に立つポイント

                New-Village