よしぎゅう

ココナラやクラウドワークスで活動しています。 プラグラムによるスクレイピングやAPI利…

よしぎゅう

ココナラやクラウドワークスで活動しています。 プラグラムによるスクレイピングやAPI利用してデータ収集、データ分析を生業にしており、それに伴って業務効率化のためのシステム開発も行っています。よろしくお願いします。

内閣府登録のNPO法人をプログラムで取得して地図にピン！ - 業務効率化の記録 #8

データ取得先内閣府NPOホームページ 取得データの詳細全国や各都道府県ごとにCSVが用意されていたのでそちらをダウンロード。ただしデータが大量だったので、大阪府限定・現在稼働中のNPOを取り出しました ・取得日 ・郵便番号 ・都道府県 ・主住所 ・NPO名称 ・責任者 ・設立日 ・目的（定款） 取得方法データ加工・地図にピンできるサイト 完了までに要した時間2時間以内 結果(csv)csv出力結果です。 結果(地図ピン)利用サイト：Leafletで地図に複数の住

よしぎゅう

    • 日本企業の株価情報をプログラムで取得 - 業務効率化の記録 #7

      データ取得先秘密 取得データの詳細・取得日 ・始値 ・高値 ・安値 ・終値 ・出来高 ・調整後終値 取得方法スクレイピング 完了までに要した時間3時間以内 結果(csv)csv出力結果です。 今回は2023年から現在までの約1年と少しのトヨタ自動車株式会社における日足データを取得。本来株価は数十年分のデータ量となるため、1年ちょいでやめました。さらに下位足だとより多くなりますね おまけ結果(グラフ)所感・まとめ1社だけ、日足データでさえもかなりのデータ量になりますね

      よしぎゅう

      • Google検索結果一覧をプログラムで取得 - 業務効率化の記録 #6

        データ取得先Google検索結果画面 取得データの詳細・取得日 ・検索キーワード（KW） ・順位 ・タイトル ・ドメインURL 取得方法スクレイピング 完了までに要した時間3時間以内 結果(csv)csv出力結果です。 キーワード（KW）に対して1ページ目検索結果状態を取得しました。取得したURLはドメインですが、詳細URLではありません。どちらも取得はできますが今回はドメインのみ。 所感・まとめGoogle検索結果の情報を取得しましたが、YahooでもBingで

        よしぎゅう

        • 一般社団法人ってなに？一覧をプログラムで取得 - 業務効率化の記録 #5

          データ取得先秘密 取得データの詳細法人名称、法人住所 取得方法スクレイピング 完了までに要した時間2時間以内 結果(csv)csv出力結果です。 東京都新宿区の一般社団法人を抽出しました。取得先は内緒で、収集件数も具体的には言いません。新宿だけでも数千は存在していました。 所感・まとめ昨今の住民訴訟案件や医療事故の増えてきた一般社団法人。監督官庁がなく各都道府県の届出で設立できてしまう、謎で怪しい組織。監督官庁がないため収集は厄介でしたが、今プログラムでは全国の

          よしぎゅう

        内閣府登録のNPO法人をプログラムで取得して地図にピン！ - 業務効率化の記録 #8

        よしぎゅう

          Amazonセラーアカウントから詳細情報をプログラムで取得 - 業務効率化の記録 #4

          データ取得先Amazon US（米国🇺🇸）のセラーアカウント個別ページ 1. こちらはレビューや出品国などの詳細情報を取得 2. こちらは出品数を取得 取得データの詳細セラーアカウントに紐づく取得時点のレビュー状態、評価％、30日間のレビュー数、90日間のレビュー数、1年間のレビュー数、全期間のレビュー数、出品国、出品数 取得方法秘密 完了までに要した時間2時間以内 結果(csv)csv出力結果です。 約300のセラーアカウントが対象となっています。出品国に関

          よしぎゅう

          Amazonセラーアカウントから詳細情報をプログラムで取得 - 業務効率化の記録 #4

          よしぎゅう

          Amazonセラーアカウントをプログラムで取得 - 業務効率化の記録 #3

          データ取得先Amazon US（米国🇺🇸）の個別商品ページ 個べう商品ページに飛ぶと複数セラーが競い合って出て狂うかと思います。カートとなっているセラーさんだけはなく、出品している競合セラーさんも全て引っこ抜きます。 ※以下はページ例です 取得データの詳細Amazon USに個別商品に出品しているセラーアカウントID 取得方法秘密 完了までに要した時間1時間以内 結果(csv)csv出力結果です。取得項目は、セラーアカウントのIDのみとなります。 300個のA

          よしぎゅう

          Amazonセラーアカウントをプログラムで取得 - 業務効率化の記録 #3

          よしぎゅう

          Amazon商品一覧からASINをプログラムで取得 - 業務効率化の記録 #2

          データ取得先Amazon US（米国🇺🇸）の何かしらの商品一覧ページ ◼️Toys & Games 　∟ Arts & Crafts Supplies 　∟ Baby & Toddler Toys 　∟ Building Toys 　∟ Collectible Toys 　∟ Dolls & Accessories 今回は上記ページで商品価格の高い順で取得。特に米国サイトだけが対象ではなく、日本はもちろん、カナダやメキシコなど全てが対象です。 各ページ3ページ目まで取

          よしぎゅう

          Amazon商品一覧からASINをプログラムで取得 - 業務効率化の記録 #2

          よしぎゅう

          気象庁から気象データをプログラムで取得 - 業務効率化の記録 #1

          データ取得先国土交通省 気象庁 Japan Meteorological Agency 取得データの詳細日本 🇯🇵 北海道 / 十勝地方　ぬかびら源泉郷 日本 🇯🇵 東京都 / 練馬地点 日本 🇯🇵 沖縄県 / 那覇地点 それぞれ1978年〜2024年6月（約46年間分）の平均気温(℃)を取得。 データ出力はCSVで、本ブログではグラフを表示させてみることにする 取得 Pythonによるスクレイピング 完了までに要した時間計2〜3時間 結果(csv)csv出力結果

          よしぎゅう

          気象庁から気象データをプログラムで取得 - 業務効率化の記録 #1

          よしぎゅう