イワシ銀行

社会人2年目。 休日はAWSでコーポレートガバナンス報告書のデータ抽出アプリを個人開発中。

イワシ銀行

社会人2年目。 休日はAWSでコーポレートガバナンス報告書のデータ抽出アプリを個人開発中。

EDINETの書類情報をMySQLに書き込む

EDINETに公開されているXBRLを複数年分ダウンロードする下準備として、まずはEDINETに公開されている書類情報を保存しようと思います。 今回はPCの空き容量が少ないのと、最近AWS上で稼働するプログラムを作っているので、勉強を兼ねてDBに書類情報を書き込むようにします。 開発環境 実行環境：Cloud 9（Amazon Linux 2023） t2.micro (1 GiB RAM + 1 vCPU) データベース：RDS（MySQL）db.t3.micro ①

イワシ銀行

    • 【東証XBRL】決算短信の前年同期比(%)は千円単位？百万円単位？選好している？(Python, R)

      決算短信を読んだとき、前年同期比のパーセント数値が百万円単位で計算されているのか、千円単位で計算されているのかが気になりました。今回気にしているのは、決算短信１ページ目の（１）連結経営成績にある％数値です（下図参照）。 大学の財務モデリングの授業中、Excelで計算した値と決算短信の値を比較したときに、財務諸表の伸び率と短信の伸び率が異なっていたので、おそらく財務諸表で表示される数値単位に揃えて計算しているんだろうな、という固定観念を持っていました。 今回、東証XBRLに

      イワシ銀行

      • Raspberry PiにApache-Tomcatを入れてローカルサーバーをたてる

        IT企業に入社して、今後Linuxを使う機会が増えるそう。そこで、実家にあったRaspberry Piを使い、Apache-TomcatをインストールしてTomcatで動くアプリのデプロイ（ローカルネットワーク）方法について学びました。 いくつか躓いたポイントがあったのと、+忘備録的意味も込めてnoteを書こうと思います。 主に参考にしたサイト いろんなサイトを見ましたが、どのサイトも違う方法を伝授してくれるので、逆に何を参考に環境構築すればよいのかわからなくなってしまいま

        イワシ銀行

        • 【東証XBRL】業績修正に関する開示のXBRLについてのメモ（予想業績数値に上限・下限が設定されている場合）

          週末に気付いたことを書き残すメモ程度の内容なので、あまりしっかりは書きません。 XBRLに関するネット記事の多くは金融庁（EDINET）から取得できる有価証券報告書ついて記載されているケースが多いです。今回の記事は特殊で、EDNETではなく東京証券取引所が提供する適時開示情報閲覧サービス（TDnet）から取得できるXBRLファイルの一部分に焦点を当てたメモを残そうと思います。 まず有価証券報告書と適時開示のXBRLの違いとして、若干のタグ表記に違いがあるようです。例えばX

          イワシ銀行

          大量保有報告書に関するEDINET APIのメタデータを共有します（csv）

          諸事情あって大量保有報告書関連の書類を集めていますが、2023年のEDINET API改変後から、データの取得に時間がかかるような気がします。EDINET APIから提出書類を保存する際に必要になる作業の１つがドキュメントIDの保存です。 私だけかもしれませんが、EDINET APIのレスポンスステータスがたまに403？になって、有効なリクエストのはずなのに答えを教えてくれないことがあります。 時間をおいてアクセスしても改善しないため、正常な返り値が来るまで何度も時間を空け

          イワシ銀行

          大量保有報告書に関するEDINET APIのメタデータを共有します（csv）

          イワシ銀行

          【R】JPXが公開している先物・オプションのデータを使ってRの練習をする①

          データの保存本来ならばPython等で自動収集したほうが早いですが、データ数が少ないので手動でDLします。 保存したEXCELファイルは、どこかにまとめて保管します。 データ集約デザインありがたいことに、1日の中でも合計4種類のデータが存在します。これを1つのデータフレームに集約していきます。 例えば、各エクセルファイルが提供している表が1つのデータフレームだとすれば、 こんな感じのデータフレームになれば、見やすい気がします。 ここで、EXCELの中身を確認します。

          イワシ銀行

          【R】JPXが公開している先物・オプションのデータを使ってRの練習をする①

          イワシ銀行

          【Python】XBRLタグの無いテキストブロック内の表を抽出する（変更報告書（大量保有）の60日間取引履歴の抽出）

          変更報告書の60日間取引履歴について大量保有報告書も現在はXBRLデータが利用可能ですが、一部の要素は詳細なタグが与えられていないため、XBRLの解析だけでは内容の読み取りは困難です。その一例が、最近60日間の取引履歴表です。 上の表は、令和2年2月12日に提出された、ある企業の大株主による変更報告書です。しっかりと60日間の取引履歴について記述があるのが分かります。 この記述部分について、実際にXBRLファイルを覗いてみると、値はHTMLテキストで与えられているのが確認で

          イワシ銀行

          【Python】XBRLタグの無いテキストブロック内の表を抽出する（変更報告書（大量保有）の60日間取引履歴の抽出）

          イワシ銀行

          XBRLを読み解く（大量保有報告書）その①

          大量保有報告書や変更報告書のデータを抽出したいと思ったことはありませんか？私は毎日金融データのことばかり考えています。 Python初心者ですが、自分なりに頑張ってXBRLデータから欲しい値を抽出して、先日そのデータをcsv出力することに成功しました。折角なので、データの取得手順をネットに書き残そうと思います。 使用言語：Python ライブラリ：Arelle（環境設定はhttps://srbrnote.work/archives/5588 を参考にしました） どうやって

          イワシ銀行

          XBRLを読み解く（大量保有報告書）その①

          イワシ銀行

          スクレイピングで詰まっている件

          Pythonを使った有価証券報告書の情報スクレイピングを始めてかなり経ちますが、壁にぶつかっては解決しての繰り返しです。 今はHTML化された有価証券報告書の中にある経営者情報、「役員の状況」の表をスクレイプしようと試行錯誤中です。この情報を１つのデータベースにすることで、経営者がどれほどの株式を持っていて、どのタイミングでどれほど保有数が変動しているのかを知ろうとしています。 これは、有価証券報告書内で経営者の情報をまとめた表です。この表では、役員の役職名、氏名、生年月

          イワシ銀行

          スクレイピングで詰まっている件

          イワシ銀行

          XBRLを読み込んで大量保有報告書に関するデータを取得する【Python】

          今回は、株式関連のデータ収集として大量保有報告書のデータをPythonを用いて集約しようと思います。 大量保有報告書のデータを取得したいと思った背景詳しく話すと大変ややこしいのですが、ふと大学の研究活動を通して「上場企業経営者の株式保有に関するデータを集めてみよう！」と思いつきました。 上場企業経営者の株式保有数は有価証券報告書を通して年に１回開示される他、保有比率が大きく変動した際には不定期で5％ルール関連の書類でも開示されます。今回は後者の5％ルール関連の書類から株式

          イワシ銀行

          XBRLを読み込んで大量保有報告書に関するデータを取得する【Python】

          イワシ銀行

          XBRLを読み込んで財務三表コピペの数値ミスを軽減する（Python）

          大学の課題などで上場企業の財務を分析する際、財務数値を表計算ツールに書き写す作業があると思いますが、一番厄介なのが数字の書き写しミスです。 この道のプロフェッショナルは有料のデータベースを利用することが多いようですが、私のような大学生にはそんな高価なものに手が出ません。一方で毎年度の有価証券報告書から財務数値を書き写すのも一苦労です。 そこで、Pythonを使って有価証券報告書などの財務報告文書を一定のデータ形式に標準化している「XBRL」データを読み込んで、毎年の財務数

          イワシ銀行

          XBRLを読み込んで財務三表コピペの数値ミスを軽減する（Python）

          イワシ銀行

          株価のような１つの時系列データを週毎の系列データに変換するVBAコード

          株価や投資信託の価格推移をいろんなHPで入手することができます。 ふと、それらの株価をエクセルで折れ線グラフにプロットさせる時に、週毎に色を変えて表示させたいなと思ったことがありました。 イメージとしては↓ これを↓みたいに （出典：eMAXIS_先進国投資型ファンドの価格推移） 週毎に価格数値が入った列をスライドさせることで系列を変更（新たな系列を作成する）できるようになるわけですが、数年分の株価データを手動でポチポチと操作すれば日が暮れてしまいます。 【週ごと

          イワシ銀行

          株価のような１つの時系列データを週毎の系列データに変換するVBAコード

          イワシ銀行

          Google Scholarで引用件数順に論文を取得する (Python)

          日頃Google Scholarにお世話になっております。葉緑体です。 卒業論文に向けていろんな論文を探し始めたわけですが、ふとGoogle Scholarで論文を検索した時に、どうしても年代順か関連性でしか並べ替えをしてもらえないことにちょっと不便さを感じていました。 そこで気になったのが、「誰か引用件数順でソートする方法を開発してくれていないかな..」ということ。 これについて解決策をググってみたところ、わたくし発見してしまいました。 Ｑ．Google Schol

          イワシ銀行

          Google Scholarで引用件数順に論文を取得する (Python)

          イワシ銀行