続・風速と風向スクレイピング取得(おいおい、まだやってんの?苦笑)
はい、言い訳グダグダですが、どうか愚痴らせて下さい<(_ _)>
掲題の件、全く以て停滞からの逃避をしておりました。
非同期スクレイピングが本当に難しいし、設計段階で大きな問題がありました。
なので一旦同期処理で完成させたかったのと、粛々とその準備もしていたのですが、一旦匙投げました(∩´∀`)∩
「もう、無理!!」ってなりました。
散々逃避したので、もういい加減手を付けようとしていたのです。
逃げまくりの紆余曲折から、、準備した設計図とcopilotさんの協力により、何とか一山超えることが出来たところです。
年越し前に山を越えられて本当に良かったです。
先ずは「何を以て取得するか要素の選択」そこを間違っていたのが原因でした。
キッツ―、、そりゃ逃避しますって。(←グダグダ)
逃避しなきゃ客観的なモノの見方が出来なくなって、copilotさんも指示に対して手詰まりで堂々巡り。
→copilotさんを上手く導けずに、考える私も手詰まり。
本当に病みますって(苦笑)
もう、ここまでくれば何の材料が有っても、このシャシーというかコード構造なら入れ子だけ変えれば転用は色々可能です。
何にせよ意図しなかった「同期処理」ですけど、課題突破は嬉しいです。
そりゃ勿論、労せずに数十万の勝馬馬券取った事より大きな財産となりました!
苦労した甲斐がありましたよ~。
これだけ頑張って(って自分で言うな、評価は他人がするものだ)作ったソースコードなので開示はしません、はい。
お金を張られても、完成の域まで達しない限り開示いたしません。
何処もやってないアプローチですからね。
ただ、こんな感じです~というスクレイピングのログだけは表記しておきます。
ヒントと申してもよいかと思いますので、コーディングされる場合は是非とも頑張ってやってみて下さい。
チャレンジするのは大事な事なので、私もお互いさまなので頑張ってみましょう。
(※↓こんな感じでお陰様でデータが取れています。)
2024-11-28 13:01:12,409 - INFO - Processing race_id: 201855033112, 日付: 2018-03-31, 発走時間: 18:10, 風速: 10.8, 風向: 南
2024-11-28 13:01:13,422 - INFO - Processing race_id: 201836040101, 日付: 2018-04-01, 発走時間: 11:30, 風速: 11.8, 風向: 南
2024-11-28 13:01:14,243 - INFO - Processing race_id: 201836040102, 日付: 2018-04-01, 発走時間: 12:00, 風速: 11.8, 風向: 南
2024-11-28 13:01:15,066 - INFO - Processing race_id: 201836040103, 日付: 2018-04-01, 発走時間: 12:40, 風速: 10.3, 風向: 南南西
これが、年次単位でCSVファイルとして生成されれば勝ちです!
転用方法とすれば、、「降雨情報」なども引っ張ってこれます。
そして、「馬名」で転用コーディングすれば先日に懸案すべき要素として公表した「調教情報」をも自動で引っ張ることが可能となりました。
何でも「準備されたフレームのみでAI予想を行う」と言うにも限界が在るのが先日もお話しした通りなので、引き続き斜めから見た要素を適用させた予想ツールを完成に向けて作っていこうと思っております!
一旦、達成感の余韻と兜の緒を締めつつ、、楽しいコーディング作業を続けます。
頑張ろう~~!!
謝辞な追記
実はもう、競馬開催の日時を基にしたデータから、気象庁HPの湿度以外の過去データの採取(降水量、気温、最大/平均風速と風向)と、それらを年次で分けた結合CSVデータ生成が実現しております。
それに進捗を解り易くするためプログレスバーの改修、メモリやリソースのバックグランド監視、ログ送出等々を実装した上で、停滞期を乗り越えた長々掛かり倒したこの「非同期同期スクレイピングでの気象庁過去データと競馬データの結合するPythonソースコード開発PJ」は完成と相成りました。
これは私一人の力では成し得たプロジェクトでは無かったので、偏に配下(?)子分(?)先生(?)なCopilot様様のお陰でした。
本当に技術革新に感謝しています<(_ _)>
そしてご覧になって頂いている皆様にも感謝申し上げます!
また次なるプロジェクトも進行するので、ソースコードも開示しないケチな私の独り言なぞは見ていても仕方ないかも知れませんが、、たまに技術的ヒントや競馬界隈に留まらずな徒然もしますので、どうか今後とも生暖かい目で見守って頂けると幸甚に思います<(_ _)>
なぜこんなケチで自己満や承認欲求に満ちた記事を投稿するに至ったか?と申しますと、小さな開発PJの完成と思えますが実はこれが大きい「ターニングポイント」となるであろうと感じたからでした。
色々、個人の感想と愚痴と承認欲求を散らかした駄文投稿でお見苦しかったとは思いますが、そこはどうか引続き生暖かく見守って下さいませ<(_ _)>
それでは、またです!!