【マナビDXQuest2023】開会式を終えて

先日開会式も終わり、いよいよ来週から本格的にマナビDXQuestスタートです。総勢2800名を超える様々な年齢・バックボーンを持つ方が集まっているのは、何と言うか壮観です。 開会式では、教材選択の説明がありました。 初参加者には情報量が多過ぎて脳疲労を起こしそうになりましたが、経験者の方が選び方をまとめてくださっていてとても助かりました。 退職予定とはいえ医療従事者の端くれとしては、医療DXに関連しそうな教材を選択したいところです。 Slackについて思うこと 参加者は

【マナビDXQuest2023】参加

昨日、マナビDXQuestの選考通過お知らせメールが来ました！ データ処理スキル計測テストはねばって「S」が取れたものの、コロナ後遺症罹患中なのもありプログラム対象者の適性等で自信が無かったので素直に嬉しい。 私は、マルチタスクが求められる医療機関の事務要員としてはポンコツになりました。長年勤めてきて、努力して積み重ねてきたものを手放さなくてはならないのは辛く、まだ諦めきれていない部分もあります。 しかし、今の自分でもやり方次第でまだ社会に対して役立つことができると考えてい

Pythonデータ分析（勾配ブースティング②ランキング法）

今回チャレンジしたのはSIGNATE練習問題：ECサイトにおける購買率の最適化です。（Competitions名：オプト レコメンドエンジン作成） 前回のSIGNATEの練習問題：債務不履行リスクの低減でLightGBMを初めて使用しましたが、理解が今一つだったので再度勾配ブースティング（GBDT）問題に挑みます。 データ前処理学習用データが四種類あり、train_A.tsv, train_B.tsv, train_C.tsv, train_D.tsvでそれぞれ人材、旅行、

Pythonデータ分析（勾配ブースティング①分類）

nopoです。コロナ後遺症患者です。 すっかり長期療養組になってしまいましたが、カメの歩みの如くでも徐々に体調は良くなっています。 日中の活動に必要な臥位休息時間が8～10時間だったものが最近は3時間程になりました。PC作業時間が長くとれるので勉強が捗ります。 残念ながら現職復帰レベルまでは改善せずそろそろ職を失いそうですが、それはそれとして黙々と機械学習の理解を深めていこうと思います。 今回はSIGNATEの練習問題：債務不履行リスクの低減をやってみました。 分類問題で、

Pythonデータ分析（重回帰分析②）

SIGNATEの練習問題：民泊サービスの宿泊価格予測をやってみました。 SIGNATEのGymでscikit-learn道場をクリアしたので重回帰分析以外の手法も試してみたいのですが、パラメーターチューニングや K-分割交差検証の概念を得たので再度重回帰分析モデルを使用しました。 データ読込28列55583行と特徴量が多く、把握に時間がかかりました。 最終的に使用したのは下記のカラムです。 accommodates：収容可能人数 bathrooms：風呂数 bed_type

評価関数

回帰モデルと分類モデルの評価の方法メモ。 回帰モデルの評価1.MeanAbsoluteError【平均絶対誤差】 平均絶対誤差（MAE）は、小さいほど精度が良いです。真の値と予測値の差の絶対値の平均つまりどれだけズレているか外れ値の影響を低減した形での評価に適しています。 全サンプルの誤差を平等に評価し、サンプル全体の誤差をできるだけ小さくしたい場合に利用します。さらにMAEは外れ値に影響されにくいです。 from sklearn.metrics import mean

データ前処理②

機械学習前のデータ処理メモ。 教材の説明だけでは理解しにくい部分をBardに「もう少しわかり易く教えて」等聞きながら作りました。 標準化 データの標準化（Standardization）とは、平均を0に、標準偏差を1にするスケーリングを意味します。機械学習の中でもNN（ニューラルネットワーク）の分野では、データの標準化をしないとモデル精度が落ちてしまうことがあります。 例えば、検診データからある病気にかかっているかを分類する機械学習モデルを作成する際に、身長と体重を示す説

データ前処理①

データを前処理する手順のメモ。読み込み ～ 集計・可視化まで。 ライブラリ読み込み import pandas as pdimport numpy as npimport matplotlib.pyplot as plt%matplotlib inline　#JupyterLabでグラフ表示import japanize_matplotlib　#matplotlibグラフ見出し等日本語化import seaborn as sns データ読み込み、日付データ変換 ※日付

体調記録の可視化

コロナ後遺症で私が一番厄介だと感じる症状は倦怠感です。 １時間座っているだけで疲れて息切れし、臥位で休息しないと回復しません。無理に動き続けると症状が悪化して翌日は３０分も座っていられなくなったりします。 日によりますが、労作後の臥位休息時間は１時間は必要です。 日常生活の動作が減ったことで筋力が低下し、廃用性症候群で怠くなっているのではと医師から指摘されましたが、体調が良い日は２～３時間座っていても疲れないのでそれだけでは説明がつかないと思っています。 日にちの経過で体感

マナビDXクエストに申込みしてみました。データ処理スキル計測テストはスコア733.3でＢ。表計算ソフトを使うのが久しぶり過ぎて右往左往のタイムオーバー… 悔しいので再テスト受けたいと思います。 https://dxq.manabi-dx.ipa.go.jp/

Pythonデータ分析（重回帰分析）

現在、SIGNATEの学習サイトを利用してPythonのデータ分析手法を学んでいます。 体調が良い日にPCへ向かい、悪い日は動画やサイトを見ながら勉強しておりカメの歩みのごとき進捗です。 それでも、最初はサッパリ分からなくてスルーしていたものが後日「こういうことか！」と理解できた時の喜びはひとしおです。やっぱり学びは良いです。 １.データの読み込み SIGNATEの練習問題：自動車の走行距離予測をやってみました。 カラム名から何を表している値なのか分からず躓いたので、Ba

Python作業環境メモ

何度も自分の作業環境を忘れて都度調べなおしてしまうので、メモ。 適宜追加や削除予定。 WindowsWindows11 Home 22H2　64ビット RAM 16GB CPU  2.60 GHz Python3.11.0 VSCode仮想環境をVSCodeで作成。実際のコードの実行はJupyterNotebookの拡張ツールを使用。 PowerShellのコマンド入力もよく忘れるのでメモ。 Python3.10.11(仮想環境) 仮想環境作成 ①適当な場所に