Dean4rmEdinburgh

NYとエジンバラの大学で、スパコンや、科学計算ソフト開発を続けて20年以上が経ちました。 この経験をもと、Pythonと機械学習を始めてみました。どこまで行けるのか、楽しみです。

Dean4rmEdinburgh

NYとエジンバラの大学で、スパコンや、科学計算ソフト開発を続けて20年以上が経ちました。 この経験をもと、Pythonと機械学習を始めてみました。どこまで行けるのか、楽しみです。

統計的推定：二標本の期待値の差の検定

各成分が正規分布$${\mathcal{N}(\mu, \sigma^2)}$$に従う標本$${\mathcal{D}=\{x_1, \cdots,x_n\}}$$と、同じく正規分布$${\mathcal{N}(\mu’, \sigma’^2)}$$に従う標本$${\mathcal{D’}=\{x_1', \cdots,x_{n'}'\}}$$があるとする。 帰無仮説を$${\mu=\mu'}$$とする。 推定平均は$${\hat \mu=\frac{1}{n}\sum_i

Dean4rmEdin…

    • 統計的推量：ピアソン・ダイバージェンス

      $${{\bf x} \in\{x_1,\cdots,x_k\},{\bf y}\in\{y_1,\cdots,y_l\},}$$の二つの離散方確率変数に対し、$${(x_i, y_j) \ i\in\{1,\cdots k\},j\in\{1,\cdots l\}]}$$の発生頻度を$${C_{x_i,y_j}}$$とし、$${c_{x_i}=\sum^{l}_{j=1}C_{x_i,y_j},\ c_{y_j}=\sum^{k}_{i=1}C_{x_i,y_j}}$$、ま

      Dean4rmEdin…

      • 統計的推量：検定、ネイマンピアソンの補題

        標本$${D}$$による推定量$${\hat\theta}$$は、標本データによって値が変わってくるため、推定値の信頼性の評価が必要である。 確率$${1-\alpha}$$で$${\hat\theta}$$が入る区間を信頼水準$${1-\alpha}$$の信頼区間と呼ぶ。 正規分布に従う標本の期待値推定の信頼区間 標本$${D=\{x_1, \cdots x_n\}}$$の$${x_i, i=1,\cdots n}$$が独立かつ正規分布$${\cal{N}(\mu, \

        Dean4rmEdin…

        • 統計的推量：最小二乗法

          入力、または訓練データ$${{\bm x}_i, i=1,\cdots d}$$から、スカラー、またはカテゴリー変数$${y_i, i=1,\cdots n}$$への関数を推定する回帰法について、$${y_i}$$有りを教師付き学習、$${y_i}$$無しを教師無し学習と呼んでいる。 最小二乗推量法は、教師付き学習において、回帰モデル$${r({\bm x}:{\bm \alpha})}$$の$${{\bm \alpha}}$$をパラメータとして、二乗誤差を最小にする$${{

          Dean4rmEdin…

          統計的推量：ノンパラメトリック推定

          パラメータ$${\theta}$$を伴ったパラメトリックモデル関数$${g({\bm x}|{\bm \theta})}$$を使わずに、確率密度関数を推定する。 カーネル密度推定法 Kernel Density Estimation 標本$${D=\{x_1, \cdots, x_n\}}$$が従う確率密度$${f({\bm x})}$$をカーネル関数$${K({\bm x},{\bm x}')}$$を用いて、 $${\hat f_{KDE}({\bm x})=\disp

          Dean4rmEdin…

          統計的推量：ノンパラメトリック推定

          Dean4rmEdinburgh

          統計的推量：ベイズ推論

          ここで、パラメータ$${{\bm \theta}}$$を確率変数とすることにより、$${{\bm \theta}}$$の事前確率$${P({\bm \theta})}$$、事後確率$${P({\bm \theta}|D)}$$、$${{\bm \theta}}$$を与えた時の標本$${D}$$が得られる確率である尤度$${P(D|{\bm \theta})}$$が定義できる。 よって、ベイズ推定では、$${{\bm x}}$$の$${{\bm \theta}}$$の条件付き確

          Dean4rmEdin…

          統計的推量：ベイズ推論

          Dean4rmEdinburgh

          AutoZoomをPyInstallerで実行ファイル化

          上記の記事で作成したAutoZoomを実行ファイル化し、Python環境がなくても実行可能にすることを考える。 PyInstallerPyInstallerは、Pythonスクリプトを実行可能なバイナリファイル（Windowsでは*.exe）に変換するツールであり、これによってPythonがインストールされていない環境でも、アプリケーションの実行が可能となる。PyInstallerは依存関係を自動でパッケージングするため、アプリケーションの配布がより簡単になる。 インスト

          Dean4rmEdin…

          AutoZoomをPyInstallerで実行ファイル化

          Dean4rmEdinburgh

          Notionでタスク管理

          週日と週末、次週・次月・さらにその先の月のタスクを管理するTo Doリストのテンプレートを作りました。 仕事やプロジェクトのプランニング、学校の課題の管理などに、お役立てください。

          Dean4rmEdin…

          Notionでタスク管理

          Dean4rmEdinburgh

          Python：会議時間をCrontabに設定し、自動Zoom出席する

          事前にスケジュールがわかっているズーム会議の時間設定をcrontabに渡し、会議時間にZoomが立ち上がる設定コードをPythonで実装する。自動でZoom会議に入出するコードは、前記事のコードを使う。 crontabの起動には、subprocessを使い、pyautoguiで時間設定とコマンドを書き込む手順となる。 初めに、Meeting IDと会議時間、会議日程、Passcodeが必要な場合はPasscodeをmain.pyに渡す。main.pyは、会議日程をcront

          Dean4rmEdin…

          Python：会議時間をCrontabに設定し、自動Zoom出席する

          Dean4rmEdinburgh

          CrontabでPyAutoGui: MacOS

          会議時間にアプリが自動で立ち上がりそのまま入室するには、前記事で作成したSeleniumとPyAutoGuitを使ったコードを、crontabかpythonのscheduleに組ませておくことで可能になる。 ただし、MacOSではPayAutoGuiをcrontabで使用するには、以下の作業が必要となる。 PATH設定 crontabの実行環境はターミナルとは別環境であるから、PayAutoGuiのscreencaptureのcrontabでの実行には、screencap

          Dean4rmEdin…

          CrontabでPyAutoGui: MacOS

          Dean4rmEdinburgh

          Python:自動でZoomに参加する

          準備OS: MacOS Sonoma 14.2.1 ENV: python 3.12.5 opencv 4.10.0 opencv-python 4.10.0 selenium 4.24.0 PyAutoGui 0.9.54 chromedriver_autoinstaller 0.6.4 Pillow 10.4.0 カーネルに入っていないモジュールをインストールしてから、インポートする。 import subprocessimport importlibimport

          Dean4rmEdin…

          Python:自動でZoomに参加する

          Dean4rmEdinburgh

          Pythonの定期的実行：Cronとscheduleモジュール

          Croncron（crontab）とは、ジョブ管理コマンドで、指定された日時、もしくは時間間隔でジョブを実行する。実行されるジョブは、crontab(cron table)でスケジュールされる。 このcrontabには、cronジョブのスケジュールが書き込まれ、その書式は以下のようになる。 * * * * * echo ‘Hello’ >> /tmp/test.txt 最初の5つの$${*}$$は実行時間日時で、この後にコマンドをかく。 cronジョブの実行に関してのユー

          Dean4rmEdin…

          Pythonの定期的実行：Cronとscheduleモジュール

          Dean4rmEdinburgh

          統計的推定：最尤推定　多変数正規分布

          正規分布$${\mathcal{N}({\bm \mu,\Sigma})}$$に従うデータ$${({\bm x}_i, i=1,\cdots, n; {\bm x}_i=(x_{i1},\cdots, x_{id})^T)}$$の尤度は、 それぞれの確率密度関数が$${f({\bm x}_i)=\displaystyle{ \frac{1}{ (2\pi)^{d/2}\sqrt{det \Sigma}} \exp\left(-\frac{({\bm x}_i-{\bm \mu

          Dean4rmEdin…

          統計的推定：最尤推定　多変数正規分布

          Dean4rmEdinburgh

          統計的推定：最尤推定　ロジスティック回帰

          ２クラス分類に適用されることの多いロジスティック回帰は、シグモイド関数$${\displaystyle{f(x)=\frac{1}{1-\exp(-x)}}}$$によって、出力が$${(0,1)}$$内の確率値に変換される。この関数による出力値$${\hat{y}}$$はデータ$${x}$$が与えられた時に$${y=1}$$となるクラスになる確率$${p(y=1|x)}$$、または、$${y=0}$$となるクラスになる確率$${p(y=0|x)}$$で扱われる。 よって、$$

          Dean4rmEdin…

          統計的推定：最尤推定　ロジスティック回帰

          Dean4rmEdinburgh

          統計的推定：最尤推定 Maximum likelihood estimation　ベルヌーイ分布、マルチヌーイ分布、１変数正規分布に従う標本の場合

          標本$${\mathcal{D}({\bm x})}$$が、パラメータ$${\theta}$$で記述される確率密度関数$${g({\bm x};\theta)}$$から発生する尤度関数$${L(\theta)}$$を最大にする$${\hat{\theta}_{ML}}$$を決める。 尤度関数は $${L({\theta})=\displaystyle{\Pi^n_{i=1}g(x_i;\theta)}}$$ で与えられ、 $${\hat{\theta}_{ML}=\under

          Dean4rmEdin…

          統計的推定：最尤推定 Maximum likelihood estimation　ベルヌーイ分布、マルチヌーイ分布、１変数正規分布に従う標本の場合

          Dean4rmEdinburgh

          確率変数の和と期待値の不等式：ベルンシュタインの不等式

          ベルンシュタインの不等式 それぞれが分散$${x_i=\sigma_i^2}$$を持つ互いに独立な$${n}$$個の確率変数$${x_1,\cdots,x_n }$$は、任意の二つの非負の実数$${\epsilon >0,\ b>0}$$に対し、$${X=\sum x_i}$$は $${Pr(|X| \geq S) \leq \displaystyle{2\exp\Big(-\frac{S^2}{2(\sum \sigma_i^2+Sb)}\Big)}}$$を満たし、これを

          Dean4rmEdin…

          確率変数の和と期待値の不等式：ベルンシュタインの不等式

          Dean4rmEdinburgh