toshi_4886

プライバシー保護機械学習の研究者

toshi_4886

プライバシー保護機械学習の研究者

LLMの評価（perplexity）

はじめにLLMを実行するためのサンプルコードです。 コードは下記にあります。 https://github.com/toshi-4886/LLM/blob/main/notebook/4_perplexity.ipynb 概要 perplexityでLLMを評価します。 モデルはLlamaの小型モデルを使用します。 事前準備Hugging Faceのアカウント作成 アクセストークンの作成 Hugging Faceのアカウントにログインし、「自分のアイコン→Setti

toshi_4886

    • LLMの推論方法（pipeline, AutoModel）

      はじめにLLMを実行するためのサンプルコードです。 コードは下記にあります。 https://github.com/toshi-4886/LLM/blob/main/notebook/3_prompt.ipynb 概要 いくつかの推論の実装を試します。 モデルはLlamaの小型モデルを使用します。 事前準備Hugging Faceのアカウント作成 アクセストークンの作成 Hugging Faceのアカウントにログインし、「自分のアイコン→Settings→Acces

      toshi_4886

      • LlamaをGoogle Colabから実行

        はじめにLLMを実行するためのサンプルコードです。 コードは下記にあります。 https://github.com/toshi-4886/LLM/blob/main/notebook/2_llama.ipynb 概要 Llamaの小型モデルを動かします。 認証などについても説明します。 事前準備Hugging Faceのアカウント作成 アクセストークンの作成 Hugging Faceのアカウントにログインし、「自分のアイコン→Settings→Access Toke

        toshi_4886

        • MistralをGoogle Colabで実行

          はじめにLLMを実行するためのサンプルコードです。 jupyter notebookは下記にあります。 https://github.com/toshi-4886/LLM/blob/main/notebook/1_mistral.ipynb 概要 小型で性能の高いMistralを動かします。 認証などについても説明します。 事前準備Hugging Faceのアカウント作成 アクセストークンの作成 Hugging Faceのアカウントにログインし、「自分のアイコン→S

          toshi_4886

        LLMの評価（perplexity）

        toshi_4886

          メンバーシップ推定攻撃対策（MemGuard・実装編）

          はじめにメンバーシップ推定攻撃の対策手法がどの程度効果があるか評価します。 コードは下記にあります。 https://github.com/toshi-4886/privacy_preserving_ML/blob/main/PyTorch/11_MIA_defense_MemGuard.ipynb 概要 メンバーシップ推定攻撃の対策手法であるMemGuardの効果を検証します。 メンバーシップ推定攻撃としては、機械学習モデルを用いる手法を用います。 M

          toshi_4886

          メンバーシップ推定攻撃対策（MemGuard・実装編）

          toshi_4886

          メンバーシップ推定攻撃対策（MemGuard・概要編）

          はじめにメンバーシップ推定攻撃の対策手法であるMemGuardの概要を紹介します。 MemGuard基本的な考え方 モデルの出力にノイズを加えることで、メンバーシップ推定攻撃をしにくくする防御手法です。 ノイズは、メンバーシップ推定攻撃の成功確率を最小化するように生成しますが、下記条件を満たす必要があります。 ノイズによって予測ラベルが変更されない ノイズの大きさの期待値が事前に決められた閾値以下 ノイズを加えた後の出力が、確率の条件を満たす（各要素が正かつ

          toshi_4886

          メンバーシップ推定攻撃対策（MemGuard・概要編）

          toshi_4886

          表形式データの分類（FT-Transformer）

          はじめに表形式データの分類モデルを構築します。 概要 adultデータセットを用いて収入を予測するモデルを構築します。 モデルはFT-Transformerを使用します。 FT-TransformerFT-Transformerは、Transformerを表形式データに適用できるように拡張した手法で、Feature TokenizerとTransformerから構成されます。 下の図は提案論文の図です。 Feature Tokenizerでは、入力の各要素をembed

          toshi_4886

          表形式データの分類（FT-Transformer）

          toshi_4886

          表形式データの分類（TabNet）

          はじめに表形式データの分類モデルを構築します。 コードは下記にあります。 https://github.com/toshi-4886/neural_network/blob/main/tabular/2_TabNet.ipynb 概要 adultデータセットを用いて収入を予測するモデルを構築します。 モデルはTabNetを使用します。 TabNetTabNetは表形式データのために提案されたニューラルネットワークです。 下記の提案論文の図に示されている通り、モデルの主

          toshi_4886

          表形式データの分類（TabNet）

          toshi_4886

          表形式データの分類（MLP）

          はじめに表形式データの分類モデルを構築します。 コードは下記にあります。 https://github.com/toshi-4886/neural_network/blob/main/tabular/1_MLP.ipynb 概要 adultデータセットを用いて収入を予測するモデルを構築します。 モデルは全結合ニューラルネットワークを使用します。 実装1. ライブラリのインポート import sysimport osimport matplotlib.pyplot

          toshi_4886

          表形式データの分類（MLP）

          toshi_4886

          ニューラルネットワークの予測の不確実性（deep Gaussian process・実装編）

          はじめにニューラルネットワークの予測の不確実性を算出する手法を検証します。 Jupyter notebookは下記にあります。 https://colab.research.google.com/drive/1y5HCJEcXqJBXHGzxFkziIUlpYVlqlIxt?authuser=2#scrollTo=N_SghRrTZVqm 概要 連続値を予測する回帰のためのニューラルネットワークを構築 deep Gaussian process で予測の不確実性を算出

          toshi_4886

          ニューラルネットワークの予測の不確実性（deep Gaussian process・実装編）

          toshi_4886

          ニューラルネットワークの予測の不確実性（deep Gaussian process・概要編）

          はじめにdeep Gaussian processでニューラルネットワークの予測の不確実性を算出する手法を紹介します。 Gaussian process (ガウス過程)ガウス過程では、データセット$${{(x_1, y_1), ..., (x_n, y_n)}}$$の関数$$${y=f(x)}$$を、多変量正規分布を用いてモデル化します。 平均関数$${m(x_i)}$$とカーネル関数$${k(x_i,x_j)}$$を用いて下記のように定義します。 $$ p\left(

          toshi_4886

          ニューラルネットワークの予測の不確実性（deep Gaussian process・概要編）

          toshi_4886

          ニューラルネットワークの予測の不確実性（Stochastic gradient Langevin dynamics・実装編）

          はじめにニューラルネットワークの予測の不確実性を算出する手法を検証します。 jupyter notebookは下記にあります。 https://github.com/toshi-4886/neural_network/blob/main/uncertainty/4_SGLD.ipynb 概要 連続値を予測する回帰のためのニューラルネットワークを構築 Stochastic gradient Langevin dynamics (SGLD) で予測の不確実性を算出 S

          toshi_4886

          ニューラルネットワークの予測の不確実性（Stochastic gradient Langevin dynamics・実装編）

          toshi_4886

          ニューラルネットワークの予測の不確実性（Stochastic gradient Langevin dynamics・概要編）

          はじめにStochastic gradient Langevin dynamics (SGLD) でニューラルネットワークの予測の不確実性を算出する手法を紹介します。 Stochastic gradient Langevin dynamics確率的勾配降下法とランジュバン動力学によるを組み合わせて、パラメータの事後分布をサンプリングする手法です。 SGLDの更新式に従ってパラメータを更新し、その過程のパラメータを事後分布からのサンプリングとして近似的に使用します。 バッ

          toshi_4886

          ニューラルネットワークの予測の不確実性（Stochastic gradient Langevin dynamics・概要編）

          toshi_4886

          ニューラルネットワークの予測の不確実性（Monte Carlo dropout・実装編）

          はじめにニューラルネットワークの予測の不確実性を算出する手法を検証します。 Jupyter Notebookは下記にあります。 https://github.com/toshi-4886/neural_network/blob/main/uncertainty/3_mc_dropout.ipynb 概要 連続値を予測する回帰のためのニューラルネットワークを構築 Monte Carlo dropoutで予測の不確実性を算出 Monte Carlo dropout学習

          toshi_4886

          ニューラルネットワークの予測の不確実性（Monte Carlo dropout・実装編）

          toshi_4886

          ニューラルネットワークの予測の不確実性（Monte Carlo dropout・概要編）

          はじめにMonte Carlo dropoutで予測の不確実性を算出する手法の概要を説明します。 事前準備（変分ベイズ）前提知識として必要なベイズ推論と変分推論について説明します。 ベイズ推論 通常のニューラルネットワークでは、出力は変数$y$ですが、ベイズ推論では分布$${p(y|x)}$$を考えます。 分布が尖った形になっている場合は予測の不確実性が低く、裾が広い場合は不確実性が高いことになります。 ラベルの分布は、パラメータの分布$${p(\theta

          toshi_4886

          ニューラルネットワークの予測の不確実性（Monte Carlo dropout・概要編）

          toshi_4886

          ニューラルネットワークの予測の不確実性（stochastic variational inference・実装編）

          はじめにニューラルネットワークの予測の不確実性を算出する手法を検証します。 Jupyter notebookは下記にあります。 https://github.com/toshi-4886/neural_network/blob/main/uncertainty/2_SVI.ipynb 概要 連続値を予測する回帰のためのニューラルネットワークを構築 stochastic variational inference で予測の不確実性を算出 Stochastic var

          toshi_4886

          ニューラルネットワークの予測の不確実性（stochastic variational inference・実装編）

          toshi_4886