内井祐作

内井祐作

Factorization Machinesについて

1.Factorization Machinesの概要全体紹介したMatrix Factorizationについてですが、 Matrix Factorizationは ユーザーとアイテムの評価値行列から、特異値分解（SVDとは少し異なる）して未評価の値を予測するものでした。 これにはコールドスタート問題というのがありまして、実際に評価されたアイテム（明示的な評価）のみを考慮しており、暗黙的な評価は扱っていないところです。 例えば、新しく追加されたアイテムに関しては当然購入

内井祐作

    • レコメンドエンジンのまとめ

      1.レコメンドとは？ 現在のYoutubeやNetflix、Amazonでは、さまざまなおすすめの動画や商品、「この商品をチェックした人はこのアイテムを購入しています。」などといった興味が引きそうな広告を見ないだろうか？ 私たちがそのサービスで ・購入している情報 ・商品のレビュー情報 ・該当商品のページに訪れた などの情報は、ユーザー体験を向上させるために推薦システムに利用されております。 現に、Netflixに関しては驚くことに推薦システム経由の視聴が80％ とかな

      内井祐作

      • AWS Certified Machine Learning - Specialty 対策学習

        1.はじめにこちらは、学習に活用したUdemyの教材になります。 日本語でのユースケースを基に問題が提示されています。 とても便利なので、活用させていただいています。 https://www.udemy.com/course/aws-30-b/learn/quiz/5433622/result/914784894#overview 今回は、自分の整理を第一にユースケースを基にどんなサービスをどのように使ったら良いかを説明します。 2-1.適切なコンピューティングリソース

        内井祐作

        • Vit（VisionTransformer）について理解を深める第二部[EncoderからMLPヘッドについて理解する]

          １.第一部のおさらい TransfomerからEncoderのみを活用したとて分かりやすいモデルであるVisionTransfomer(以後Vitとする)ですが、前回までは主にパッチとEmmbedingについて詳しく説明したと思います。 今回説明するのは、上の図であるTransfomer Encoderの部分からMLP HEADです。 Encoder、そしてMulti-Head-Self-AttentionがVitの根幹と言えるでしょう。 Transfomerでは、その次

          内井祐作

          画像のアフィン変換と透視変換について学んだのでメモ

          1.そもそもなぜこれを学ぶのか OpenCVは、画像分類や異常検知においての画像の前処理にとても有用だからです。 例えば医療現場において、肺がん患者の予測をしたいとします。 そこであたらえれた画像データが肺も写っているが、肩や首の部分はあまり画像解析では関係なさそうですよね。 では次のように画像の前処理ができたらどうでしょうか 周りの画像が切り取られて肺のみにフォーカスできています。 これで画像解析すれば、肺の異常においては、よりよい分類や検知ができそうです。 Ope

          内井祐作

          画像のアフィン変換と透視変換について学んだのでメモ

          内井祐作

          Vit（VisionTransformer）について理解を深める第一部　　　　　　　　[Input layerについて理解する]

          1.VisionTransfomerってなに？Visiontransfomerというものは、Attension(注意機構)を活用した画像分類モデルです。 VisionTransfomerが登場する前は、ResNetやEfficientNetなどのCNN（畳み込みニューラルネットワーク）が主流かつ高精度なモデルでした。 しかし、 2020年にVit（VisionTransfomer）が登場したのです。 Vitは簡潔に説明すると、高精度かつ学習コストがCNNよりも少ないモデルです

          内井祐作

          Vit（VisionTransformer）について理解を深める第一部　　　　　　　　[Input layerについて理解する]

          内井祐作

          年末にOpenCVを色々いじってみた

          1.OpenCVってなに？OpenCVとは、画像の読み込みから表示、加工までを行えるオープンソースライブラリとなっています。 ・画像のエッジ抽出 ・画像のグレースケール ・二値化 ・物体検出 そのほか様々なことができます 今回は、画像の読み込みから様々なものをこの年末にやったので紹介していきます。 2.画像の表示まぁこれをやらないとこれから何するんだって話ですからね笑 ここからやっていきましょう！ 2.1事前準備（インストール）!pip install opencv-

          内井祐作

          年末にOpenCVを色々いじってみた

          内井祐作

          MDS（多次元尺度構成法）の理論とPython

          1.多次元尺度構成法とは？次元削減手法の一種であり、各データ間の距離を保ちながら次元削減する手法です 例えば、首都圏の位置関係について次元削減したいとします。 私たちが生活しているのは３次元空間であり、 緯度経度そして高さが存在します。 例えば富士山の麓と新宿は経度も緯度も違えば高さも異なります。 そのような３次元データを２次元に次元圧縮を行うことを目的としているモデルになります。 2.扱うデータ今回扱うデータはこのサイトから渋谷、新宿、富士見の経度、緯度、標高のデータ

          内井祐作

          MDS（多次元尺度構成法）の理論とPython

          内井祐作

          Dockerを使う必要性（自己学習用）その１

          1.Dockerを使う場面 T社とS社で共同でレコメンドシステムを機械学習を用いて開発するとした。 T社がまず最初にアルゴリズム構築を行うこととした。 -numpy -python -sklearn このパッケージを用いて作成したとする。 これをS社に共有したいとする。 S社も同様な Pythonの環境とパッケージのインストールを手動で行う。 1.2 環境構築での問題 そこで何個か問題を置きました。 Problem *　もし複数の分析者がいるとその人数ごとに環境

          内井祐作

          Dockerを使う必要性（自己学習用）その１

          内井祐作

          マルコフ過程について

          1.マルコフ性とは？マルコフ過程（マルコフ連鎖）とは、そのマルコフ性を満たす確率過程のことを言います。 2.マルコフ連鎖の例についてマルコフ連鎖の例を一つあげます。 サッカー日本代表が小学生代表メンバーとの試合において、勝つか負けるかを以下のようなモデルで分析を行う。 日本代表が勝つを「１」 日本代表が負けるを「２」とします ある日の翌日に日本代表が勝つか負けるかはその日の勝敗に依存すると過程（おそらくそんなことはあり得ない笑　あくまでも一例として） 日本代表が勝利し

          内井祐作

          マルコフ過程について

          内井祐作

          階層的クラスタリングについて知識を深めていこう！空間拡張性などにも触れていく

          階層的クラスタリングデンドログラム(dendrogram) 縦軸：クラスター間距離 横軸：データ 階層的クラスタリングのメリット 上の図のように、誰がどのクラスターに属しているのか詳しく可視化することが可能！ Remark階層的クラスタリングには２通りある 分割型⇨全体が一つのクラスタになった状態から始めて，再帰的に対象集合の分割を繰り返す。 凝集型⇨バラバラの状態にあり、この時点では全てはたがいに異なるクラスタに属しています。そこから、少しずつ大きなクラスタが形成

          内井祐作

          階層的クラスタリングについて知識を深めていこう！空間拡張性などにも触れていく

          内井祐作

          Pythonを使ってイベントの来場者数をシュミレーションしよう！

          １．前置 統計学を学んだ方なら「区間推定」や「仮説検定」について学んだことはあるのではないでしょうか。 そして、その中でポアソン分布や二項分布についても見てきたと思います。 今回の話では、実際のビジネスケースにおいて、一体どのような確率分布が従うのか、そしてどのようにビジネスに落とし込むのかを説明していきたいと考えてます。 ２．ビジネスケース具体例 ex)ある駅前で一週間限定の野外イベントを開催することにした。 　一年前に別の駅で同様のイベントを開催しており、その際に

          内井祐作

          Pythonを使ってイベントの来場者数をシュミレーションしよう！

          内井祐作