AIOJISAN
AI研究での経験や考え方等の記事であるAI研究のための羅針盤をまとめています。
<具体的なタスクvol.2> 1. 機械翻訳について＜自然言語の分野＞ 別の言語を別の言語で翻訳するタスク 【例】 日本語→英語 フランス語→英語 2. 構造出力について インプットで画像を与え アウトプットで画像の意味を出力 ➡︎オブジェクトを検知し、そのオブジェクトごとでテキストを生成 3. 異常検知について正常な状態を定義し、 その正常な分布に対して、外れ値を異常値として扱う 【活用例】 ・部品欠陥を検知する ・大学の退学者を予想する 4. 合成とサ
＜具体的なタスクについて＞ 1. 分類とは離散的な結果を予想するための分布のこと 【サンプル例】 ２値分類➡︎２つの確率を予想する ex) ・男か女かどうか ・顔かどうか 多クラス分類 ➡︎多クラスの分離を行う ex) ・Aさんか、Bさんか、Cさんかを予想する ・犬、猫、ネズミを分類する 2. 分類の構造について 3. 欠損値のある入力の分類について ＜欠損値のある入力の分野＞ AIおじさん分類器の事例では、Aの画像はデータとして適さないので除外する。 BやC
＜機械学習のタスクについて＞ 1. タスクとは機械学習においての目的のこと ※機械学習においてが重要 2. 機械学習風に言い換えるとはおじさんなのかおばさんなのかを見分けたい ➡︎これはまだタスクではない やりたいこと・やろうとしていることを 機械学習言語で翻訳した先にタスクが存在している ⬇︎ 3. タスクの翻訳例・分類 ・欠損値のある入力の分類 ・回帰 ・転写 ・機械翻訳 ・構造出力 ・異常検知 ・合成とサンプリング ・欠損値補完 ・ノイズ除去 ・セグメンテーシ
＜機械学習とは＞ 1. 機械学習アルゴリズムの定義データから学習できるアルゴリズム 2. 人間にとっての学習とは 3. 学習とは【機械学習】Tom Mitchell曰く、コンピュータプログラムは、性能指標Pで測定されるタスクTにおける性能が経験Eにより改善される場合、そのタスクTのクラス及び性能指標Pに関して経験Eから学習すると言われている。 4. 機械学習の学習を人間に置き換える <今回の総まとめ> 機械学習とは何かをしっかり言語化できるようにしておこう 次回、
＜AI開発に必要な計算量とは 時間計算量・空間計算量・IO計算量の解説＞ 1. 時間計算量とは直感的に計算時間を理解できる表現方法 ➡︎どれくらいアルゴリズムの処理に時間がかかっているかを確認する ⬇︎ 細かい詳細まで確認すると時間がかかるため、 かかった時間を簡単に表記するための方法 2. 時間計算量で何ができるのかアルゴリズムA VS アルゴリズムB ➡︎AとBのどちらがアルゴリズムが優れているかを表すツールのひとつ 性能指標によってどちらが優れているかを判
＜データ構造vol.4 ハッシュとは/ハッシュ関数＞ 1. ハッシュとは任意の要素がデータ集合に含まれているのかを 高速で見分けるためのデータ構造 ※ハッシュ化とは、ハッシュ関数を用いてKeyをハッシュ値にすること 2. ハッシュ化の技術についてITにおいて非常に多くの場所で使用されている。 【例】 ユーザーのメールアドレスを保存する場合 ➡︎そのまま保存するのではリスクが高いためハッシュ化して保存する。 3. ハッシュの問題ハッシュ関数によって、衝突する場合がある
＜データ構造3 スタック/キューの解説＞ 1. スタックとは取得、削除、挿入の動作を １番最後の要素のみに適応するデータ構造 ＜補足＞ 配列でもリストでも適応可能で、取得、削除、挿入の動作が１発でできる。ただし最後の要素のみである。 2. スタックの挿入 3. スタックの削除 4. スタックの動作についてスタックの動作のことを下記のようにいう。 LIFO：last-in-first-out 5. キューとは挿入は最後のデータに、 取得、削除は１番最初のデータに行
＜データ構造とは２ リストの解説＞ 1. リストとはデータの削除や挿入に特化されて作られた構造 ＜整理すると＞ 配列 ：データの削除や挿入の効率よりもアクセスの効率を重視 リスト：アクセスの効率よりもデータの削除や挿入の効率を重視 ※リストの構造でアクセスする場合 任意のデータまで全てなめる必要がある。 2. リストの特徴他の要素の格納場所を指し示すポインタと データを組み合わせて格納している。 ポインタをたどっていくと全要素にたどり着くことができる。 最後のポイン
＜データ構造vol.1 配列について＞ 1. データ構造とは処理を効率的に行うためのデータ保持方法のこと 2. 配列とは複数のデータを順番に並べ、任意のデータに一定の時間でアクセスできるデータ構造のこと アクセスの効率を追求した構造 3. 配列の削除 インデックスの順番は 計算機上から始まるので、０からにしておいた方が良い 11番目の要素を削除 ※０から始まっているので、11ー1＝10番目となる 配列の11番目の削除では ①12番目から18番目の要素を1つずつ1
＜ソートアルゴリズムvol.3＞ 1. マージソートとはソート済配列のマージのアルゴリズムを活用し 配列にソートを行う方法 このアルゴリズムのポイントは すでに昇順にソート済みの配列どうしをマージするということ AとBの配列の中身は昇順にソートされている。そのため、最小の値は、A(0番目)またはB(0番目)のどちらかになる。 最終的に、配列Cとなる。 2. ソートの計算量の下限についてアルゴリズムが大小比較に基づいている限り、マージソートよりも最悪計算量が優れたアル
＜ソートアルゴリズムvol.2 クイックソートについて＞ 1. クイックソートのアルゴリズムとは①配列の中から任意で１つ選ぶ（この要素をピポット） ②ピポットを除く全ての要素と大小比較する ③小さい場合は、左側に ④大きい場合は、右側に ⑤さらに、左側右側に再帰的に処理を行う。 ⑥再配置がなくなった場合終了 【具体的説明】 ①配列の中から任意で１つ選ぶ（この要素をピポット） ②ピポットを除く全ての要素と大小比較する ③小さい場合は、左側に ④大きい場合は
＜ソートアルゴリズムvol.1＞ 1. ソートとはある規則性に基づいて、データの順番を並び替えること 【例】 上記の数字を小さい順にソートすると、下記の数字の順序になる。 ＜ソートを行う理由＞ データの中から、任意のデータを探しやすくするため 2. ２分探索とは効率的に任意の情報を取り出すアルゴリズムの１つ 【具体的説明】 ２分探索を使用する時の条件：データが小さい順に並んでいることが前提 ①配列の中央の値をチェックし、それが探している値であれば出力する
<AIのモデル選定戦略>1. AIのモデル選定の戦略についてAI開発では、時間・精度・コストの戦いである。 日本のエンジニアと海外のエンジニアでは、 構築からモデル作成までのスピード感が異なる。 ➡︎AIのモデル選定の戦略があるかないか ＜どのような戦略が必要か＞ タスクごとで戦略が変わってくるが一般的に、 ①精度の基準になるモデルを用意 ②パラメータを増加させたモデルを用意 ③最新のモデルを用意 【具体的説明】 ①精度の基準になるモデルを用意 他と比較して半
1. AI開発のフロー ①タスクの定義：回帰/分類/機械翻訳 ②データ収集 ③データを蓄積：DB/CSV ④データ前処理：蓄積データを学習できるデータにする ⑤処理したデータを用いてモデル作成 ⑥モデル運用 【具体的説明】 ①タスクの定義：回帰/分類/機械翻訳 ＜教師ありの場合＞ ・データの正解を定義（ロジックを明確にすることに注意） ・論文から、正解を定義 ※正解が明確出ない場合、のちにモデル改善をする際に混乱が生じる可能性がある。例えば、レントゲン写真か
<AIのライブラリKerasとPyTorchについて> 1. AIのライブラリ例①scikit-learn ②TensorFlow ③Keras ④PyTorch ※ライブラリ①と②については前回の記事を参照。 ①、③、④に関しては初心者おすすめであるが、TensorFlowに関しては少しクセがある。癖はあるが、やればやるだけ便利になる。基本的には全ておすすめ。 【具体的説明】 ③Keras：初心者から上級者まで幅広く使用できるライブラリ。深層学習ライブラリと
<AIのライブラリについて> 1. AIのライブラリとはAI開発に必要な具体的なメソットを用意しているツール ※AI開発では、基本的にはライブラリを駆使して開発していく。AI研究の場合は、設計した新たな構造を作成するのに、NumPy等を駆使して開発していく。 2. ライブラリを活用する際 必ず、ドキュメントを読みながら開発を行う ＜ドキュメントの読み方の例＞ ・最新版のバージョンは何か ・安定的に使われているバージョンは何か ・ライブラリのメソッドを使う際の引数は何か
