機械学習のFashionMNISTと自然言語処理系

自然言語のモデルとアルゴリズムについて、
構造化データのときとの違いを知りたい。
知能の本質は予測にある。
知能とは、目的に応じた世界の構造化と予測の能力を指す。
ML結果の実用化に向けて、
新規データでの予測、
教師データとして元データを100%活用して、
常時流入する新規データに対する予測をする。
データ・傾向の経時変化に対応する。
予測→予測を作成。
ホールドアウトを0にしてモデルを作成。
デプロイ機能を使用する。
定期的に直近データを教師データに使ってモデルを更新する。
過去データから予測性能が劣化する時間スパンを検証しておくこと。
構造化データとは行と列があるデータ、
非構造化データとは、
画像、動画、音声、自然言語。
世界的にアルゴリズムの競争が激しい。
自然言語処理系の解析は、
形態素解析、
N-gram（意味が近い遠い）、
分散表現word2vec等を利用する。
形態素解析のツールは、
MeCabメカブ、
JuManジュマン。
N-Gramとはユニグラム、
word2vec200次元まで圧縮する。
GAN（Generative Adversarial Network）によって画像や動画の創作物を生成することができる。