Dictation 採点アプリ開発メモ vol.12
キカガクさんの講義の一環で作る自作アプリに関するメモです。
2020.10.24 (土)
アクションアイテム
・採点結果を画像に被らせない or 背景色を加えてみやすくする
・初期画面が白色なので追記する
・OK / NG の認識率をあげる方法を見つける
→ 画像サイズごとにIoU を変更するが良いと思われる
・画像サイズによってIoU Threshold を変更する必要がある
画像サイズ大（40 words くらい、542 x 571 pixel）IoU Threshold ??
画像サイズ小（20 words くらい、270 x 505 pixel）IoU Threshold 0.0
・AI推論が間違っていたときにどうするのか
→ 正解 / 不正解 を変更。未推定部分を追加で自己採点機能
Xcode update
Xcode がupdate されてしまったので、iPhone 側のiOS もupdate。意外と時間がかかる。
採点結果を画像に被らせない
エンジニアなら1-2分で終わるようなところを色々触って変更した
before / after
ここ（constraints）で設定して
この場所で現在適用されている条件を確認する（多分）
画像サイズによってIoU Threshold を変更する必要がある
色々触ってみると、入力画像の縦横比がポイントだと思われる。現在入力画像はCreate ML に合うように416 x 416 の画像に変換している。その変換が方法がこちら。
//入力画像のリサイズ指定
request.imageCropAndScaleOption = VNImageCropAndScaleOption.scaleFillscaleFill は縦横比を保持せずに入力画像を変換する。
縦に潰しすぎるとうまく認識しない雰囲気。
プレゼン資料作り
時間もなくなってきたので、最終プレゼンを作り始める。過去にキャプチャしたデータだと統一性がないので画像のキャプチャを実施。
来週の発表に備える