魔女文字ControlNet
背景
同人誌を作る際フォントが課題となる。特に日本語は文字の種類が多いのでデザインも一苦労である。そのため画像生成AIを用いてフォントを作成可能か調査した。今回は教師文字として特に元の文字と相関のない魔女文字をターゲットとした。
魔女文字とは魔法少女まどか☆マギカに登場する架空の文字で以下に示すようにルーン文字やブラックレター体のようなフォントであるが、文字概形が文字の意味するアルファベットと対応していないことが特徴である。
目標
以下に示すように文字を入れたら入れた文字と同様の形を保ちつつ魔女文字っぽい形のフォントの画像を生成するControlNetを生成する。
学習内容
以下のような手書きの魔女文字概形と魔女文字の画像の入出力対応で学習画像を用意してcontrolnetLLLiteで学習を実行した。
学習方法：ControlNetLLLite
学習画像：魔女文字の手書き文字
キャプション：The Black shape of the letter ”A” clearly visible . The background is white(※Aの場合)
epoch数：20
optimizer：adafactor
学習結果
以下は学習した魔女文字に対する生成結果でやや概形は元の形からずれているが魔女文字が生成できていることがわかる。
また以下は中程度に複雑な文字に対する結果で、ある程度複雑な文字でも生成できていることがわかる。
今後の課題
以下は複雑な文字に対する結果で、元の魔女文字に明らかに存在しない複雑な形状を持った文字は上手く生成できていないためこのような複雑な文字に対応させることが今後の課題である。
宣伝
今回検討した内容等を収録した本をコミックマーケットやBOOTHで頒布しているのでよければ買ってね。