LeonardoAIの新たな機能と使い方(2023 後期)
はじめに
Leonardo Aiの進化
最近、少なくも2023年後半になって、画像生成AIアプリのLeonardo Aiが、どんどん進化しているようです。
それを反映して、Home画面も、新たな機能の登場など、変わってます。
これは、ベースとなっているStable AI(Stable Diffusion)やOpenAI (ChatGPT) 、Nvidia、GoogleAI、OpenCVなどの技術が競い合って進化しているのが背景にあると思われます。なおこれらの要素技術はBardによる指摘です。
例えば、LeonardoAiの最新Home画面によると、どうやら近々、”Motion” 、つまり動画の機能も追加されるようです。
Motionは、”ジェネレーティブ・ビデオ。私たちの最先端の新機能は、あなたが監督の席に座ることを可能にします。” だそうです。
推定ですが、最近リリースされたStable Diffusionの、Latent Consistency Models(LCM)を適用すると思われます。
LCMモデル
本家のStableAIよりも、より使いやすい形、UIなどの提供を期待したいところです。
各機能を理解するために
ところで、YouTubeには、英語、日本語等によるLeonardo Aiの紹介がたくさんあります。基本概念を理解するにはとても有効です。でも、このような急速な進化のため、オペレーション、といった観点では、半年前より古い動画では、少なくも基本の画面が違ってます。
また、それらの動画のほとんどは、無料で150トークンも使える画像生成AIという紹介で、立ち入った最新の機能の説明やUIの特徴などの記載は少ないという印象をうけます。
Leonardo Aiは、他のアプリと同様、新しい技術がどんどん注力されて、基本技術そのものが進化している一方、それらの基本技術を統合して、機能として整理して使いやすくしたり、さらに全く新しい機能ができていたりしていますが、その進化の状況を紹介するビデオは、あまりなく、残念な状況に思われます。なお、新機能は、有料バージョンにまず適用されています。
一方、同社のHPには、各機能や使い方が説明されています。
私にとっての問題は、それらが全て英語だということです。
HPの日本語訳
そこで、仕方ないので、翻訳を考えました。まずは、同社のホームページにある、Feature releasesとHelp Guidesとの2つのフォルダーの内容を日本語に訳すことにしました。
ちなみに、同社のHPの右上には、英語、ドイツ語、日本語、簡体中国語、スペイン語が選べるようになっているのですが、英語以外の画面は今のところ(12/8/2023)全く対応できていないようです。
これは、各ブラウザの拡張機能に、翻訳する拡張機能をいれることにより実現できま。代表的なのは、Google翻訳です。
また、若干ややこしいことに、最新の画面そのものも変化してますので、HPの各説明画面と異なっていたりもします。直近では12/7にも変わりました。 いつまた変わるかわからないので、変化した画面については、最後にご紹介したいと思います。
今回の一連のシリーズのポイントは、この点です。
Helpフォルダーにある説明文章がそもそも古く、実際の画面と異なる、という現実です。
したがって、説明にある画面と実際に今ある画面とを、場合によっては、対比するか、または、新たな画面の説明を調べて、自分で作るしかない、という状況だということが、最大の動機です。
ブログで公開
ということで、本来自分用に作成している各日本語訳を、ブログとして出していきたいと思います。
特に、これから、同社のHPの2つのフォルダーについて、ご紹介していきたいと思います。翻訳は、DeepLまたは、Notionを主に使いました。
なお、ここでは、最新機能ということですので、多くは有料版です。いまや無料版と有料版とは、トークン数の制限だけではなく、機能そのものも結構違うようです。
また、本分野については、私は超初心者ですので、勘違い等も多々あるかと思います。間違い等のご指摘を頂ければ幸いです。
ちなみに、私は、先日のBlackFridayのセールで、最低のプランに$8/月の年契約で入りました。本来$12で今は$10のようです。これは、8500トークン/月となります。もしかして、クリスマスセールや新年セールもあるかもしれません。
最新の主な機能と技術の関係
最近の進化の特徴は、Canvas、Alchemy(錬金術)、Elements(LoRA)などのような基本技術の進化(v.2, v.3,,)とともに、それらを使い、機能として、つかいやすいように技術をまとめ整理してきていることです。
機能の大きなくくりとしては、画像を作る基本の ”AI Image Generation”、その画像を編集、拡張できる”Canvas Editor”となります。
さらに、11月末に、Live Canvas という機能が追加されました。複数の基本画像に対して、線を書く等のオペレーションにより、絵が劇的に変わります。これは全く予測困難な変化をします。
また、もう一つの機能のTexturing 3D Modelsには、次のような説明があります。
3Dモデル(.OBJ)をアップロードし、テキストプロンプトを入力すると、テクスチャが自動的に作成され、3Dメッシュに投影されるのを見ながら、UVテクスチャ全体をレンダリングできます。完全にコンテキストを認識し、既存のUVマップを尊重するため、テクスチャ付き3Dモデルを必要とするゲームやその他のアプリケーションのアセットをテクスチャ化するのに理想的です。
さらに、個人ユースとして、APIも使用できるようです。法人ユースは別途契約することで、使用が可能となります。
さらに、12月24日に、動画生成機能のMotionもリリースされました。
翻訳予定の各フォルダーの項目について
A.Feature releases(Leonardo Aiの新しい機能)
以下、各項目のOutline(概要)の部分を参考までに、記載します。
はっきりいって、読んでもよくわからない表現が多いようにも感じますが、、、使い方に則した解説が別途必要なように思います。
いわば、逆索引といいますか、これをしたいときにはどうするか?といった説明が必要に思います。
とりあえず、参考データとして、記載してあることを直訳します。
1.Elements
Elementsは、Leonardo.AiのLow-Rank Adaption(LoRA)モデルのカスタム実装であり、ニュアンス画像生成に非常に効率的でリソースに優しいアプローチを提供します。ダイナミックモディファイアを追加するだけで、生成された画像のスタイルと視覚的な結果を正確かつ複雑にコントロールすることができます。
Elementsを使えば、ユーザーは様々なモデルスタイルをシームレスにブレンドして、クリエイティブなビジョンに完璧に沿ったユニークな結果を生み出すことができます。
2. Prompt Magic v3
Leonardo Prompt Magic v3は、Leonardoクリエイティブスイートのプレミアム機能です。この独自のパイプラインは、クリエイティブな体験を新たな高みへと導き、より優れたプロンプトの遵守、より高い画質、そして選択したモデルを使用した強化された出力を保証します。
3. PhotoReal
Leonardo PhotoRealは、Leonardoクリエイティブスイートの最新のプレミアム機能です。リアルで映画のような写真を求める人のために作られた最先端のパイプラインです。この微調整されたモデルは、フォトリアリスティックな出力を提供するだけでなく、様々なクリエイティブテーマにリアリズムを吹き込みます。
Leonardo PhotoRealは、Leonardo.Aiスイートの象徴的な機能であり、洗練された画像作成パイプラインを提供します。この機能は、映画のようなシーンや本物そっくりの肖像画など、さまざまな用途に適した非常にリアルなビジュアルの生成に特化しています。
4. Canvas 2.0
Canvas V2では、画像に複雑な調整を加えたり、不要な要素を削除したり、高度なインペイント・アウトペイント技術を使って新しいコンテンツを生成することもできます。
では、新しくなった機能やツールを簡単に見てみましょう:
3つの新しいモード (Text2Img、Img2Img、Sketch2Img) 🤖。
インペイント/アウトペイント機能の大幅改善 🖌️
新しい詳細描画ツール ✏️
編集スピードと利便性を向上させる新しいキーボードショートカット ⌨️
半透明のマスク効果でマーキング箇所をより識別しやすく
フローティングツールバーでナビゲーションと使用がより簡単に
AlchemyのText2Img + Img2Imgモードのサポート 🛠️
5. Image Guidance
ControlNetは、Leonardo.Aiプラットフォームの最も人気のある機能の1つであり続け、多くのユーザーが画像の構図を調整したり、特定のキャラクターのポーズを達成するために非常に便利であると感じています。この度、この機能を大幅にアップグレードすることができました:
イメージ・ガイダンスには、新しいツール、複数の画像のアップロード、独立した重み付け、最大4つの参照画像オプションを同時に活用できる機能など、数多くの利点があります。
6. LiveCanvas
LiveCanvasは、Image-to-Image変換技術における最新のイノベーションの実装です。この機能は、ドローイングをほぼ瞬時に魅力的なアート作品に変換するように設計されており、ユーザーが画像生成のためにAIと対話する方法に革命をもたらします。デジタルキャンバスに絵を描くような自然な感覚で、没入感のある直感的なクリエイティブプロセスを提供します。
さらに、LiveCanvasは、創作プロセスを強化する機能である「インタラクティブモード」を導入しています。このモードでは、クリック、ドラッグ、スケッチなど、キャンバスと対話することで、アクション完了後にLiveCanvasが生成されたアートワークを更新します。
B. Help Guides (Leonardo Aiの使い方)
1. Home Page Navigation
Leonardo.AIへようこそ!ようこそLeonardo.AIへ。このガイドでは、このプラットフォームで利用できるさまざまなツールや機能について説明します。
準備はいいですか?ホーム画面から始めましょう。
2. Getting started with the AI Image Generation Tool
AI Image Generation Tool(AI画像生成ツール)はホームページの左側にあります。これを選択すると、画像やアセットを作成できるエリアに移動します。
3. Prompting Tips & Tricks
画面上部にプロンプト入力フィールドがあります。ここで、生成してほしい内容を正確に入力します。
見たい要素だけを入力することも、全文を入力することもできます。AIツールがあなたの入力を理解すればするほど、一般的に、より高い忠実さ、詳細さ、品質を得ることができます。
4. How To Use Canvas V2
Canvasは強力な画像編集ツールで、画像に複雑な調整を加えたり、不要な要素を削除したり、高度なインペイント・アウトペイント技術を使って新しいコンテンツを生成することもできます。
新しいCanvas V2のリリースにより、画像の変更、微調整、改良を強力かつ明確に行えるようになりました。このガイドでは、この強力な編集スイートを最大限に活用できるように、新機能や更新されたツールを含め、Canvas V2 のさまざまな側面について説明します。
5. Using Alchemy
Leonardo Alchemyへようこそ!この高度なパイプラインは、あなたの創造的なプロセスに信じられないほどのレベルのディテールとコントロールをもたらします。驚異的な高解像度、コントラストブースト、レゾナンスなどであなたのデザインを強化します。
このガイドでは、Alchemy V2、Alchemy V1、Alchemy Refinerを包括的に理解することができます。さあ、飛び込もう!
6. How to Train Your Own Model
Leonardo.Aiで自分の画像生成モデルをトレーニングすることは、効果的な方法を理解すれば、非常にやりがいのあるプロセスです。モデルのファインチューニング(正式にはファインチューニングといいます)は、あなたのスタイルニーズに完全にマッチするように出力をパーソナライズすることができる強力な機能です。これは、ゲーム開発やコンセプトアートなど、スタイルの一貫性が重要な役割を果たす分野で理想的です。
ゲームアセットやプロジェクトのコンセプトアートに興味があろうが、単に楽しもうが、AIと機械学習の基本原理を理解することで、Leonardoの便利なモデル学習機能を最大限に活用することができます。そこで、モデル・トレーニング体験を最適化する現在のベスト・プラクティスと、最高の結果を生み出すためのステップ・バイ・ステップ・ガイドを掘り下げてみましょう。
7. Creating Consistent Characters
AIが生成したキャラクターデザインを統一することは、書籍シリーズの表紙を作成したり、コンセプトアートを生成したりと、さまざまな場面で役立ちます。しかし、特にイラストのようなスタイルを使用する場合、それは難しいかもしれません。
このプロセスを簡単にするために、一貫性のあるキャラクターを作成するために必要なものをまとめた便利なガイドを作成しました。 このガイドでは、モデルトレーニングなしとモデルトレーニングありの2種類の方法を紹介しています。
C. API
注:個人用のAPIのメニューが、Settingsのメニューにあります。”UserAPI”という名称です。専用のAPIを作ることができます。
ユーザーAPIは、同時世代を必要としないシングルユーザーとテスト目的のためのものです。トークン残高を使用します。最大10個のキーを作成できます。
初めてLeonardo.Ai APIを使用する際に遭遇する一般的なエラーがいくつかあります。API経由でアプリケーションを統合する際に問題が発生した場合、このリストがトラブルシューティングに役立ちます。問題が解決しない場合は、Leonardo.Ai サポートにお問い合わせください。
以上が、今回の翻訳予定の全体のアウトラインとなります。
次回から、A. Feature releasesとB. Help Guidesの各項目についての翻訳をべーすとして、訳注と、内容が変わっている場合には、全面入れ替えして、ご紹介してきたいと思います。
この記事が気に入ったらサポートをしてみませんか?