Waifu Diffusionとは
Waifu DiffusionはStable Diffusionモデルの1つです。stability ai公式のStable DiffusionモデルをDanbooruの二次元イラストデータで再学習させたモデルです。
Stable Diffusionモデルと構造は同じですが、パラメータが二次元イラストに最適化されているため、アニメイラストを生成しやすいモデルとなっています。
いまでこそ再学習されたモデルは色々な方が公開していますが、Waifu Diffusionはその中でも早い段階で公開されており、元祖Stable Diffusionのアニメ生成モデルと言って良いでしょう。
現在でも開発は続いておりwd-1-5-beta3が最新バージョンとなっております。
Stable Diffusion Web UIからWaifu Diffusionを利用
今回はStable Diffusion Web UIからWaifu Diffusionを利用する手順を紹介します。もしWaifu Diffusionをインストールしていないという方はStable Diffusion Web UIをインストールしてください。
Waifu Diffusionのダウンロード
Waifu DiffusionはHaggin faceからダウンロードできます。
wd-beta3-base-fp16.safetensorsをstable-diffusion-webui/models/Stable-diffusionへ配置してください。
VAEのダウンロードも忘れずに
以下のページからkl-f8-anime2.ckptをダウンロードしてください。
kl-f8-anime2.ckptをstable-diffusion-webui/models/VAEへ配置してください。VAEとは、Stable Diffusionで生成された画像を補正するモデルのことで多くのモデルではVAE内蔵していることが多く、意識することは少ないですが、Waifu Diffusionの場合は、分けられているのでダウンロードの必要があります。VAEがないと画像が少し暗くなったりします。
Stable Diffusion Web UIからWaifu Diffusionを利用する
VAEを設定する
Stable Diffusion Web UIへアクセスしたらまずはVAEを設定しましょう。
- Settingsタブへ移動
- モデル一覧を再ロードします。
- SD-VAEを
kl-f8-anime2.ckptに切り替え
Waifu Diffusionでtxt2img
- モデル一覧をロード
- モデルから
kl-f8-anime2.ckptを選択
これで準備は完了です。それでは画像を生成してみます。まずは単純に以下のプロンプトで動作確認してみましょう。
hatsune_miku以下のように初音ミクの画像が生成されます。
Waifu Diffusionで高品質な画像を生成するには?
Waifu Diffusionで高品質な画像を生成するならプロンプトを詳細に入力しましょう。Waifu Diffusionの癖として少ないキーワード数のプロンプトだと低品質な画像が生成されてしまいます。もう少し詳細を加えたプロンプトで初音ミクを生成してみます。
1girl, aqua_eyes, aqua_hair, black_gloves, black_thighhighs, breasts, elbow_gloves, gloves, hatsune_miku, highres, long_hair, open_mouth, solo, thighhighs, twintails, very_long_hair, vocaloid 
プロンプトに多くのキーワードを入力すると画像の品質が上がったことがわかると思います。
プロンプトを考えるには？
ただし、プロンプトを考えるのは簡単ではありません。具体的におすすめのほうほうはdanbooruなどのサイトで画像を検索してタグをコピペして調整するのがおすすめの方法です。waifu-diffusionはdanbooruのタグを元に学習させているためdanbooruのタグとはかなり相性が良いです。なのでdanbooruからコピペすると高品質な画像が生成できます。
あとはhighresは高解像度という意味のタグでこれはどんなイラスト生成にも使えるタグなのでこれを入れると高品質化できます。
今はAnythingが主流かも
waifu diffusionは過去のStable Diffusionモデルと化しており、今、高品質なアニメイラストをStable Diffusionで作成する場合はAnything系モデルがおすすめです。
コメント