【2024/2最新版】Waifu Diffusionとは?使い方まで徹底解説

画像生成AI

Waifu Diffusionとは

Waifu DiffusionはStable Diffusionモデルの1つです。stability ai公式のStable DiffusionモデルをDanbooruの二次元イラストデータで再学習させたモデルです。

Stable Diffusionモデルと構造は同じですが、パラメータが二次元イラストに最適化されているため、アニメイラストを生成しやすいモデルとなっています。

いまでこそ再学習されたモデルは色々な方が公開していますが、Waifu Diffusionはその中でも早い段階で公開されており、元祖Stable Diffusionのアニメ生成モデルと言って良いでしょう。

現在でも開発は続いておりwd-1-5-beta3が最新バージョンとなっております。

Stable Diffusion Web UIからWaifu Diffusionを利用

今回はStable Diffusion Web UIからWaifu Diffusionを利用する手順を紹介します。もしWaifu Diffusionをインストールしていないという方はStable Diffusion Web UIをインストールしてください。

Waifu Diffusionのダウンロード

Waifu DiffusionはHaggin faceからダウンロードできます。

waifu-diffusion/wd-1-5-beta3 at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

wd-beta3-base-fp16.safetensorsstable-diffusion-webui/models/Stable-diffusionへ配置してください。

VAEのダウンロードも忘れずに

以下のページからkl-f8-anime2.ckptをダウンロードしてください。

hakurei/waifu-diffusion-v1-4 at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

kl-f8-anime2.ckptstable-diffusion-webui/models/VAEへ配置してください。VAEとは、Stable Diffusionで生成された画像を補正するモデルのことで多くのモデルではVAE内蔵していることが多く、意識することは少ないですが、Waifu Diffusionの場合は、分けられているのでダウンロードの必要があります。VAEがないと画像が少し暗くなったりします。

Stable Diffusion Web UIからWaifu Diffusionを利用する

VAEを設定する

Stable Diffusion Web UIへアクセスしたらまずはVAEを設定しましょう。

  1. Settingsタブへ移動
  2. モデル一覧を再ロードします。
  3. SD-VAEをkl-f8-anime2.ckptに切り替え

Waifu Diffusionでtxt2img

  1. モデル一覧をロード
  2. モデルからkl-f8-anime2.ckptを選択

これで準備は完了です。それでは画像を生成してみます。まずは単純に以下のプロンプトで動作確認してみましょう。

hatsune_miku

以下のように初音ミクの画像が生成されます。

Waifu Diffusionで高品質な画像を生成するには?

Waifu Diffusionで高品質な画像を生成するならプロンプトを詳細に入力しましょう。Waifu Diffusionの癖として少ないキーワード数のプロンプトだと低品質な画像が生成されてしまいます。もう少し詳細を加えたプロンプトで初音ミクを生成してみます。

1girl, aqua_eyes, aqua_hair, black_gloves, black_thighhighs, breasts, elbow_gloves, gloves, hatsune_miku, highres, long_hair, open_mouth, solo, thighhighs, twintails, very_long_hair, vocaloid 

プロンプトに多くのキーワードを入力すると画像の品質が上がったことがわかると思います。

プロンプトを考えるには?

ただし、プロンプトを考えるのは簡単ではありません。具体的におすすめのほうほうはdanbooruなどのサイトで画像を検索してタグをコピペして調整するのがおすすめの方法です。waifu-diffusionはdanbooruのタグを元に学習させているためdanbooruのタグとはかなり相性が良いです。なのでdanbooruからコピペすると高品質な画像が生成できます。

あとはhighresは高解像度という意味のタグでこれはどんなイラスト生成にも使えるタグなのでこれを入れると高品質化できます。

今はAnythingが主流かも

waifu diffusionは過去のStable Diffusionモデルと化しており、今、高品質なアニメイラストをStable Diffusionで作成する場合はAnything系モデルがおすすめです。

Stable Diffusionイラスト系モデルを比較!おすすめのモデルは?Anything,Counterfeit,7th_anime…
今回はイラスト生成に強いモデルについて紹介します。Stable Diffusionは大きく分けるとイラスト生成が得意なモデルと実写画像が得意なモデルと、イラストと実写の間の画像を生成するのが得意なモデルにわかれます。もし実写系モデルについて

コメント

タイトルとURLをコピーしました