画像生成AIツール『Stable diffusion web UI』インストール手順まとめ【保存版】公開中💕
『Stable diffusion web UI』お勧め拡張機能『Image Browser』インストール方法と基本的な使い方💕公開中！
この記事の目次
- 1 『Controlnet』コントロールネットとは？
- 2 『Stable diffusion web UI – ControlNet』YouTube動画：のいチャンネル
- 3 おすすめ拡張機能『SD WEBUI コントロールネット』『事前トレーニング済みモデル』ダウンロード・インストール方法
- 4 コントロールネット『Instant ID』の導入方法
- 5 『SD WEB UI ControlNet』の機能概要
- 6 コントロールネット用 事前トレーニング済みモデルの内容
- 6.1 初版『ControlNet 1.0』の基本モデル （全8種類）
- 6.1.1 ① 輪郭検出（キャニー）Canny
- 6.1.2 ② 深度マップ検出（デプス）Depth
- 6.1.3 ③ （ＨＥＤ）Holistically Nested Edge Detection 全体的にネストされたエッジ（輪郭）検出
- 6.1.4 ④ 高速直線検出器（Ｍ-ＬＳＤ）Mobile Line Segment Detection
- 6.1.5 ⑤ ノーマルマップ（法線マップ）Normal map
- 6.1.6 ⑥ オープンポーズ（人間ポーズ検出）Open pose
- 6.1.7 ⑦ スクリブル（落書きから画像生成）Scribble ＝ 落書き
- 6.1.8 ⑧ セグメンテーション（色の割当て）Segmentation ＝ 区分・区分け
- 6.2 マルチコントロールネット（Multi ControlNet）の設定方法
- 6.3 NEW『ControlNet 1.1』の操作画面（ユーザーインターフェイス）
- 6.4 NEW『ControlNet 1.1』追加されたモデルの機能概要 （全6種類）
- 6.1 初版『ControlNet 1.0』の基本モデル （全8種類）
- 7 追加された拡張機能のメニュー操作画面を日本語化する
- 8 拡張機能『sd-webui-controlnet』メニュー操作画面の基本的な使い方
- 9 コントロールネットの設定（Settings）
- 10 拡張機能『OpenPose Editor』オープンポーズ・エディターのインストール方法＆基本的な使い方
- 11 まとめ
『Controlnet』コントロールネットとは？
『ControlNet』作者イリヤスフィール氏（Mr.lllyasviel）
【Github – lllyasviel/ControlNet: Let us control diffusion models!】
拡張機能『SD-WEB-UI』用コントロールネット sd-webui-controlnet：ミクビル氏（Mr.Mikubill）
SD-WEB-UI用コントロールネット『sd webui controlnet』とは？
【GitHub – Mikubill/sd-webui-controlnet: WebUI extension for ControlNet】
『ControlNet』バージョンアップ履歴（メモ）
●拡張機能『ControlNet 1.1』バージョン1.1 公式リリース開始（2023年4月中旬）
●新機能：制御モデルを必要としない新プリプロセッサ『reference-only（参照のみ）』実装。（2023年5月13日）
●新プリプロセッサ『refernce_adain』と『refernce_adain+attn』を追加。
（2023年5月15日）
『Stable diffusion web UI – ControlNet』YouTube動画：のいチャンネル
画像生成AI『Stable diffusion web UI』😍超おすすめ拡張機能コントロールネット＆オープンポーズエディター💕インストール方法＆実用的な使い方💕AI究極ファッション！？YouTube動画
| YouTube動画内で使用した架空の「なんちゃてテヘペロ雑誌」A.I Ultimate Fashion | |
 |
 |
AI画像生成『Stable diffusion web UI』コントロールネット 1.1😍超ラスボス級新型モデル搭載💕新機能＆モデル＆プリプロセッサの使い方‼️👍YouTube動画
AI画像生成『Stable diffusion web UI』controlnet 1.1😍新プリプロセッサ③種類実装‼魅力満載の活用できる新機能！百聞は一見に如かず💕👍
おすすめ拡張機能『SD WEBUI コントロールネット』『事前トレーニング済みモデル』ダウンロード・インストール方法
『Stable Diffusion web UI』の拡張機能『sd-webui-controlnet』のインストール手順を解説します。
『SD-webui-controlnet』インストール方法
①『Stable Diffusion web UI』を起動した状態で以下のリンク先にアクセスし「Code」ボタンを開いた後、拡張機能インストール用アドレス取得の「コピー」ボタンをクリックします。
②「拡張機能」タブを開き ➡ 「URLからインストール」を選択後に「拡張機能リストのURL」の窓の所へ「Ctrl」+「V」キーで（先ほどのアドレスを）貼付け（ペースト）します。
③「インストール」を押すと『sd-webui-controlnet』がインストールされますが、反映させる為に次の手順へ。↓
④インストールした『sd-webui-controlnet』を適用する為に「インストール済」タブに切り替え「適用して再起動」を押します。
⑤「txt2img」又は「img2img」に切り替え、新たに「ControlNet」メニューが追加されていればインストール完了です。
拡張機能『ControlNet』用の『事前トレーニング済みモデル』ダウンロード＆インストール手順
『ControlNet 1.0』
①以下「Hugging Face」のサイトにアクセスし学習済みの「事前トレーニング済みモデル」ファイルを8個全てダウンロードします。
②ダウンロードしたファイルを8個全て、以下フォルダ内に収納します。
③インストールしたモデルを確実に適用する為に、念の為「拡張機能」タブ→「インストール済」タブに切り替え「適用して再起動」を押します。
『ControlNet 1.1』
●拡張機能『ControlNet 1.1』バージョン1.1 公式リリース開始（2023年4月中旬）
●『ControlNet 1.1』で使用する為のモデル・ファイル・ダウンロード（Hugging Face）
| モデルのファイル名 | モデル追加後の「モデル」タブ内 |
| control_v11p_sd15_canny control_v11p_sd15_mlsd control_v11f1p_sd15_depth control_v11p_sd15_normalbae control_v11p_sd15_seg control_v11p_sd15_inpaint control_v11p_sd15_lineart control_v11p_sd15s2_lineart_anime control_v11p_sd15_openpose control_v11p_sd15_scribble control_v11p_sd15_softedge control_v11e_sd15_shuffle control_v11e_sd15_ip2p control_v11f1e_sd15_tile |
 |
●ダウンロードしたモデルファイル（.pth）を14個全て、以下フォルダ内に収納します。
| 『ControlNet 1.1』より採用された標準の ControlNet 命名規則 (SCNNR) |
 |
コントロールネット『Instant ID』の導入方法
①以下サイトの「Download models」の所でファイルを2つ「ipadapter」と「ControlNet model」をダウンロードして下さい。
②ファイルを2つダウンロードしたら（拡張子を正しく認識させる為に）ファイル名を次のように書き換えます。
③2つのファイルを以下のフォルダ内に配置。
『SD WEB UI ControlNet』の機能概要
コントロールネット用 事前トレーニング済みモデルの内容
初版『ControlNet 1.0』の基本モデル （全8種類）
① 輪郭検出（キャニー）Canny
従来型の輪郭検出器で、「直線」と「曲線」を同時に抽出します。
② 深度マップ検出（デプス）Depth
これは「オブジェクト」が存在する場所が、どれ位離れた位置にあるのかを画像に反映させたい時に役立ちます。
③ （ＨＥＤ）Holistically Nested Edge Detection 全体的にネストされたエッジ（輪郭）検出
④ 高速直線検出器（Ｍ-ＬＳＤ）Mobile Line Segment Detection
これは、インテリア、建物、街並みなどの輪郭を検出する時に便利です。
| 元画像 | 輪郭検出後 | プロンプトに従い画像生成 |
 |
 |
 |
⑤ ノーマルマップ（法線マップ）Normal map
| 『ControlNet 1.1』を使用した画像生成結果 | ||
| Prompt：spider woman, 21yo, beautiful, cinematic, pale skin, master piece （スパイダーウーマン, 21歳, 美しい, シネマティック, 青白い肌, 傑作） |
||
| 元画像（Before） | ノーマルマップ抽出 | 画像生成後（After） |
 |
 |
 |
| Steps: 50, Sampler: Euler a, CFG scale: 7 | ||
⑥ オープンポーズ（人間ポーズ検出）Open pose
これは、人型モデルの主要な部分（骨格・部位）を読み取り検出します。
| オープンポーズを利用したコントロールネットの流れ図 |
 |
⑦ スクリブル（落書きから画像生成）Scribble ＝ 落書き
⑧ セグメンテーション（色の割当て）Segmentation ＝ 区分・区分け
マルチコントロールネット（Multi ControlNet）の設定方法
| 『マルチコントロールネット（Multi ControlNet）』のユーザーインターフェイス |
 |
●「マルチコントロールネット」を使う為の設定方法は非常に簡単です。
①『SD-WEB-UI』の「設定」タブから ➡「ControlNet」を選択。
②その後「Multi ControlNet」のスライダーを「1」から「2」又は「3」にして「設定を適用」した後に「UIの再読込み」を実行。
NEW『ControlNet 1.1』の操作画面（ユーザーインターフェイス）
●マーキングしてある部分が新たに、バージョンアップで変更された箇所です。
| ウェブブラウザで日本語化済み |
 |
新プリプロセッサ『reference-only（参照のみ）』実装『ControlNet 1.1.153』以降
使用例①：『reference-only（参照のみ）』だけを使用する
| プリプロセッサ『reference-only（参照のみ）』を使用したサンプル画像（比較用） | |
| 元画像（Before） | 生成後（After） |
 |
 |
使用例②：プリプロセッサ『reference-only（参照のみ）』と『オープンポーズ』をマルチコントロールネットで2個併用する
| プリプロセッサ『reference-only（参照のみ）』と『オープンポーズ』をマルチコントロールネットで2個併用したサンプル画像（比較用） |
||
| 元画像（Before） ControlNet Unit 0 |
『オープンポーズ』 ControlNet Unit 1 |
生成後（After） |
|
 |
 |
| ●コントロールネットを複数同時に使用出来る「マルチコントロールネット」の設定方法は非常に簡単です。↓↓ ①『SD-WEB-UI』の「設定」タブから ➡「ControlNet」を選択。 ②その後「Multi ControlNet」のスライダーを「1」から「2」又は「3」にして「設定を適用」した後に「UIの再読込み」を実行。（4以上は目的が有る場合以外お勧めしません） |
||
使用例③：プリプロセッサ『reference-only（参照のみ）』と『オープンポーズ』『シャッフル（shuffle）』をマルチコントロールネットで3個同時に使用する
| プリプロセッサ『reference-only（参照のみ）』と『オープンポーズ』を『シャッフル（shuffle）』マルチコントロールネットで3個同時に使用したサンプル画像（比較用） |
||
| 元画像①（Before） 『reference-only』 ControlNet Unit 0 |
元画像②（Before） 『オープンポーズ』 ControlNet Unit 1 |
生成後（After） |
| 背景透過済みPng画像 | 背景透過済みPng画像 | |
 |
|
 |
| 元画像③（Before） 『シャッフル』 ControlNet Unit 2 |
プリプロセッサでシャッフルされた中間の結果画像 | |
 |
 |
|
使用した感想（まとめ）
●右手の指の先が伸びておらず「何か握っている」のが気に入らないが、まずまずの結果。
●「顔立ち」に関しては、ほぼ同一人物と思えるほど非常に精度が良い。
あとは「各パラメータ（プロンプト等）」の条件で精度を上げていけば良いという印象。
●「マルチコントロールネット」を使って画像生成（合成）する場合、透過画像（背景切抜きPng画像）等を使用すると（追加したい要素のみを）非常に合成しやすい。
新プリプロセッサ『reference-adain』『reference_adain+attn』実装『ControlNet 1.1.171』以降
【AdaIn (Adaptive Instance Normalization) に関する文献：コーネル大学（Cornell University）】（※全米屈指の名門校）↓↓
●以下画像は「txt2txt」タブ内のコントロールネットに元画像を挿入し、元画像を事前に解析した結果のプロンプトを入力し『reference-only』『reference-adain』『reference_adain+attn』3種類を使用して生成したものです。↓
| プリプロセッサ『reference-only』『reference-adain』『reference_adain+attn』3種類を使って生成したサンプル画像（比較用） |
|||
| ① | ② | ③ | |
| 元画像 | reference-only | reference-adain | reference_adain+attn |
|
|
 |
 |
『ControlNet 1.1』バージョンアップで「追加・変更」された操作メニュー内容
①『画像に白い背景と黒い線がある場合は、プリプロセッサを「反転」に設定します』と表記され、プリプロセッサの中に統合されました。
②✅「ピクセルパーフェクト」は、プリプロセッサが選択されている場合にのみ反応し、プリプロセッサを使用する際の解像度を設定できます。
③「プレビューを許可」に✅チェックを入れると、右側にプレビューが表示されます。
④「📝」ボタンを押すと『新しいキャンバスを開く（Open New Canvas）』の画面が開きます。
⑤赤色の「💥」ボタンを押すと、プリプロセッサを使用した場合の結果を（事前に）右側のプレビュー画面に表示してくれます。
|
⑥「推測モード」が3種類に増えました。
●それと、以前『ControlNet 1.0』の時にあった、ノーマルマップ用の「RGBからBGR 」ボタンは無くなりました。
NEW『ControlNet 1.1』追加されたモデルの機能概要 （全6種類）
①ラインアート（Lineart）線画
| Prompt：bag （かばん） |
Prompt：Michael Jackson’s concert （マイケル・ジャクソンのコンサート） |
 |
 |
| 画像はクリックで拡大💕再度クリックで閉じます♪😀 | |
| Prompt：wonder woman, 21yo, beautiful, cinematic, pale skin, master piece （ワンダーウーマン, 21歳, 美しい, シネマティック, 青白い肌, 傑作） |
||
| 元画像（Before） | 線画抽出 | 生成後（After） |
|
 |
 |
| Steps: 50, Sampler: Euler a, CFG scale: 7 | ||
②アニメ・ラインアート（Anime Lineart）※モデル名：Lineart_Anime
| Prompt：1girl, in classroom, skirt, uniform, red hair, bag, green eyes （1人の女の子、教室で、スカート、制服、赤髪、バッグ、緑の目） |
 |
③シャッフル（Shuffle）＝混ぜ合わせる
| Prompt：hong kong （香港） |
Prompt：iron man （アイアンマン）＝ 鉄人 |
 |
 |
④Pix2Pix（写真 ➡ 写真）/（画像 ➡ 画像）
| Prompt：make it on fire （火をつける） |
Prompt：make he iron man （彼をアイアンマンにする） |
 |
 |
⑤Inpaint（コントロールネット・インペイント）
| Prompt：a handsome man （ハンサムな男）＝イケメン |
|
 |
①コントロールネット側の画面に元画像をドロップ（挿入）してインペイントを使用する。
②「img2img」タブ内のインペイント画面に元画像をドロップ（挿入）してコントロールネット・インペイントを使用する。
①手順はまず ➡『ControlNet』を最新バージョンに更新し、端末を含めて完全に再起動。
②「AUTOMATIC1111」の「img2img」タブ内の「inpaint」に移動。
③コントロールネット（ControlNet）を開き、プリプロセッサを「inpaint_global_harmonious」に設定し、モデル「control_v11p_sd15_inpaint」を使用して、コントロールネットを✅有効にしてから画像生成します。
⑥タイル（Tile）
| Prompt：dog on grassland （草原の犬） |
|
 |
← 元画像の「ぼやけ」に対して、悪い詳細を削除し、洗練された詳細を追加できます。 |
追加された拡張機能のメニュー操作画面を日本語化する
●翻訳方法は、画面内のメニューが何も無い所で右クリックし、表示されたメニューで「日本語に翻訳」を選べば日本語化されます。
 |
 |
拡張機能『sd-webui-controlnet』メニュー操作画面の基本的な使い方
①既に「生成済みの画像」又は「お持ちの写真」からポーズを読み取る場合は、①をクリックして画像をアップロードするか、もしくは直接画面の上にドロップします。
| 『ControlNet 1.0』 ウェブブラウザで日本語化済み |
『ControlNet 1.1』 |
 |
|
●画像が①に挿入されると、画像を編集できる状態になります。
| 『sd-webui-controlnet』コントロールネット・ユーザーインターフェース（UI） | |
| 『ControlNet 1.0』 ウェブブラウザで日本語化済み |
『ControlNet 1.1』 |
|
|
| ↑ 画像はクリックで拡大💕再度クリックで閉じます。↑ | |
②✅「有効」：コントロールネットの機能を有効にする為に、チェックボックスに✅チェックを入れ、オン/オフの切替スイッチになっています。
③「入力色を反転」：ドロップした画像の背景が白い場合は、✅チェックを入れて反転します。
④「RGB から BGR」：これは、ノーマルマップ（法線マップ）を読み込む時に使うのですが、「R/G/B」は「レッド/グリーン/ブルー（赤・緑・青）」という意味で、↓
「プリプロセッサ（有り）」を利用して「ノーマルマップ」を生成する為の出力は「R ➡ G ➡ B」ですが、「プリプロセッサ（無し）」で「ノーマルマップ」から「画像」を生成する為の入力は「B ➡ G ➡ R」になっている為、✅チェックを入れて作業します。
| 画像 ➡ ノーマルマップ（プリプロ有り） | ノーマルマップ ➡ 画像（プリプロ無し） |
 |
 |
⑤「低 RAM」：メモリが少ないGPU（8GB以下のグラボ）をお使いの場合はチェックを入れる事が推奨されています。
| 『sd-webui-controlnet』コントロールネット・ユーザーインターフェース（UI） | |
| 『ControlNet 1.0』 ウェブブラウザで日本語化済み |
『ControlNet 1.1』 |
|
|
| ↑ 画像はクリックで拡大💕再度クリックで閉じます。↑ | |
⑥「推測モード」:✅チェックを入れると、人工知能が程よく考え適した画像を、推測して出力してくれます。
⑦「カメラモード」：ウェブカメラやデジタルカメラを使用している場合、カメラアイコンをクリックする事で、ご自分のポーズを撮影して画像に適用できます。
| カメラモード | |
 |
⑧「ドロップした画像」や「撮影した画像」の大きさを、「生成（出力）」する側の画像サイズ（幅と高さ）へ転送し変更します。
⑨「プロプロセッサ」：これは画像を抽出（処理）する為の「前処理器」です。
⑩「モデル」：プリプロセッサの機能に合わせて、モデルを選択するようにします。
| プロセッサ（Preprosessor） | モデル（v1.0） |
 |
 |
⑪ 
ボタン：モデルが読み込まれていない場合、ボタンをクリックする事で内容を更新されます。
| 『sd-webui-controlnet』コントロールネット・ユーザーインターフェース（UI） | |
| 『ControlNet 1.0』 ウェブブラウザで日本語化済み |
『ControlNet 1.1』 |
|
|
| ↑ 画像はクリックで拡大💕再度クリックで閉じます。↑ | |
⑫「重さ（Weight）」:コントロールネットの機能を利用して設定された内容が（出力画像の結果に）どれ位の影響力を与えるかを数値（値1＝100％）で決定します。
⑬⑭「ガイダンス開始」「ガイダンス終了」：コントロールネットが適用する、合計ステップ数の割合（％）です。
⑮「リサイズモード」：拡大・縮小の種類。
⑯「キャンバスの幅」「キャンバスの高さ」：⑰番の「空白のキャンバスを作成」する時の大きさを、ここの数字（値）で決定します。
⑱「アノテーターの結果をプレビュー」「アノテーターの結果を非表示」：コントロールネットを使用後に抽出された結果（内容）を、①番の画像の所に表示したり隠したり出来ます。↓参照
| アノテーターの結果が表示されるまでの画像生成サイクル |
 |
コントロールネットの設定（Settings）
『sd-webui-controlnet』コントロールネットの「設定」で重要な、おすすめ設定について解説します。
拡張機能『OpenPose Editor』オープンポーズ・エディターのインストール方法＆基本的な使い方
『Openpose Editor』とは？
『Openpose Editor』のインストール手順（方法）
①『Stable Diffusion web UI』を起動した状態で以下のリンク先にアクセスし「Code」ボタンを開いた後、拡張機能インストール用アドレス取得の「コピー」ボタンをクリックします。
②「拡張機能」タブで「URLからインストール」を選び「拡張機能のリポジトリのURL」に貼り付け後、「インストール済」タブで「適用してUIを再起動」ボタンを押せばインストールされます。
『Openpose Editor』オープンポーズエディターの基本的な使い方
「オープンポーズ・エディター」のメニューを使用して、出来る事の内容を解説します。
| 『Openpose Editor』ユーザーインターフェース（メニュー説明） |
 |
| ↑ 画像はクリックで拡大💕再度クリックで閉じます。↑ |
①は、作成するディテクトマップ（スケルトン）の大きさ（幅と高さ）の数値を、ここのスライダーで決定します。
②「Add（追加）」: ボタンを押すと人型（スケルトン）が追加され、マウスでドラッグする事で（お好みでの位置へ）移動できます。
③リセットボタン：人型スケルトンのポーズをリセット出来ます。
④JSONからロード：JSONファイルをロード出来ます。（※あまり使わない）
⑤「Detect from image（画像から検出）」: クリックするとエクスプローラーが起動し、指定された画像からポーズを検出できます。
⑥「Add Background image（背景画像を追加）」: クリックするとエクスプローラーが起動し、背景を追加できます。
⑦～⑨「プリセット/プリセットをロード/プリセットを保存」
⑩「JSONを保存」「PNGを保存」「txtimgに転送」「img2imgに転送」
まとめ
●私の「YouTube動画」の中でも実用的な使用例を参考としてご紹介していますが、画像の著作権やツール利用権などなど、その辺りの問題が解決されれば、すぐにでも業務（ビジネス）に利用して運用・展開できそうな内容が既に備わっています。
