SwarmUIとは｜Stable Diffusion・ComfyUIを統合するWebUIの使い方とプロンプト構文

この記事ではUIデザインに特化して解説します。デザインシステム・UI生成全般は デザインシステムとは？仕組み・構成要素・有名事例をエンジニア向けに整理する【2026年版】 をご覧ください。

SwarmUIとは：Stable Diffusion・ComfyUIを統合するWebUI

公式の説明は「A Modular AI Image Generation Web-User-Interface, with an emphasis on making powertools easily accessible, high performance, and extensibility」。パワーユーザー向けの機能を、初心者にも使えるUIで出すことを目指している。「Stable Diffusionを動かすにはコマンドラインが要る」「ComfyUIのノードグラフが複雑すぎる」「モデルを替えるたびに別のツールを開く」という痛点に対し、Generateタブ（シンプルUI）とComfyUIタブ（ノードグラフ）を同じアプリに共存させたのが設計の核だ。

対応モデルは、Stable Diffusion（SD1.5、SDXL、SD3等）、Flux（flux.1-dev、flux.1-schnell）、Qwen Image、ComfyUI経由で使えるあらゆるモデル、そしてWan Video・Hunyuan Videoなどの動画モデルだ。

ComfyUIをサブプロセスとして起動するので、ComfyUIのカスタムノードやコミュニティプラグインも内部で使える。Generateタブで作った設定を「ComfyUIタブで開く」ことができ、シンプルUIから細かいカスタマイズへそのまま移れる。ComfyUI単体の使い方はComfyUIとは｜使い方・インストールからワークフロー構築まで入門ガイド【2026年8月版】にまとめてある。

リポジトリの実測値（2026年7月30日時点）は次のとおり。

タグは0.9.8-Betaのままだが、リポジトリは活発に更新されている。導入スクリプトはGitからクローンして動かすので、実質的には常に最新のmainに追随する。

SwarmUIのインストール・セットアップ

Windowsは、GitHubのリリースページから Install-Windows.bat をダウンロードし、Program Files以外のフォルダに置いてダブルクリックする。Windows 10では事前にGit for Windowsと.NET 8 SDKが要る。

# Linux（Ubuntu/Debian系）
sudo apt-get install -y dotnet-sdk-8.0 python3 python3-pip git
git clone https://github.com/mcmonkeyprojects/SwarmUI.git
cd SwarmUI
bash launch-linux.sh     # 初回起動時にモデル設定UIが表示される

# macOS（Apple Silicon）
brew install dotnet [email protected]
git clone https://github.com/mcmonkeyprojects/SwarmUI.git
cd SwarmUI
bash launch-macos.sh

Docker（NVIDIA GPU）で動かす場合の docker-compose.yml の例。

version: '3.8'
services:
  swarmui:
    image: ghcr.io/mcmonkeyprojects/swarmui:latest
    ports:
      - "7801:7801"
    volumes:
      - ./models:/SwarmUI/Models
      - ./output:/SwarmUI/Output
      - ./data:/SwarmUI/Data
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    environment:
      - SWARM_NO_LAUNCH=true

初回は http://localhost:7801 を開くとセットアップウィザードが出る。バックエンド（ComfyUI推奨、またはAuto1111）を選び、既存のモデルフォルダを指定し、SDXLなどの推奨モデルを必要なら自動取得し、使うGPUを選ぶ（複数GPUなら並列設定も可）。A1111で使っていた.safetensorsのモデルやLoRAは、フォルダを指定すればそのまま認識される。

プロンプト構文：SwarmUI独自の記法で生成をコントロールする

「パワーツールを使いやすく」が最もはっきり出るのがプロンプト構文だ。公式ドキュメント（docs/Features/Prompt Syntax.md）は20種類以上の記法を定義しており、ノードグラフを組まずにテキストだけで細かく制御できる。

ほかに変数・マクロ・トリガーフレーズ・繰り返し・Textual Inversion・プリセット・自動セグメンテーションとリファイン・透過・Base/Refinerの切り替え・動画用の記法・コメントまでが同じ構文に載っている。

公式ドキュメントはSDXLでのリージョン指定の例として a photo of a cat/dog mix <region:0,0,1,0.5,1> a photo of a cat <region:0,0.5,1,0.5,1> a photo of a dog を挙げる。全体は「猫と犬の中間」、上半分に猫、下半分に犬、という指定がプロンプト1行で済む。ComfyUIでも同じことはできるが、都度グラフを組み直す必要がある。SwarmUIではこの制御をテキスト1行で書き、そのまま履歴に残せる。

動画生成と、複数GPU・グリッド生成

公式の docs/Video Model Support.md が挙げる動画モデルは次のとおり。

・Wan 2.1 / 2.2：「Current Recommendations」で14B版のWan 2.2または2.1がローカルで使える中では最良と明記。高速化版のCausVidや、静止画生成にWanを使う構成にも触れている
・Hunyuan Video / 1.5：インストール、パラメータ、性能最適化、FastVideo、Image2Video、SkyReelsまで章立て。1.5には超解像モデルの項目もある
・Lightricks LTX Video / LTX Video 2（LTX-2.3）：インストール、パラメータ、Image To Video、性能の各項目
・Kandinsky 19B：「興味深いが新しく、まだポテンシャルを出し切れていない。試す価値はある」という評価

使い方は text-to-video と image-to-video の2系統に分かれる。狙った構図を先に画像で作り込み、それをimage-to-videoに渡す流れは、画像と動画が同じUIにある環境ならではの回し方だ。14B級の動画モデルは画像生成とは別次元のVRAMと生成時間を要する（Hunyuan Videoに「Performance / Optimization」の節が独立しているのはそのため）ので、まず画像生成で環境を整えてから進むほうがつまずきにくい。

名前の「Swarm（群れ）」のとおり、複数のバックエンドを束ねて並列に走らせるのが前提だ。Using More GPUs.md・AutoScalingBackend.md・Sharing Your Swarm.md という専用ページがあり、1台に挿した複数のGPUも、LAN内の別マシンも同じ「バックエンド」として束ね、負荷に応じて増減させ、自分のSwarmをLAN内のメンバーに公開できる。

Grid Generatorはパラメータの組み合わせを総当たりで生成して格子状に並べる機能で、「CFGはいくつが良いか」「サンプラーで何が変わるか」を並べて判断できる。並列バックエンドと組み合わせると、この総当たりが実用的な時間で終わる。

ユースケースとAPIによる自動化

・キャラクターイラストの量産：Generateタブでベースのプロンプトを決め、Grid Generatorでシード・スタイル・ライティングの組み合わせを一括生成して選ぶ
・動画向けの素材制作：静止画から短尺動画まで同じUIで作り、動画編集ソフトを別に開かずに済ませる
・モデル比較：同じプロンプトを複数のモデルで同条件に生成して比べる。LoRAの効果検証にも使える
・クラウドGPU：RunpodやVast.aiにはコミュニティ製のSwarmUIテンプレートがあり、ローカルGPUなしで一時的な大量生成に使える

REST APIを使えば、Pythonから生成を自動化できる。

import requests

SWARM_URL = "http://localhost:7801"

def generate_image(prompt, model="OfficialStableDiffusion/sd_xl_base_1.0"):
    payload = {
        "session_id": "my-session",
        "images": 1,
        "prompt": prompt,
        "model": model,
        "width": 1024,
        "height": 1024,
        "steps": 30,
        "cfgscale": 7.0,
        "seed": -1
    }
    response = requests.post(f"{SWARM_URL}/API/GenerateText2Image", json=payload)
    return response.json().get("images", [])

for p in ["a futuristic city at sunset, photorealistic",
          "a serene forest lake in morning mist"]:
    print(f"Generated: {generate_image(p)}")

ジョブスケジューラと組めば、定時実行や条件分岐を含むパイプラインにできる。

SwarmUIが向く人・競合ツールとの比較

公式の Why Use Swarm.md / Motivations.md を踏まえると、向き不向きは次のように分かれる。

SwarmUIは内部の生成バックエンドにComfyUIを使うので、ComfyUIを置き換えるものではなく、その上に乗せる統合レイヤーだ。既存のComfyUIワークフローも docs/Features/Comfy-Workflows.md の手順でSwarmUIから呼び出せる。

モバイルブラウザ中心の利用はモバイル対応が開発中のため向かない。GPUなしでもCPUで動くが、実用的な速度には専用GPU（NVIDIA CUDAが最も広く、AMD ROCmとApple Silicon MPSも対応）が要る。ComfyUIのカスタムノードは ComfyUI/custom_nodes/ に置けば使えるが、全部が動作保証されているわけではない。Fluxはモデルフォルダに置いて再起動すれば、Generateタブのドロップダウンから選べる。LANでのマルチユーザー利用はできるが、認証機能は限定的でインターネット公開は公式に推奨されておらず、共有するならプロキシでアクセス制御を別に設ける。ローカルGPUで画像生成を動かす別の選択肢はIntel AI Playground：Intel Arc/Core UltraでローカルAIを動かすOSSアプリの導入と現況で扱っている。

SwarmUI自体はMITだが、内部で使う依存（ComfyUIはGPL-3.0など）はそれぞれ別のライセンスなので、商用製品に組み込むなら依存側も個別に確認してほしい。

参照ソース

• mcmonkeyprojects/SwarmUI - GitHub公式リポジトリ
• SwarmUI公式サイト
• SwarmUI公式ドキュメント（docs/）