zhou
在這篇文章中，我們將探討 Stable Diffusion WebUI 及其 API 調用的基礎概念，同時提供文生圖（text-to-image）及圖生圖（image-to-image）的實例演示。Stable Diffusion 是目前最受歡迎的文字轉圖像模型之一，而 WebUI 是一個易於使用的界面，允許用戶輕鬆地與模型互動並生成高品質的藝術作品。此外，它還支持 API 接口，讓開發者能夠從外部應用程序或服務來驅動模型的運行。
Stable Diffusion 簡介
Stable Diffusion 是一種基於 Diffusion Modeling 技術的深度學習模型，它能從隨機噪聲中逐漸恢復一張清晰的照片。該模型經過大量數據集的訓練，可以根據文本提示創建逼真的圖像。例如，你可以輸入一段描述，如「一個坐在沙發上的貓」，然後模型會根據這個描述生成相應的圖片。
WebUI 的使用
Stable Diffusion WebUI 提供了簡單且直觀的使用體驗。首先需要下載並安裝 WebUI，然後打開網頁瀏覽器訪問 localhost:8080 （如果沒有特別配置端口）。在主界面上，你可以看到多個選項卡，包括「控制檯」（Console）、「設置」（Settings）、「進度」（Progress）等等。通過這些選項，你可以調整參數、查看生成過程的詳細信息以及管理已經完成的任務。
Text-to-Image (文生圖)
1. 選擇 Prompt: 在「Prompts」欄位中輸入你想創建的圖片的描述性文字。例如：”A kitten playing with a ball of yarn in a sunny meadow”（一隻小貓咪在一塊陽光明媚的草地裡玩著毛線球）。
2. 設定 Seed 和 Sampler: Seed 可以用來重現特定的圖像效果，Sampler 定義了模型如何生成圖像的算法。
3. 設定其他參數: 調整步長（Step）、迭代次數（Iterations）、通道（Channels）和其他參數以獲得更符合心意的結果。
4. 開始生成: 點擊「Generate!」按鈕開始生成圖像。生成過程中，可以在「Progress」視窗中監控進度。
5. 保存圖像: 完成後，你可以從「Results」欄目中找到生成的圖像，並且可以選擇存儲到本地硬碟或者直接分享給其他人。
Image-to-Image (圖生圖)
除了文字提示之外，Stable Diffusion WebUI 還支持圖片作為輸入進行操作，這種稱為圖生圖的功能。以下是一些常見的使用場景：
1. 風格轉換（Stylization）：將一張圖片的風格轉換為另一種特定風格。
2. 超分辨率（Super Resolution）：提升低解析度圖片的畫面細節和清晰度。
3. 移除背景（Background Removal）：去除照片中的背景並替換為其他背景。
使用圖生圖功能時，首先需要在「Control」選項卡中上傳要處理的圖片，接下來就像文生圖一樣設定參數並執行生成過程即可。
API 調用示例
Stable Diffusion WebUI 不僅限於本地使用，其開放的 API 接口使你能夠遠程控制模型並從任何地方獲取生成圖像。以下是如何使用 Python 語言通過 HTTP POST 請求來觸發一次文生圖操作的例子：
import requests
from PIL import Image, ImageDraw, ImageFont
# 這裡假設您的 WebUI 正在本地的 8080 端口上運行
url = "http://localhost:8080/generate"
# 準備請求體數據
data = {
"prompt": "A kitten playing with a ball of yarn in a sunny meadow",
"num_samples": 8,
"batchsize": 1,
"n_iter": 500,
"device": "cuda" if torch.cuda.is_available() else "cpu",
}
# 提交請求
response = requests.post(url=url, json=data)
if response.status_code == 200:
images = response.json()["results"] # 獲取生成的圖像列表
for img in images:
img_bytes = img["image"]["buffer"] # 提取每個圖像的字節表示
with open(f"generated_{i}.jpg", "wb+") as fp: # 存儲到本地文件
fp.write(img_bytes)
else:
print("An error occurred while calling the WebUI's API:", response.reason)
在上面的代碼片段中，`prompt` 字段包含了生成圖像所需的描述文本，`num_samples` 指定每次生成嘗試的樣本數量，`batchsize` 決定了一次生成多少幅圖像，`n_iter` 設定了迭代的最大次數，`device` 則選擇了計算資源（CPU 還是 GPU）。
請注意，上述代碼僅供示範之用，實際使用時可能需要根據您當前的環境條件進行適當的修改。
總而言之，Stable Diffusion WebUI 及其配套的 API 為專業程式員和普通用戶提供了一個強大的創作平臺。無論是在研究領域、藝術創作還是商業應用方面，都可以利用這一先進的人工智慧技術來實現各種創新性的項目。隨著時間的推移，我們可以預期會有更多的功能被添加到這個平臺上，進一步擴展它的潛力。
