Flux 示例 | ComfyUI 工作流
Flux 示例 | ComfyUI 工作流
Flux 是由 黑森林实验室(Black Forest Labs) 开发的扩散模型系列。以下是如何使用 ComfyUI 工作流来运行 Flux 模型的教程和资源。
1. 下载资源
正常版本
如果您的 ComfyUI/models/clip/ 文件夹中没有 t5xxl_fp16.safetensors
或 clip_l.safetensors
,可以从 Huggingface 资源库 下载它们。如果您的内存较低,可以使用 t5xxl_fp8_e4m3fn.safetensors
替代,尽管建议使用 FP16 版本(如果有 32GB 以上内存的话)。
VAE(变分自编码器)可以在 此处 下载,并应放入 ComfyUI/models/vae/
文件夹。
内存不足的解决方案
如果遇到内存不足的问题,您可以尝试使用单文件 FP8 版本,这样会减少一半的内存占用,尽管图像质量可能会有所下降。有关更多信息,请查看下面的 FP8 Checkpoint 版本。
在 ComfyUI 中,您还可以在“Load Diffusion Model”节点中设置 weight_dtype
为 fp8
,这将进一步减少内存占用。
Flux Dev
Flux Dev 的扩散模型权重文件可以在 此处 下载。将 flux1-dev.safetensors
文件放入 ComfyUI/models/diffusion_models/
文件夹中,然后在 ComfyUI 中加载以下图像来获取工作流:
Flux Schnell
Flux Schnell 是一个经过精炼的 4 步模型。您可以从 此处 下载 Flux Schnell 的模型权重,并将该文件放入 ComfyUI/models/unet/
文件夹中。加载以下图像来获取工作流:
2. 简单易用的 FP8 Checkpoint 版本
Flux Dev
您可以从 此处 下载 Flux Dev 的简化版 FP8 Checkpoint,并将其放入 ComfyUI/models/checkpoints/
文件夹中。通过常规的“Load Checkpoint”节点加载该文件,并确保在使用时将 CFG 设置为 1.0。
注意,使用 FP8 可能会稍微降低图像质量,因此,如果资源允许,建议使用官方的 16 位版本。
加载以下图像来获取工作流:
Flux Schnell
对于 Flux Schnell,您可以下载 此处 提供的 FP8 Checkpoint 文件,并将其放入 ComfyUI/models/checkpoints/
文件夹中。然后加载以下图像来获取工作流:
3. Flux Extras
以下是一些 Flux 扩展示例,可能需要您提前准备常规的 Flux 文件,可以在本文顶部找到相关下载链接。
填充(Inpainting)模型
下载 flux1-fill-dev.safetensors 模型文件并将其放入 ComfyUI/models/diffusion_models/
文件夹中。您可以通过 ComfyUI 中的“Load Image”节点右键点击图像并选择“Open in MaskEditor”来进行填充处理。以下是一个 Inpainting 示例:
以下是一个 Outpainting 示例:
Redux 模型
Redux 模型可用于通过一个或多个图像来提示 Flux Dev 或 Flux Schnell。下载 sigclip_vision_patch14_384.safetensors 文件并将其放入 ComfyUI/models/clip_vision
文件夹中,下载 flux1-redux-dev.safetensors 文件并将其放入 ComfyUI/models/style_models
文件夹中。然后加载以下图像来获取工作流:
Canny 和 Depth
这两个模型已发布为全模型格式和 Lora 格式。下载 flux1-canny-dev.safetensors 和 flux1-depth-dev.safetensors 文件,并将它们放入 ComfyUI/models/diffusion_models/
文件夹中。以下是完整 Canny 模型的示例:
Lora 格式的 Canny 和 Depth 也可应用于 Flux Dev 模型,下载 flux1-canny-dev-lora.safetensors 和 flux1-depth-dev-lora.safetensors 文件,并将其放入 ComfyUI/models/loras/
文件夹中。以下是 Depth Lora 示例:
社区 Flux Controlnets
XLab 和 InstantX + Shakker Labs 发布了 Flux 的 Controlnet 模型。您可以从 InstantX Canny 模型 和 Shakker Labs 的 Depth 和 Union Controlnets 下载并将文件放入 ComfyUI/models/controlnet
文件夹中。尝试加载以下 Canny Controlnet 工作流:
如果需要 Canny 示例输入图像,可以使用 此图像,并将其放入 ComfyUI/input
文件夹中。
结论
Flux 提供了多个模型和扩展,适用于不同的工作流和应用场景。无论是开发、精炼版本,还是填充、Redux 模型,ComfyUI 都能帮助您高效地使用这些模型来创作和生成高质量的图像。