Flux 示例 | ComfyUI 工作流

Flux 是由 黑森林实验室(Black Forest Labs) 开发的扩散模型系列。以下是如何使用 ComfyUI 工作流来运行 Flux 模型的教程和资源。

1. 下载资源

正常版本

如果您的 ComfyUI/models/clip/ 文件夹中没有 t5xxl_fp16.safetensorsclip_l.safetensors,可以从 Huggingface 资源库 下载它们。如果您的内存较低,可以使用 t5xxl_fp8_e4m3fn.safetensors 替代,尽管建议使用 FP16 版本(如果有 32GB 以上内存的话)。

VAE(变分自编码器)可以在 此处 下载,并应放入 ComfyUI/models/vae/ 文件夹。

内存不足的解决方案

如果遇到内存不足的问题,您可以尝试使用单文件 FP8 版本,这样会减少一半的内存占用,尽管图像质量可能会有所下降。有关更多信息,请查看下面的 FP8 Checkpoint 版本

在 ComfyUI 中,您还可以在“Load Diffusion Model”节点中设置 weight_dtypefp8,这将进一步减少内存占用。

Flux Dev

Flux Dev 的扩散模型权重文件可以在 此处 下载。将 flux1-dev.safetensors 文件放入 ComfyUI/models/diffusion_models/ 文件夹中,然后在 ComfyUI 中加载以下图像来获取工作流:

Flux Dev 示例

Flux Schnell

Flux Schnell 是一个经过精炼的 4 步模型。您可以从 此处 下载 Flux Schnell 的模型权重,并将该文件放入 ComfyUI/models/unet/ 文件夹中。加载以下图像来获取工作流:

Flux Schnell 示例

2. 简单易用的 FP8 Checkpoint 版本

Flux Dev

您可以从 此处 下载 Flux Dev 的简化版 FP8 Checkpoint,并将其放入 ComfyUI/models/checkpoints/ 文件夹中。通过常规的“Load Checkpoint”节点加载该文件,并确保在使用时将 CFG 设置为 1.0。

注意,使用 FP8 可能会稍微降低图像质量,因此,如果资源允许,建议使用官方的 16 位版本。

加载以下图像来获取工作流:

Flux Dev Checkpoint 示例

Flux Schnell

对于 Flux Schnell,您可以下载 此处 提供的 FP8 Checkpoint 文件,并将其放入 ComfyUI/models/checkpoints/ 文件夹中。然后加载以下图像来获取工作流:

Flux Schnell Checkpoint 示例

3. Flux Extras

以下是一些 Flux 扩展示例,可能需要您提前准备常规的 Flux 文件,可以在本文顶部找到相关下载链接。

填充(Inpainting)模型

下载 flux1-fill-dev.safetensors 模型文件并将其放入 ComfyUI/models/diffusion_models/ 文件夹中。您可以通过 ComfyUI 中的“Load Image”节点右键点击图像并选择“Open in MaskEditor”来进行填充处理。以下是一个 Inpainting 示例:

Inpainting 示例

以下是一个 Outpainting 示例:

Outpainting 示例

Redux 模型

Redux 模型可用于通过一个或多个图像来提示 Flux Dev 或 Flux Schnell。下载 sigclip_vision_patch14_384.safetensors 文件并将其放入 ComfyUI/models/clip_vision 文件夹中,下载 flux1-redux-dev.safetensors 文件并将其放入 ComfyUI/models/style_models 文件夹中。然后加载以下图像来获取工作流:

Redux 示例

Canny 和 Depth

这两个模型已发布为全模型格式和 Lora 格式。下载 flux1-canny-dev.safetensorsflux1-depth-dev.safetensors 文件,并将它们放入 ComfyUI/models/diffusion_models/ 文件夹中。以下是完整 Canny 模型的示例:

Canny 模型示例

Lora 格式的 Canny 和 Depth 也可应用于 Flux Dev 模型,下载 flux1-canny-dev-lora.safetensorsflux1-depth-dev-lora.safetensors 文件,并将其放入 ComfyUI/models/loras/ 文件夹中。以下是 Depth Lora 示例:

Depth Lora 示例

社区 Flux Controlnets

XLab 和 InstantX + Shakker Labs 发布了 Flux 的 Controlnet 模型。您可以从 InstantX Canny 模型Shakker Labs 的 Depth 和 Union Controlnets 下载并将文件放入 ComfyUI/models/controlnet 文件夹中。尝试加载以下 Canny Controlnet 工作流:

Canny Controlnet 示例

如果需要 Canny 示例输入图像,可以使用 此图像,并将其放入 ComfyUI/input 文件夹中。


结论

Flux 提供了多个模型和扩展,适用于不同的工作流和应用场景。无论是开发、精炼版本,还是填充、Redux 模型,ComfyUI 都能帮助您高效地使用这些模型来创作和生成高质量的图像。