基于ComfyUI+LTX-Video 13b快速生成高质量视频

LTX-Video已经升级到13b版本,实测在4090 24G显存情况下,果然能够10s
左右就完成4s的512×768尺寸的视频生成,即使加上高清放大到2k版本也只需要大约30s(高清放大反而常常画蛇添足),并且视频质量也相当可以。


官方版本提供直接推理和配合ComfyUI使用两个版本,但超级无奈的是直接推理的版本一直没有配置成功(爆显存),反而是配合ComfyUI的版本到是相对顺利(也有许多坑,这里只记录正确的手顺,如果你也遇到问题提议完全复刻手顺)

由于本地显卡显存过小,故通过临时租用算力的方式来使用,实验过程使用的是 https://www.xiangongyun.com/ ,基于这个平台的详细手顺记录如下(其它平台预计类似):
1、准备系统,部署GPU -> 基础镜像-> ComfyUI_v**(已预装常用节点版本)-> RTX 4090(哪个便宜用那个) -> 部署 -> 等待开机(约1分钟)
2、下载模型,由于LTX Video 13b模型很新且较大,即使第一步选择了预装常用节点的版本,这些模型也并不包含在内,还是需要手动下载。注意:不要用ConfyUI Manager,由于这样会超级超级超级的慢,而是要用内网下载(如果是其它租卡平台,预计都有类似环境),每秒钟下载速度在400M左右,一两分钟就能下载完。
下载过程如下

# 打开 https://www.xiangongyun.com/console/instance
# 点击实例右侧的 Jupyter,进入之后点击终端
# 在终端中下载

# 下载LTXV 13b基模
wget http://public.x-gpu.com/f/ZV3ViQ/ltxv-13b-0.9.7-dev.safetensors -O ~/ComfyUI/models/checkpoints/ltxv-13b-0.9.7-dev.safetensors
wget http://public.x-gpu.com/f/Xo1DCO/ltxv-13b-0.9.7-distilled-fp8.safetensors -O ~/ComfyUI/models/checkpoints/ltxv-13b-0.9.7-distilled-fp8.safetensors

# 下载高清放大模型
wget http://public.x-gpu.com/f/JqO5hK/ltxv-spatial-upscaler-0.9.7.safetensors -O ~/ComfyUI/models/upscale_models/ltxv-spatial-upscaler-0.9.7.safetensors

3、打开ComfyUI开始生成视频(这里的工作流是图生视频)

  • 同样打开 https://www.xiangongyun.com/console/instance,点击实例对应的ComfyUI,进入到ComfyUI的操作界面
  • 然后打开附2中工作流,例如fp8版本的工作流为 ltxv-13b-dist-i2v-base.json ,点击打开,然后复制json内容
  • 回到ComfyUI操作界面,点击+新建空流水线,粘贴
  • 点击生成做测试(如果整个过程完全一致,这时预计已经开始生成了),大约10s内能看到512×768版本的视频,30s左右得到高清放大版本
  • 好了,到这里可以更具需要设置为你的图片和提示词生成所需的视频了。

附1:完整的模型信息的地址:

  • 内网:https://www.xiangongyun.com/a/Lightricks_LTX-Video
  • 抱脸:https://huggingface.co/Lightricks/LTX-Video/tree/main

附2:官方提供完整版本和fp8版本

模型 尺寸 官方工作流 说明
ltxv-13b-0.9.7-dev.safetensors 28.6G ltxv-13b-i2v-base.json 质量最佳(实测与fp8版本区别不大)
ltxv-13b-0.9.7-distilled-fp8.safetensors 17.5G ltxv-13b-dist-i2v-base.json 实测10s即可生成4s视频

附3:网友制作的gguf版本
包3bit到16bit不同精度量化的6个版本,可以在cpu/mps等各种设备运行
https://huggingface.co/wsbagnsv1/ltxv-13b-0.9.7-dev-GGUF

© 版权声明
THE END
如果内容对您有所帮助,就支持一下吧!
点赞0 分享
董路的头像 - 鹿快
评论 抢沙发

请登录后发表评论

    暂无评论内容