EchoMimicV2常见问题汇总

[lymhust]

1. 正确使用方法

• 图像和手势需要对齐，notebook图像对齐和手势提取代码参考demo.ipynb。
• 主页提供的Flux生成的40张图是对齐过的，最简单的方法是用主页提供的图作为参考图，用ControlNet或者图生图生成类似的人像。
• 目前训练集我们严格挑选了正面、半身的数据进行了训练，因此侧面、非半身的非标准图目前算法不支持。下面是一些不支持的类型。
• 处理的比较好的博主，可以参考：
  • https://www.youtube.com/watch?v=-5fWC7RYXYk
  • https://www.youtube.com/watch?v=DLISdf89VeQ
  • https://www.youtube.com/watch?v=ZbESNjpKKe8
  • https://www.youtube.com/watch?v=buBFYizOxcw
  • https://www.youtube.com/watch?v=2ab6U1-nVTQ
  • https://www.youtube.com/watch?v=2P49SCJYEbY
  • https://www.youtube.com/watch?v=Pc6Lo58JuCg
  • [视频号]AI应用帮丨Danny的视频
  • [视频号]AI脑动力
• 常见处理问题：
  • 生成视频变形较大 #35

2. 速度问题

• 目前基于SD的算法对显卡和显存要求较高，算法跑起来大概16G左右，普通消费卡速度较慢。
• 加速版已经训练完成并发布，推理代码参考infer_acc.py。

3. 生成视频噪点问题

• 可以通过调整CFG参数来降低生成噪声。调整范围为1.5-3.0，CFG越低，视频质量越好，但是嘴型效果越差。CFG越高，视频质量越差，但是嘴型效果越好

cfg1-5.mp4

cfg1-8.mp4

cfg2-0.mp4

cfg2-5.mp4

4. 如何生成高质量参考图

• 主页提供的Flux生成的40张图是对齐过的，最简单的方法是用主页提供的图作为参考图，用ControlNet或者图生图生成类似的人像。
• 主页提供的图是Flux+小红书Lora生成的，其中用到的Lora如下：
  • 女版Lora：https://www.liblib.art/modelinfo/d9675e37370e493ab8bf52046827a2b0?via=techmoon&versionUuid=7852ee527ca34d8b940d0749a75e4b67
  • 男版Lora：https://www.liblib.art/modelinfo/8963f90cea46474b84fd4bbfc990e0cc?from=search&versionUuid=61172bdb46a6412e817c5a1bf4a72f6c
• 不会部署代码的，可以用现有的工具，例如：
  • 通义万象虚拟模特（https://tongyi.aliyun.com/wanxiang/app/virtual-model）
  • 即梦（https://jimeng.jianying.com/ai-tool/image/generate）
  • KERA.AI（https://www.krea.ai/apps/image/flux）
  • 用我们提供的Flux作为模板参考图。下面以通义万象、即梦和KERA.AI为例，展示如何生成高质量符合要求的模特。

5. Linux下安装脚本

• #57

6. windows系统下项目使用教程

• 视频：https://www.bilibili.com/video/BV1mhz5YxEf3/?vd_source=669a41b5549159436dfac89400bacf7e
• 文档：https://cqldg89mjy4.feishu.cn/docx/Ayp7dZehNo1M42x4hkNcX3IAn4e?from=from_copylink

7. 关于时长问题

• 我们高度重视这一问题，我们已经在开发一个jupyter notebook，近期发布，集成自定义pose时长、参考图对齐与分段推理，敬请期待。
• 我们的EchoMimicV2生成时长在原理上不受限制。显存允许情况下可以增加时长。
• issue中朋友们高频的提问是自己调大时长，但是仍然只能生成13s的视频。在项目所需必要环境配置正确情况下，这一问题的归因应是用户使用了我们提供的pose序列测试样例（只有13s）。如果使用自定义时长的pose，将不会出现类似问题。

[529507929]

我应该如何训练自己的自定义动作？

[muyuwuxin]

是否可以自定义动作序列

[xiaoqianzizi]

是否可以提供api接口脚本

[ShelveyH]

I executed the project following the github. However, the GPU MEN only 1 to 2 GB in processing, with the rtx-4090

[ECCKaka]

python .\app_acc.py 会报错，请问是不是我这里哪里有问题？谢谢

[derekcmini]

请问这个问题怎麽解决?

[zhaoyangsoft]

请问这个问题怎麽解决?

这个问题 貌似上边的这个教程可以用， 但我又遇到其他问题了（生成进展 一直为 0 ， ）

windows系统下项目使用教程
视频：https://www.bilibili.com/video/BV1mhz5YxEf3/?vd_source=669a41b5549159436dfac89400bacf7e
文档：https://cqldg89mjy4.feishu.cn/docx/Ayp7dZehNo1M42x4hkNcX3IAn4e?from=from_copylink

[wanlichina]

不确定是什么原因导致的不能直接跑，得修改gradio那部分的代码能跑起来。把一部分参数拿掉，得自己改。
很可能是gradio版本问题

[nitinmukesh]

Please any update on
#124

[zhaoyangsoft]

谁能帮我看下这个问题 应该咋解决？ 是因为我显卡不够 ？ 大家都跑成功了不， 电脑都啥配置啊？

[lbdchw]

如果是显卡不够应该会报错outofmemory。可以去云服务器试试

[spider860530]

Traceback (most recent call last):
File "c:\Users\expet\AppData\Roaming\InsCode\User\globalStorage\codearts.python\data\2501.0.0-1482987-build-win\pythonFiles\lib\pythondbg\run_pydev.py", line 62, in
runpy.run_path(script_path, run_name='main')
File "c:\Users\expet\AppData\Roaming\InsCode\User\globalStorage\codearts.python\data\2501.0.0-1482987-build-win\pythonFiles\lib\pythondbg\pydev_pydevd_bundle\pydevd_runpy.py", line 321, in run_path
return _run_module_code(code, init_globals, run_name,
File "c:\Users\expet\AppData\Roaming\InsCode\User\globalStorage\codearts.python\data\2501.0.0-1482987-build-win\pythonFiles\lib\pythondbg\pydev_pydevd_bundle\pydevd_runpy.py", line 135, in _run_module_code
_run_code(code, mod_globals, init_globals,
File "c:\Users\expet\AppData\Roaming\InsCode\User\globalStorage\codearts.python\data\2501.0.0-1482987-build-win\pythonFiles\lib\pythondbg\pydev_pydevd_bundle\pydevd_runpy.py", line 124, in _run_code
exec(code, run_globals)
File "E:\MySoftware\echomimic_v2\app.py", line 6, in
from diffusers import AutoencoderKL, DDIMScheduler
File "", line 1075, in _handle_fromlist
File "D:\anaconda3\envs\echomimic\lib\site-packages\diffusers\utils\import_utils.py", line 844, in getattr
value = getattr(module, name)
File "D:\anaconda3\envs\echomimic\lib\site-packages\diffusers\utils\import_utils.py", line 843, in getattr
module = self._get_module(self._class_to_module[name])
File "D:\anaconda3\envs\echomimic\lib\site-packages\diffusers\utils\import_utils.py", line 855, in _get_module
raise RuntimeError(
RuntimeError: Failed to import diffusers.models.autoencoders.autoencoder_kl because of the following error (look up to see its traceback):
autotune() got an unexpected keyword argument 'use_cuda_graph'

该问题如何处理？

[stephen1158686]

多卡推理支持么

[stephen1158686]

jupyter notebook咋还没好，是不是裁员给你们裁了，这个项目是不是黄了

[sellosfeng]

我在安装echomimic过程中出现找不到Differusers模型，不知怎么处理。方便帮忙给个方法