当前位置:AIGC资讯 > AIGC > 正文

部署Video-LLama遇到的坑

环境:linux,conda,python 3.10

下载:下载时首先在中国直接拉去huggingface的git链接很大概率上实行不同的因为被ban了,如果想下载只能找镜像网站。镜像网站比如modelscope就非常好用,魔搭社区网速非常快!我这边使用的是modelscope镜像网站下载的video-llama模型文件和checkpoint。

from modelscope import snapshot_download, AutoModelForCausalLM, AutoTokenizer,GenerationConfig
model_dir = snapshot_download("damo/videollama_7b_llama2_finetuned", revision='v0.1.1')

但是这里有一个坑,下载的文件部分是损坏的,我调试了一整天才发现这个问题实在是太坑了!而且有一些git链接是个假链接,就是你直接git clone不能够下载到你想要的文件,他会给个假文件给你,这里奉劝大家下载模型的时候一定要对比仔细!!

版本问题:video-llama由于快速迭代有一些依赖包的一些方法被弃用了,这导致你直接pip install -r requirements.txt所下载的东西无法使用!主要原因就是因为requirements.txt没有指定相应的版本号,这里给达摩院出的这个video-llama文档和代码都给差评!我因为这个问题估计耗了5个小时后面反复降级才能够用。

下面是我自己标注了版本号的requirements.txt文件,你们直接复制过去拿着用就可以了!官方给的文档很多都没给后面带版本!不带版本的话默认就是下载最新的,但是最新的版本很多方法都弃用了!绝对天坑!

tqdm
decord
timm
einops
opencv_python==4.8.0.74
torchvision==0.14.0
torch==1.13.0
bitsandbytes
omegaconf
iopath
webdataset
ftfy
SentencePiece
transformers==4.28.0
gradio==3.24.1
pytorchvideo
gradio-client==0.0.8
torchaudio

另外加一句python版本不要用3.11,直接使用3.9或者3.10不要用最新不要用最新不要用最新!

模型下载路径:这是最大的天坑,默认下载在root的cache下/root/.cache/modelscope/modelscope_modules。这个是Linux的路径其他操作系统我不知道,但是你最好直接下载好之后不要动了!因为模型里面有很多方法调用文件的时候是写的绝对路径,是的你没听错!就是写的绝对路径!你只要移动一点点,他就不能用了。。。所以你使用snapshot_download下载好之后不要随便动他的路径了!



上述坑基本上每个人至少都会碰到一个,同组的很多人都有类似的问题,为了节省大家宝贵的时间希望这些解决办法对你们有用。

更新时间 2024-06-22