当前位置:AIGC资讯 > AIGC > 正文

单个消费级GPU笔记本win电脑测试LLaMA模型

1、LLaMa模型代码:

      GitHub - facebookresearch/llama: Inference code for LLaMA models

      不同模型对参数规模要求不同,有7B、13B、30B(33B)和65B四个数据规模。

Model MP 7B 1 13B 2 30B(33B) 4 65B 8

2、环境检查

  (1)、检查CUDA环境是否已安装(没有的话先安装CUDA):

 (2)、检查是否已安装Pytorch(没有的话先安装Pytorch):

3、LLaMa模型下载:

  (1)、7B模型:

      nyanko7/LLaMA-7B at main (huggingface.co)

  (2)、13B模型:

更新时间 2023-12-03