选择学习路径
快速上手-使用Anaconda
第 0 步:前提条件
确保安装了 Python 3.10 以上版本。
第 1 步:准备环境
如需设置环境,安装所需要的软件包,运行下面的命令。
git clone https://github.com/LlamaFamily/Llama-Chinese.git
cd Llama-Chinese
pip install -r requirements.txt
第 2 步:下载模型
你可以从以下来源下载Atom-7B-Chat模型。
HuggingFace
ModelScope
WideModel
第 3 步:进行推理
使用Atom-7B-Chat模型进行推理
创建一个名为 quick_start.py 的文件,并将以下内容复制到该文件中。
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
device_map = "cuda:0" if torch.cuda.is_available() else "auto"
model = AutoModelForCausalLM.from_pretrained('FlagAlpha/Atom-7B-Chat',device_map=device_map,torch_dtype=torch.float16,load_in_8bit=True,trust_remote_code=True,use_flash_attention_2=True)
model =model.eval()
tokenizer = AutoTokenizer.from_pretrained('FlagAlpha/Atom-7B-Chat',use_fast=False)
tokenizer.pad_token = tokenizer.eos_token
input_ids = tokenizer(['<s>Human: 介绍一下中国\n</s><s>Assistant: '], return_tensors="pt",add_special_tokens=False).input_ids
if torch.cuda.is_available():
input_ids = input_ids.to('cuda')
generate_input = {
"input_ids":input_ids,
"max_new_tokens":512,
"do_sample":True,
"top_k":50,
"top_p":0.95,
"temperature":0.3,
"repetition_penalty":1.3,
"eos_token_id":tokenizer.eos_token_id,
"bos_token_id":tokenizer.bos_token_id,
"pad_token_id":tokenizer.pad_token_id
}
generate_ids = model.generate(**generate_input)
text = tokenizer.decode(generate_ids[0])
print(text)
2. 运行 quick_start.py 代码。
python quick_start.py
快速上手-使用Docker
详情参见:Docker部署
第一步:准备docker镜像,通过docker容器启动
git clone https://github.com/LlamaFamily/Llama-Chinese.git
cd Llama-Chinese
docker build -f docker/Dockerfile -t flagalpha/llama2-chinese:gradio .
第二步:通过docker-compose启动chat_gradio
cd Llama-Chinese/docker
doker-compose up -d --build
快速上手-使用llama.cpp
详情参见:使用llama.cpp
快速上手-使用gradio
基于gradio搭建的问答界面,实现了流式的输出,将下面代码复制到控制台运行,以下代码以Atom-7B-Chat模型为例,不同模型只需修改一下面的model_name_or_path对应的模型名称就好了?
git clone https://github.com/LlamaFamily/Llama-Chinese.git
cd Llama-Chinese
python examples/chat_gradio.py --model_name_or_path FlagAlpha/Atom-7B-Chat
FastAPI接口搭建
为了方便通过API方式调用模型,我们提供了脚本用来快速搭建FastAPI接口,相关测试代码与API参数设置见API 调用。
https://github.com/LlamaFamily/Llama-Chinese/blob/main/scripts/api/README.md