LLM入门——在Colab上部署Llama2

LLM入门——在Colab上部署Llama2

2024/07/09

本文属于“LLM入门”系列，该系列是笔者自学LLM时记录的一些实践记录与心得，可能存在错误或过时的部分，请读者谅解。
对于LLM入门学者，我推荐从Large Language Model Course开始，这是一份优秀的学习路径指导。

本文为笔者二次整理的资料，重点关注在Colab上用基本方法部署Llama的指令过程。如有其他需求请参考对应博客：

Llama2

Llama2是meta最新开源的语言大模型，训练数据集2万亿token，上下文长度是由llama的2048扩展到4096，可以理解和生成更长的文本，包括7B、13B和70B三个模型。

其中其中B是Billion，代表十亿参数

以Llama2为代表的开源LLM基本都能在huggingface下载。Hugging Face 是一个旨在推动自然语言处理（NLP）技术和工具发展的开源社区和公司。他们致力于提供各种NLP任务中的最新技术、模型和工具，以及为开发者提供便捷的方式来使用、微调和部署这些技术。

当然你也别着急去下载，个人PC的性能在LLM方向能做的事有限，我推荐初学者先在Colab上练练手。

Colab

Colaboratory（简称为Colab）是由Google开发的一种基于云端的交互式笔记本环境。它提供了免费的计算资源（包括CPU、GPU和TPU），可让用户在浏览器中编写和执行代码，而无需进行任何配置和安装。

如何用Colab创建代码请参考【机器学习 | 深度学习】Colab是什么？以及如何使用它？

Llama2 访问

获取Llama的两种方式：

具体方式请参考Llama2 部署及试用。如果后续有继续使用Llama做研究的需求，建议官方申请，实测一两小时内即可成功。官方申请有几点注意事项：

Colab部署

参考：Getting Started with LlaMA 2: A Beginner’s Guide

LangChain 是一个用于开发由语言模型驱动的应用程序的框架。接下来基于LangChain在Colab上部署使用meta-llama/Llama-2-7b-chat-hf。

总体来看，部署一个LLM可以归纳为以下步骤：

Colab选择T4 GPU

下载相关库

!pip install -q transformers einops accelerate langchain bitsandbytes langchain-community langchain-core langchain-huggingface

Hugging Face登录

!huggingface-cli login

模型下载加载

from langchain_huggingface import HuggingFacePipeline
from transformers import AutoTokenizer
import transformers
import torch

model = "meta-llama/Llama-2-7b-chat-hf"

tokenizer = AutoTokenizer.from_pretrained(model, truncation=True)

pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto",
    max_length=1000,
    eos_token_id=tokenizer.eos_token_id
)

llm = HuggingFacePipeline(pipeline = pipeline, model_kwargs = {'temperature':0})

Prompt Template

from langchain import PromptTemplate

template = """
              You are an intelligent chatbot that gives out useful information to humans.
              You return the responses in sentences with arrows at the start of each sentence
              {query}
           """

prompt = PromptTemplate(template=template, input_variables=["query"])

llm_chain = prompt | llm

print(llm_chain.run('What are the 3 causes of glacier meltdowns?'))

参考

总结