开源探索时刻！在LLaMA-Factory上实现GLM-4和Qwen2的工具格式化

众所周知，如今的大模型大多是使用通用数据训练得出，因此在不同场景和专业领域的效果还有待改进。于是就衍生出了现如今广泛使用的微调技术，由于笔者现在所在的项目同样是与大模型打交道，也就不可避免地盯上了LLaMA-Factory。

那究竟什么是LLaMA-Factory？我提出的PR实现了GLM-4和Qwen2的工具格式化以及工具抽取函数！

在此也附上PR链接：https://github.com/hiyouga/LLaMA-Factory/pull/4173

本篇文章让我们一起来详细了解一下如何实现~

一、什么是LLaMA-Factory？

LLaMA Factory是一个旨在普及LLMs微调的框架，涵盖了当下主流的大模型百川、千问、LLaMA等等。其核心优势在于其灵活性与易用性。它不仅囊括了当前主流的训练技术，如生成式预训练、监督式微调（SFT）、基于人类反馈的强化学习（RLHF），以及直接偏好优化（DPO），还通过一个用户友好的界面，大幅降低了操作复杂度。无论是通过命令行还是直观的Web界面，用户都能轻松定制微调流程，即便编程经验有限也丝毫不构成障碍。

该框架已在GitHub上发布，并获得了24000+个Star。

二、发现问题

最近在使用LLaMA Factory的过程中我遇到了一个问题：

刚刚更新完代码后我需要测试一下GLM-4和Qwen2的工具调用能力，测试结果显示，尽管更新已实施，这两款语言模型却未能命中任何工具。

就这个问题，我去看了formatter的实现，然后发现Qwen2的工具提示词汇依旧残留着旧体系的痕迹——基于“react”，理论上它应当无缝对接，但现实却是事与愿违。更令人费解的是，Qwen2在回应中携带了工具的JSON信息，却未按常规定位在tool_calls对象内，而是意外地出现在响应的主体content之中，显然问题存在，debug模式启动！

断点打上开始调试这里的format和extract函数。对于GLM-4，这次新模型的工具提示词汇现在是由模型本身的tokenizer生成，区别于以往外部组装后进行embedding的做法。此外GLM-4的chat template也存在问题，对比输出中少了系统提示词`` special token；

对于Qwen2，本次新模型支持了多工具调用（单次任务返回多个tool call），之前的react extrac函数只能命中单个工具。

OK，至此问题都找到了。

三、解决方法

对于GLM-4，先将模型下到本地，写两个工具schema，用transformers加载tokenizer，之后调用tokenizer.apply_chat_template将工具过一遍tokenizer看一下输出长什么样子。

工具schema：

tools = [
        {
            "type": "function",
            "function": {
                "name": "get_current_weather",
                "description": "Get the current weather",
                "parameters": {
                    "type": "object",
                    "properties": {
                        "location": {
                            "type": "string",
                            "description": "The city and state, e.g. San Francisco, CA",
                        },
                        "format": {
                            "type": "string",
                            "enum": ["celsius", "fahrenheit"],
                            "description": "The temperature unit to use. Infer this from the users location.",
                        },
                    },
                    "required": ["location", "format"],
                },
            }
        },
        {
            "type": "function",
            "function": {
                "name": "calculate_gpa",
                "description": "Calculate the Grade Point Average (GPA) based on grades and credit hours",
                "parameters": {
                    "type": "object",
                    "properties": {
                        "grades": {"type": "array", "items": {"type": "string"}, "description": "The grades"},
                        "hours": {"type": "array", "items": {"type": "integer"}, "description": "The credit hours"},
                    },
                    "required": ["grades", "hours"],
                },
            },
        }
    ]

tokenizer：

fromtransformers importAutoTokenizer
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True)
messages = process_messages(messages, tools=tools, tool_choice=tool_choice)
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)

输出：

'[gMASK]<sop><|system|>\n你是一个名为 GLM-4 的人工智能助手。你是基于智谱AI训练的语言模型 GLM-4 模型开发的，你的任务是针对用户的问题和要求提供适当的答复和支持。\n\n## get_current_weather\n\n{\n "name": "get_current_weather",\n "description": "Get the current weather",\n "parameters": {\n "type": "object",\n "properties": {\n "location": {\n "type": "string",\n "description": "The city and state, e.g. San Francisco, CA"\n },\n "format": {\n "type": "string",\n "enum": [\n "celsius",\n "fahrenheit"\n ],\n "description": "The temperature unit to use. Infer this from the users location."\n }\n },\n "required": [\n "location",\n "format"\n ]\n }\n}\n在调用上述函数时，请使用 Json 格式表示调用的参数。\n\n## calculate_gpa\n\n{\n "name": "calculate_gpa",\n "description": "Calculate the Grade Point Average (GPA) based on grades and credit hours",\n "parameters": {\n "type": "object",\n "properties": {\n "grades": {\n "type": "array",\n "items": {\n "type": "string"\n },\n "description": "The grades"\n },\n "hours": {\n "type": "array",\n "items": {\n "type": "integer"\n },\n "description": "The credit hours"\n }\n },\n "required": [\n "grades",\n "hours"\n ]\n }\n}\n在调用上述函数时，请使用 Json 格式表示调用的参数。'

之后开始分析输出的结构，首先是PRefix token `[gMASK]` 之后是system message token `<|system|>\n{{content}} ` balabala。分析之后开始组装，定义好系统提示词以及工具的后缀，以及提示词与工具之间的分隔符。组装好之后再次测试工具就会发现成功返回了工具信息。

对于Qwen2，问题是多个工具导致正则无法命中，只需要修改正则规则即可。

原来的命中规则：

regex = re.compile(r"Action:\s*([a-zA-Z0-9_]+).*?Action Input:\s*(.*)", re.DOTALL)
action_match = re.search(regex, content)

修改后的规则：

regex = re.compile(r"Action:\s*([a-zA-Z0-9_]+)\s*Action Input:\s*({.*?})(?=\nAction:|\Z)", re.DOTALL)
action_match = re.findall(regex, content)

再次测试成功返回多个工具列表。

至此该问题已经成功解决了，我也向LLaMA-Factory提交了这个Pr，并且 LLaMA-Factory 目前也采纳合并了该 PR。

说在最后

当今世界的开源盛况，不仅是技术创新与协作的生动体现，更是加速技术革新、拓宽应用边界的强大引擎。一个又一个开源软件的爆火向我们证明了在共享与合作的土壤里，智慧能够更快地萌芽，技术也得以飞跃式发展。

神州数码云基地始终站在鼓励开源贡献的角度，积极倡导并践行开放共享的精神。我们能够看到更多云基地的小伙伴们不再仅仅止步于业务的完成，而是不断拓展自己的能力，加入开源项目的探索中。

以本次PR的贡献者徐辉为例，短短一年的时间，已经成功提交了6个PR，也希望有越来越多的小伙伴们参与到开源中来，每一次贡献，无论大小，都是推动技术进步不可或缺的一块基石。

不仅要做技术的探索者，更要成为开源的贡献者。

贡献者：徐辉| 后端开发工程师

更多AI小知识欢迎关注“神州数码云基地”公众号，回复“AI与数字化转型”进入社群交流