-
大语言模型量化方法对比：GPTQ、GGUF、AWQ
大语言模型量化方法对比：GPTQ、GGUF、AWQ...
-
【PaLM2】PaLM2 大语言模型与 Bard 使用体验
cans的学习笔记】原创作品，火热更新中 【Google I/O 2023】PaLM2 大语言模型与 Bard 使用体验 1. PaLM2 大型语言模型 1.1 谷歌发布 PaLM...
-
Meta 推出的 LLaMA 大语言模型部署教程
Meta 推出的 LLaMA 大语言模型部署教程...
-
大语言模型之十五-预训练和监督微调中文LLama-2
这篇博客是继《大语言模型之十二 SentencePiece扩充LLama2中文词汇》、《大语言模型之十三 LLama2中文推理》和《大语言模型之十四-PEFT的LoRA》 前面博客演示了中文词汇的扩充...
-
使用LoRA对大语言模型LLaMA做Fine-tune
使用LoRA对大语言模型LLaMA做Fine-tune 前言 下载 配置环境 模型的训练 Fine-tune 模型的使用 Inference 参考 问题汇总 前言 目前有...
-
大语言模型汇总（ChatGPT、盘古、通义、文心一言、混元）
首先就是OpenAI所提出的GPT相关模型，也是目前最火的大语言模型，发布版本已经到了4.0 1.ChatGPT 官网：https://chat.openai.com/chat 如下图是自然语言功能...
-
快速训练自己的大语言模型：基于LLAMA-7B的lora指令微调
好（开始胡说八道了~） 7. 为什么要进行指令微调？ 因为原始的预训练LLAMA模型是一个大语言模型（废话~），会根据前面的单词预测下一个词语，如果你问它问题，它不会正确回答你，你问它一个问...
-
大语言模型的七大网络安全热门应用
主动、智能防御。人工智能与人类专业知识的结合才是打造下一代网络安全防御的最佳方式。 今天，人工智能、大语言模型正彻底改变从威胁检测到事件响应的安全策略，企业必须整合新的技术和方法来保护数字资产。 本文...
-
中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）
中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）...
-
天玑9300 AI能力飙升：最高支持330亿参数的AI大语言模型
ransformer模型进行算子加速，处理速度是上一代的8倍，1秒内可生成图片。 同时，基于亿级参数大语言模型特性，MediaTek开发了混合精度INT4量化技术，结合MediaTek特有的内存硬件压...