-
AIGC：【LLM（七）】——Baichuan2：真开源可商用的中文大模型
文章目录 一.模型介绍 二.模型部署 2.1 CPU部署 2.2 GPU部署 三.模型推理 3.1 Chat 模型推理 3.2 Base 模型推理 四.模型量化 4.1 量化方法 4.2 在线量化 4.3 离线量化 4.4 量化效果...
-
Whisper OpenAI开源语音识别模型
介绍 Whisper 是一个自动语音识别（ASR，Automatic Speech Recognition）系统，OpenAI 通过从网络上收集了 68 万小时的多语言（98 种语言）和多任务（multitask）监督数据对 Whisper 进行了训练...
-
机器学习模型性能的十个指标
尽管大模型非常强大， 但是解决实践的问题也可以不全部依赖于大模型。一个不太确切的类比，解释现实中的物理现象，未必要用到量子力学。有些相对简单的问题，或许一个统计分布就足够了。对机器学习而言， 也不用言必深度学习与神经网络，关键在于明确问题的边界。 那么在...
-
基于 NNCF 和 Optimum 面向 Intel CPU 对 Stable Diffusion 优化
基于隐空间的扩散模型 (Latent Diffusion Model ，是解决文本到图片生成问题上的颠覆者。Stable Diffusion 是最著名的一例，广泛应用在商业和工业。Stable Diffusion 的想法简单且有效: 从噪声向量开始，多次去...
-
Llama-2大模型本地部署研究与应用测试
最近在研究自然语言处理过程中，正好接触到大模型，特别是在年初chatgpt引来的一大波AIGC热潮以来，一直都想着如何利用大模型帮助企业的各项业务工作，比如智能检索、方案设计、智能推荐、智能客服、代码设计等等，总得感觉相比传统的搜索和智能化...
-
基于 NNCF 和 Optimum 面向 Intel CPU 对 Stable Diffusion 优化
? 宝子们可以戳 阅读原文 查看文中所有的外部链接哟！ 基于隐空间的扩散模型 (Latent Diffusion Model ，是解决文本到图片生成问题上的颠覆者。Stable Diffusion 是最著名的一例，广泛应用在商业和工...
-
llama.cpp部署通义千问Qwen-14B
llama.cpp是当前最火热的大模型开源推理框架之一，支持了非常多的LLM的量化推理，生态比较完善，是个人学习和使用的首选。最近阿里开源了通义千问大语言模型，在众多榜单上刷榜了，是当前最炙手可热的开源中文大语言模型。今天在github上看到前几天llam...
-
在本地使用CPU运行Llama 2模型来实现文档Q&A
第三方商业大型语言模型（LLM）提供商，如OpenAI的GPT4，通过简单的API调用使LLM的使用更加容易。然而，由于数据隐私和合规等各种原因，我们可能仍需要在企业内部部署或私有模型推理。 开源LLM的普及让我们私有化部署大语言模型称为可能，从而减少了...
-
机器学习 - 混淆矩阵：技术与实战全方位解析
本文深入探讨了机器学习中的混淆矩阵概念，包括其数学原理、Python实现，以及在实际应用中的重要性。我们通过一个肺癌诊断的实例来演示如何使用混淆矩阵进行模型评估，并提出了多个独特的技术洞见。文章旨在为读者提供全面而深入的理解，从基础到高级应用。...
-
大模型部署实战（一）——Ziya-LLaMA-13B
❤️觉得内容不错的话，欢迎点赞收藏加关注???，后续会继续输入更多优质内容❤️ ?有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博相关......）? 博主原文链接：https://www.yo...
-
Code Llama系列教程之 微调 CodeLlama 34B 以进行聊天（打造自己的代码AI）
虽然 Meta 的 Llama2 在 AI 领域引起了广泛关注，但 34b 模型却缺席了相当长一段时间。对于许多人来说，这个 34b 模型是运行本地 LLM 的理想选择，因为它与使用 4 位量化的单个 4090 GPU 兼容。我一直在热切地等待 Meta...
-
Llama-Factory的baichuan2微调
Llama-Factory：https://github.com/hiyouga/LLaMA-Factory/tree/main 请使用 --quantization_bit 4/8 来启用 QLoRA 训练。 默认模块应作...
-
使用QLoRA对Llama 2进行微调的详细笔记
使用QLoRA对Llama 2进行微调是我们常用的一个方法，但是在微调时会遇到各种各样的问题，所以在本文中，将尝试以详细注释的方式给出一些常见问题的答案。这些问题是特定于代码的，大多数注释都是针对所涉及的开源库以及所使用的方法和类的问题。 导入库...
-
大语言模型量化方法对比：GPTQ、GGUF、AWQ
在过去的一年里，大型语言模型(llm 有了飞速的发展，在本文中，我们将探讨几种(量化 的方式，除此以外，还会介绍分片及不同的保存和压缩策略。 说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。 del model, tok...
-
在低配Windows上部署原版llama.cpp
现在大语言模型的部署，通常都需要大的GPU才能实现，如果是仅仅想研究一下，大语言模型的算法，我们是很想能够直接在我们的工作电脑上就能直接运行的，llama.cpp就是很好的实现。 LLaMa.cpp使用int4这种数值格式，其显著降低了内存需求，并且在大...
-
微调Whisper语音识别模型和加速推理
前言 OpenAI在开源了号称其英文语音辨识能力已达到人类水准的Whisper项目，且它亦支持其它98种语言的自动语音辨识。Whisper所提供的自动语音识与翻译任务，它们能将各种语言的语音变成文本，也能将这些文本翻译成英文。本项目主要的目的是为了对W...
-
Intel研究人员提出新AI方法，更高效地在CPU上部署LLM
大型语言模型（LLM）因其在文本生成、语言理解和文本摘要等各种任务中的卓越性能而备受瞩目，但它们庞大的模型参数却需要大量内存和专用硬件，这使得部署这些模型变得相当具有挑战性。 为了降低推断所需的计算功率，研究人员通常采用权重量化等方法，即减少人工神经网络的...
-
llama.cpp一种在本地CPU上部署的量化模型（超低配推理llama）
0x00 背景 前不久，Meta前脚发布完开源大语言模型LLaMA， 随后就被网友“泄漏”，直接放了一个磁力链接下载链接。 然而那些手头没有顶级显卡的朋友们，就只能看看而已了 但是 Georgi Gerganov 开源了一个项目llama.cpp...
-
Llama大模型运行的消费级硬件要求【CPU|GPU|RAM|SSD】
大型语言模型 (LLM 是强大的工具，可以为各种任务和领域生成自然语言文本。 最先进的LLM之一是 LLaMA（大型语言模型 Meta AI），这是由 Facebook 的研究部门 Meta AI 开发的一个包含 650 亿个参数的模型 要在家运行 L...
-
【LLM】Windows本地CPU部署民间版中文羊驼模型（Chinese-LLaMA-Alpaca）踩坑记录
目录 前言 准备工作 Git Python3.9 Cmake 下载模型 合并模型 部署模型 前言 想必有小伙伴也想跟我一样体验下部署大语言模型, 但碍于经济实力, 不过民间上出现了大量的量化模型, 我们平民也能体验体验啦~...