-
详解各种LLM系列｜LLaMA 1 模型架构、预训练、部署优化特点总结
作者 | Sunnyyyyy 整理 | NewBeeNLP https://zhuanlan.zhihu.com/p/668698204 后台留言『交流』，加入 NewBee讨论组 LLaMA 是Meta在2...
-
中文LLaMa和Alpaca大语言模型开源方案 | 扩充中文词表 & 针对中文语料进行高效编码
欢迎关注『CVHub』官方微信公众号！ Title: Efficient and Effective Text Encoding for Chinese Llama and AlpacaPDF: https://arxiv.org/pdf/23...
-
无需RLHF显著提升GPT-4/Llama2性能，北大团队提出Aligner对齐新范式
背景 大语言模型（LLMs）虽展现出了强大的能力，但也可能产生不可预测和有害的输出，例如冒犯性回应、虚假信息和泄露隐私数据，给用户和社会造成伤害。确保这些模型的行为与人类意图和价值观相对齐，是一个紧迫的挑战。 尽管基于人类反馈的强化学习（RLHF）提供了...
-
三个Agent顶个GPT-4，基于开源小模型的那种
真·“三个臭皮匠，顶个诸葛亮”—— 基于开源小模型的三个Agent协作，比肩GPT-4的工具调用效果！ 话不多说，直接来看两个系统执行记录。 用户表示自己是一个音乐爱好者，想探索不同的音乐流派以及音乐家。于是指定模型使用Deezer和Shazam的API...
-
在2GB DAYU200上本地部署大语言模型
实现思路和步骤 移植轻量级LLM模型推理框架InferLLM到OpenHarmony标准系统，编译出能在OpenHarmony运行的二进制产物。（InferLLM 是一个简单高效的 LLM CPU 推理框架，可以本地部署 LLM 中的量化模型） 使用O...
-
通义千问再开源，Qwen1.5带来六种体量模型，性能超越GPT3.5
赶在春节前，通义千问大模型（Qwen）的 1.5 版上线了。今天上午，新版本的消息引发了 AI 社区关注。 新版大模型包括六个型号尺寸：0.5B、1.8B、4B、7B、14B 和 72B，其中最强版本的性能超越了 GPT 3.5、Mistral-Medi...
-
MedicalGPT：基于LLaMA-13B的中英医疗问答模型（LoRA）、实现包括二次预训练、有监督微调、奖励建模、强化学习训练[LLM:含Ziya-LLaMA]。
项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）：汇总有意义的项目设计集合，助力新人快速实战掌握技能，助力用户更好利用 CSDN 平台，自主完成项目设计升级，提升自身...
-
详解“小而优”的大语言模型Zephyr 7B
Zephyr是Hugging Face发布的一系列大语言模型，使用蒸馏监督微调(dSFT 在更庞大的模型上进行训练，显著提高了任务准确性。 2023年是属于大语言模型(LLM 和开源的一年。许多初创公司和企业开放了模型和权重的源代码，以应对ChatGPT...
-
像人类一样在批评中学习成长，1317条评语让LLaMA2胜率飙升30倍
现有的大模型对齐方法包括基于示例的监督微调（SFT）和基于分数反馈的强化学习（RLHF）。然而，分数只能反应当前回复的好坏程度，并不能明确指出模型的不足之处。相较之下，我们人类通常是从语言反馈中学习并调整自己的行为模式。就像审稿意见不仅仅是一个分数，还包...
-
基于LLaMA Factory，单卡3小时训练专属大模型 Agent
大家好，今天给大家带来一篇 Agent 微调实战文章 Agent（智能体）是当今 LLM（大模型）应用的热门话题 [1]，通过任务分解（task planning）、工具调用（tool using）和多智能体协作（multi-agent cooperat...
-
LLaMA、Baichuan、ChatGLM、Qwen、天工等大模型对比
12.10更新：Qwen技术报告核心解读 Baichuan Baichuan 2: Open Large-scale Language Models 数据处理：数据频率和质量，使用聚类和去重方法，基于LSH和dense embedding方...
-
LLaMA模型指令微调 字节跳动多模态视频大模型 Valley 论文详解
Valley: Video Assistant with Large Language model Enhanced abilitY 大家好，我是卷了又没卷，薛定谔的卷的AI算法工程师「陈城南」~ 担任某大厂的算法工程师，带来最新的前沿AI知识和工具...
-
大模型也有小偷？为保护你的参数，上交大给大模型制作「人类可读指纹」
大模型的预训练需要耗费巨量的计算资源和数据，因而预训练模型的参数也正成为各大机构重点保护的核心竞争力和资产。然而，不同于传统的软件知识产权保护可以通过比对源代码来确认是否存在代码盗用，对预训练模型参数盗用的判断存在以下两方面的新问题： 1） 预训练模型的...
-
基于医疗领域数据微调LLaMA——ChatDoctor模型
文章目录 ChatDoctor简介 数据构建和训练过程 建立外部知识库 ChatDoctor相比ChatGPT有什么优势？ ChatDoctor的效果 代码解读 train_lora.py文件解读 微调实战 下载仓库并进入目录 创建con...
-
【AI】aarch64 kylin llama.cpp CUDA 适配 Chinese-LLaMA-Alpaca-2 启用 Tesla P4 8G GPU支持【失败】
GPU GPU架构信息 Pascal架构: compute_60: GeForce GTX 10xx系列、TITAN Xp, Tesla P100等 compute_61: Quadro GP100, Tesla P40等 co...
-
十分钟读完「降低 LLaMA 模型微调内存占用的QLoRA」论文
QLoRA 提出内存高效的微调方法！降低 LLaMA 模型微调内存占用，仅需数小时追赶 ChatGPT 引言：大模型微调的新时代 随着人工智能技术的飞速发展，大型语言模型（Large Language Models，LLMs）已成为自然语言处理领域的重...
-
【AI】D2000 arm64 aarch64 22.04.3 LTS (Jammy Jellyfish) 编译llama.cpp 使用chinese-alpaca-2-7b模型 CPU版本
下载编译llama.cpp cd ~/Downloads/ai/ git clone --depth=1 https://gh.api.99988866.xyz/https://github.com/ggerganov/llama.cpp cd llma...
-
Chinese-LLaMA-Alpaca本地搭建（三）
Chinese-LLaMA-Alpaca模型搭建（三） 1、简单介绍 1.1 原版LLaMA模型介绍 1.2 LoRA权重模型 1.3 完整版权重模型 2、模型搭建 2.1 直接到huggingface下载转换后的LLaMA hf模型 2...
-
大模型也能切片，微软SliceGPT让LLAMA-2计算效率大增
大型语言模型（LLM）通常拥有数十亿的参数，用了数万亿 token 的数据进行训练，这样的模型训练、部署成本都非常高。因此，人们经常用各种模型压缩技术来减少它们的计算需求。 一般来讲，这些模型压缩技术可以分为四类：蒸馏、张量分解（包括低秩因式分解）、剪枝...
-
【AI】Chinese-LLaMA-Alpaca-2 7B llama.cpp 量化方法选择及推理速度测试 x86_64 RTX 2060 6G 显存太小了
环境 操作系统 CPU 内存 生成量化版本模型 转换出q4_0 q4_k q6_k q8_0模型 cd ~/Downloads/ai/llama.cpp sourvce venv/bin/activate ~/Downloads/...
-
LLaMA Efficient Tuning
文章目录 LLaMA Efficient Tuning 安装 数据准备 浏览器一体化界面 单 GPU 训练 train_bash 1、预训练 pt 2、指令监督微调 sft 3、奖励模型训练 rm 4、PPO 训练 ppo 5、DPO 训练...
-
MIT和谷歌提出新AI框架Health-LLM:利用可穿戴传感器数据为健康预测任务调整LLM
近日，MIT和Google的研究人员共同提出了一种名为Health-LLM的新型人工智能框架，旨在将大语言模型（LLMs）应用于健康预测任务，利用可穿戴传感器的数据。该框架的提出标志着健康领域在可穿戴技术和人工智能的交叉点上取得了重大突破。 可穿戴传感器技...
-
Chinese-llama-2部署踩坑记录
Chinese-llama-2部署踩坑记录 1. Chinese-LLaMA-Alpaca-2 A. 部署 a. inference_with_transformers_zh b. text generation webui_zh c. a...
-
LLaMa 原理+源码——拆解 (KV-Cache, Rotary Positional Embedding, RMS Norm, Grouped Query Attention, SwiGLU)
原理 Vanilla Transformer 与 LLaMa 的区别 Embedding RMS Norm Rotary Positional Encodding SwiGLU Function KV-Cache Grouped Mult...
-
大模型部署手记（10）LLaMa2+Chinese-LLaMA-Plus-7B+Windows+llama.cpp+中英文对话
1.简介： 组织机构：Meta（Facebook） 代码仓：GitHub - facebookresearch/llama: Inference code for LLaMA models 模型：llama-2-7b、llama-2-7b-chat（...
-
Llama 2打败GPT-4！Meta让大模型自我奖励自迭代，再证合成数据是LLM终局
Llama 2-70B一夜之间打败GPT-4，让整个AI社区为之震惊！ 甚至，在AlpacaEval 2.0排行榜中，微调后的模型胜率完全碾压Claude 2、Gemini Pro等模型。 Meta和NYU研究团队究竟提出了什么秘制配方，才能让Llam...
-
LLaMA Board: 通过一站式网页界面快速上手 LLaMA Factory
原文：https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md ? 加入我们的微信群。 [ English | 中文 ] LLaMA Board: 通过一站式网页界面快速上手...
-
大模型自我奖励：Meta让Llama2自己给自己微调，性能超越了GPT-4
大模型领域中，微调是改进模型性能的重要一步。随着开源大模型逐渐变多，人们总结出了很多种微调方式，其中一些取得了很好的效果。 最近，来自 Meta、纽约大学的研究者用「自我奖励方法」，让大模型自己生成自己的微调数据，给人带来了一点新的震撼。 在新方法中，作者...
-
快速上手！LLaMa-Factory最新微调实践，轻松实现专属大模型
1.为什么要对Yuan2.0做微调？ Yuan2.0（https://huggingface.co/IEITYuan）是浪潮信息发布的新一代基础语言大模型，该模型拥有优异的数学、代码能力。自发布以来，Yuan2.0已经受到了业界广泛的关注。当前Yua...
-
LLaMA模型泄露 Meta成最大受益者
一份被意外泄露的谷歌内部文件，将Meta的LLaMA大模型“非故意开源”事件再次推到大众面前。“泄密文件”的作者据悉是谷歌内部的一位研究员，他大胆指出，开源力量正在填平OpenAI与谷歌等大模型巨头们数年来筑起的护城河，而最大的受益者是Meta，因为该公司...
-
Stability AI发布全新代码模型Stable Code 3B，媲美70亿Code Llama，没GPU也能跑
今天，Stability AI发布了自家在2024年的第一个模型——Stable Code3B。 顾名思义，Stable Code3B专注于代码能力，实际的表现也是非常亮眼。 在仅仅3B参数的规模之下，达到了比肩Code Llama7B的效果。 相...
-
七个值得关注的优秀大语言模型（LLM）
在LLM领域我们了解最多的很可能是OpenAI的ChatGPT，以及最近在多模态表现非常出色的Google Gemini，这些都是AI大模型的领头羊，代表着AI大模型发展的先进成果。然而，在大模型的实际应用中必须要综合考虑成本、信息安全等内容，因此，开源...
-
Stability AI发布全新代码模型Stable Code 3B！媲美70亿Code Llama，没GPU也能跑
今天，Stability AI发布了自家在2024年的第一个模型——Stable Code 3B。 图片 顾名思义，Stable Code 3B专注于代码能力，实际的表现也是非常亮眼。 在仅仅3B参数的规模之下，达到了比肩Code Llama 7B的效果...
-
LLaMA的解读与其微调：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙/LLaMA 2
前言 近期，除了研究ChatGPT背后的各种技术细节 不断看论文(至少100篇，100篇目录见此：ChatGPT相关技术必读论文100篇 ，还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节 ...
-
最新开源！更擅长推理的LLaMA大模型，支持中文
©PaperWeekly 原创 · 作者 | 李忠利 研究方向 | 自然语言处理 跟大家介绍一下自己最近训练的 LLaMA 模型——BiLLa: A Bilingual LLaMA with Enhanced Reasoning Abi...
-
大模型部署手记（13）LLaMa2+Chinese-LLaMA-Plus-2-7B+Windows+LangChain+摘要问答
1.简介： 组织机构：Meta（Facebook） 代码仓：GitHub - facebookresearch/llama: Inference code for LLaMA models 模型：chinese-alpaca-2-7b-hf、text...
-
LLMs之LLaMA-2：LLaMA-2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略
LLMs之LLaMA-2：LLaMA-2的简介(技术细节 、安装、使用方法(开源-免费用于研究和商业用途 之详细攻略 导读：2023年7月18日，Meta重磅发布Llama 2！这是一组预训练和微调的大型语言模型（LLM），规模从70亿到700亿个...
-
【AI实战】llama.cpp 量化部署 llama-33B
【AI实战】llama.cpp 量化部署 llama-33B llama.cpp 量化介绍 环境配置 安装 llama.cpp 拉取 llama.cpp 仓库代码 编译llama.cpp 生成量化版本模型 模型准备 将上述.pth模型权重...
-
大模型恋爱神器！16种MBTI自由定制，北大ChatLaw团队出品
北大团队新作，让大模型拥有个性! 而且还是自定义那种，16种MBTI都能选。 图源备注：图片由AI生成，图片授权服务商Midjourney 这样一来，即便是同一个大模型，不同性格下的回答都不一样。 比如提问:你周末喜欢干什么? 这样能干啥呢?北大的童...
-
LLaMA-v2-Chat vs. Alpaca：应该在什么时候使用不同的人工智能模型？
译者 | 李睿 审校 | 重楼 如今，大型语言模型（LLM）正在彻底改变人们的工作和生活，从语言生成到图像字幕软件，再到友好的聊天机器人。这些人工智能模型为解决现实世界的问题提供了强大的工具，例如生成聊天响应或遵循复杂的指令。在这篇关于LLaMA v2的...
-
LLMs模型速览（GPTs、LaMDA、GLM/ChatGLM、PaLM/Flan-PaLM、BLOOM、LLaMA、Alpaca）
文章目录 一、 GPT系列 1.1 GPTs（OpenAI，2018——2020） 1.2 InstructGPT（2022-3） 1.2.1 算法 1.2.2 损失函数 1.3 ChatGPT（2022.11.30） 1.4 ChatG...
-
使用LLaMA-Factory微调ChatGLM3
1、创建虚拟环境 略 2、部署LLaMA-Factory （1）下载LLaMA-Factory https://github.com/hiyouga/LLaMA-Factory （2）安装依赖 pip3 install -r requi...
-
【AI实战】llama.cpp量化cuBLAS编译；nvcc fatal:Value ‘native‘ is not defined for option ‘gpu-architecture‘
【AI实战】llama.cpp量化cuBLAS编译；nvcc fatal:Value 'native' is not defined for option 'gpu-architecture' llama.cpp量化介绍 llama.cpp 编...
-
[NLP] 使用Llama.cpp和LangChain在CPU上使用大模型-RAG
一 准备工作 下面是构建这个应用程序时将使用的软件工具: 1.Llama-cpp-python 下载llama-cpp, llama-cpp-python [NLP] Llama2模型运行在Mac机器-CSDN博客 2、LangChain L...
-
精调训练中文LLaMA模型实战教程，民间羊驼模型
羊驼实战系列索引 博文1：本地部署中文LLaMA模型实战教程，民间羊驼模型博文2：本地训练中文LLaMA模型实战教程，民间羊驼模型博文3：精调训练中文LLaMA模型实战教程，民间羊驼模型（本博客） 简介 在学习完上篇【博文2：本地训练中文LLaM...
-
最强开源大模型？Llama 2论文解读
标题 简介 模型预训练 预训练设置 硬件资源与碳排放 模型评估 模型微调 有监督微调 基于人工反馈的强化学习（RLHF） 人类偏好数据的收集 奖励模型 迭代微调过程 多轮对话控制 RLHF 结果 模型回答的安全性 一直...
-
年度最热AI应用TOP 50，除了ChatGPT还有这么多宝藏
百模齐发、AI工具乱杀的一年里，谁是真正赢家？ ChatGPT访问量遥遥领先位居第一，但单次使用时长没超过平均线。 Midjourney访问量年度第四，但下滑量位居第二。 引爆AI绘画趋势的Stable Diffusion，年度访问量居然没进前20名？...
-
一文通透位置编码：从标准位置编码、旋转位置编码RoPE到ALiBi、LLaMA 2 Long
前言 关于位置编码和RoPE 应用广泛，是很多大模型使用的一种位置编码方式，包括且不限于LLaMA、baichuan、ChatGLM等等 我之前在本博客中的另外两篇文章中有阐述过(一篇是关于LLaMA解读的，一篇是关于transformer从零实现...
-
ChatGPT变笨新解释：世界被AI改变，与训练时不同了
对于ChatGPT变笨原因，学术界又有了一种新解释。 加州大学圣克鲁兹分校一项研究指出: 论文重点研究了“任务污染”问题，也就是大模型在训练时期就见识过很多任务示例，给人一种AI拥有零样本或少样本能力的错误印象。 也有学者从另一个角度指出，大模型训练...
-
LLaMA, ChatGLM, BLOOM的参数高效微调实践
作者：回旋托马斯x（腾讯NLP算法工程师） 项目地址：https://zhuanlan.zhihu.com/p/635710004 1. 开源基座模型对比 大语言模型的训练分为两个阶段： （1）在海量文本语料上的无监督预训练，学习通用的语义表...