-
LLaMA模型指令微调 字节跳动多模态视频大模型 Valley 论文详解
Valley: Video Assistant with Large Language model Enhanced abilitY 大家好，我是卷了又没卷，薛定谔的卷的AI算法工程师「陈城南」~ 担任某大厂的算法工程师，带来最新的前沿AI知识和工具...
-
大模型也有小偷？为保护你的参数，上交大给大模型制作「人类可读指纹」
大模型的预训练需要耗费巨量的计算资源和数据，因而预训练模型的参数也正成为各大机构重点保护的核心竞争力和资产。然而，不同于传统的软件知识产权保护可以通过比对源代码来确认是否存在代码盗用，对预训练模型参数盗用的判断存在以下两方面的新问题： 1） 预训练模型的...
-
gpt和llama的推理prompt
gpt completion = openai.ChatCompletion.create( # model="gpt-3.5-turbo", model='gpt-4', messages=[ { "role": "system", "content...
-
基于医疗领域数据微调LLaMA——ChatDoctor模型
文章目录 ChatDoctor简介 数据构建和训练过程 建立外部知识库 ChatDoctor相比ChatGPT有什么优势？ ChatDoctor的效果 代码解读 train_lora.py文件解读 微调实战 下载仓库并进入目录 创建con...
-
扎克伯格分红7亿刀，Meta股价大涨14%，开源大计成了？
伴随着 Meta 的股价周四盘后上涨近 14%，升至历史新高，这家公司宣布了有史以来的首次股息派发。 最近一次财报电话会议公布内容显示，Meta 公布的 2023 全年营收为 1349 亿美元，较 2022 年增长 16%；净利润为 391 亿美元，同比...
-
AI视野：文心一言支持生成数字分身；Bard推出图片生成功能；亚马逊开发AI购物助手Rufus；苹果将推生成式AI功能
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ 🤖📱💼AI应用 百度文心一言AP...
-
匿名论文提出奇招！增强大模型长文本能力居然还能这么做
一提到提高大模型长文本能力，就想到长度外推或者上下文窗口扩展？ 不行，这些都太费硬件资源了。 来看一个奇妙新解： 和长度外推等方法使用KV缓存的本质不同，它用模型的参数来存储大量上下文信息。 具体办法就是建一个临时Lora模块，让它仅在长文本生成过程中“...
-
AI2发布开放语言模型OLMo 号称多项性能媲美Llama2
AI2最新发布的开放语言模型（OLMo）框架旨在推动大规模语言模型的研究和实验。通过在Hugging Face和GitHub上提供训练代码、模型和评估代码，AI2致力于让学术界和研究人员能够共同研究语言模型的科学，探索新的预训练数据子集对下游性能的影响，以...
-
BiTA：创新AI方法加速大型语言模型生成
近年来，基于transformer架构的大型语言模型（LLMs）已经崭露头角。Chat-GPT和LLaMA-2等模型展示了LLMs参数的迅速增加，从几十亿到数万亿。尽管LLMs是非常强大的生成器，但由于所有参数的计算负载，它们在推理延迟方面存在问题。因此，...
-
Meta 计划于今年部署自家 AI 芯片，减少对 Nvidia GPU 的依赖
社交媒体巨头 Meta 计划于今年在其数据中心部署一款定制的第二代 AI 芯片，代码名为 "Artemis"。 据路透社报道，新芯片将用于 Meta 的数据中心中的 "推断"，即运行 AI 模型的过程。该举措的目标是减少对 Nvidia 芯片的依赖，并控制...
-
【AI】aarch64 kylin llama.cpp CUDA 适配 Chinese-LLaMA-Alpaca-2 启用 Tesla P4 8G GPU支持【失败】
GPU GPU架构信息 Pascal架构: compute_60: GeForce GTX 10xx系列、TITAN Xp, Tesla P100等 compute_61: Quadro GP100, Tesla P40等 co...
-
十分钟读完「降低 LLaMA 模型微调内存占用的QLoRA」论文
QLoRA 提出内存高效的微调方法！降低 LLaMA 模型微调内存占用，仅需数小时追赶 ChatGPT 引言：大模型微调的新时代 随着人工智能技术的飞速发展，大型语言模型（Large Language Models，LLMs）已成为自然语言处理领域的重...
-
大模型技术实践（三）｜用LangChain和Llama 2打造心灵疗愈机器人
上期文章我们实现了Llama 2-chat-7B模型的云端部署和推理，本期文章我们将用“LangChain+Llama 2”的架构打造一个定制化的心灵疗愈机器人。有相关知识背景的读者可以直接阅读「实战」部分。 01 背景...
-
媲美GPT-4的开源模型泄露！Mistral老板刚刚证实：正式版本还会更强
Mistral-Medium竟然意外泄露？此前仅能通过API获得，性能直逼GPT-4。 CEO最新发声：确有其事，系早期客户员工泄露。但仍表示敬请期待。 图片 换句话说，这个版本尚且还是旧的，实际版本性能还会更好。 这两天，这个名叫“Miqu”的神秘模型...
-
无注意力大模型Eagle7B：基于RWKV，推理成本降低10-100 倍
无注意力大模型Eagle7B：基于RWKV，推理成本降低10-100 倍 在 AI 赛道中，与动辄上千亿参数的模型相比，最近，小模型开始受到大家的青睐。比如法国 AI 初创公司发布的 Mistral-7B 模型，其在每个基准测试中，都优于 Llama 2...
-
五角大楼启动AI赏金计划，寻找偏见证据
美国国防部最近启动了一项赏金计划，旨在寻找人工智能模型中的法律偏见。该计划要求参与者从Meta的开源LLama-270B模型中提取明显的偏见例证。 据五角大楼的解释，这是为了在实际应用中找到大语言模型可能呈现偏见或在国防部背景下产生系统错误输出的现实情境。...
-
技术融合下的虚拟角色创建与实践
作者 | 崔皓 审校 | 重楼 摘要 文章详细介绍了百川大模型在创建个性化虚拟角色方面的创新技术和应用。这项技术结合了LangChain和Qianfan微调的Llama2-Chinese大模型，提供了高度个性化的角色定制功能。 作者通过实际体验和技术模...
-
揭秘NVIDIA大模型推理框架：TensorRT-LLM
一、TensorRT-LLM 的产品定位 TensorRT-LLM 是 NVIDIA 用于做 LLM（Large Language Model）的可扩展推理方案。该方案是基于 TensorRT 深度学习编译框架来构建、编译并执行计算图，并借鉴了许多 Fa...
-
【AI】D2000 arm64 aarch64 22.04.3 LTS (Jammy Jellyfish) 编译llama.cpp 使用chinese-alpaca-2-7b模型 CPU版本
下载编译llama.cpp cd ~/Downloads/ai/ git clone --depth=1 https://gh.api.99988866.xyz/https://github.com/ggerganov/llama.cpp cd llma...
-
大模型笔记【3】 gem5 运行模型框架LLama
一 LLama.cpp LLama.cpp 支持x86，arm，gpu的编译。 1. github 下载llama.cpp https://github.com/ggerganov/lla...
-
Mistral-Medium意外泄露 神秘新模型“Miqu”击败GPT-4之外的所有大模型
近期AI社区掀起了一场关于Mistral-Medium模型的讨论，该模型意外泄露并与一个名为"Miqu"的新模型有关。Miqu在EQ-Bench基准上的表现引起关注，直接击败除GPT-4之外的所有大模型，得分接近Mistral-Medium。 开源地址:...
-
编程新范式，当Spring Boot遇上OpenAI
2023年，AI技术已经成为一个热点话题，影响了许多领域，特别是编程领域。人们越来越意识到AI技术的重要性，包括Spring社区在内。 随着GenAI（I（General Artificial Intelligence））技术的不断发展，简化具有AI功能...
-
Mistral-Medium意外泄露？冲上榜单的这个神秘模型让AI社区讨论爆了
「我现在 100% 确信 Miqu 与 Perplexity Labs 上的 Mistral-Medium 是同一个模型。」 近日，一则关于「Mistral-Medium 模型泄露」的消息引起了大家的关注。 泄露传闻与一个名为「Miqu」的新模型有关，在...
-
多模态LLM多到看不过来？先看这26个SOTA模型吧
当前 AI 领域的关注重心正从大型语言模型（LLM）向多模态转移，于是乎，让 LLM 具备多模态能力的多模态大型语言模型（MM-LLM）就成了一个备受关注的研究主题。 近日，腾讯 AI Lab、京都大学和穆罕默德・本・扎耶德人工智能大学的一个研究团队发布...
-
Code Llama 70B霸榜3连发，练习5个月击败GPT-4！小扎LeCun亲自官宣上新
今天，Meta正式发布了Code Llama 70B，作为Code Llama系列中规模最大，性能最强的版本，一举击败了GPT-4！ 目前，模型共有三个版本，均可免费用于研究和商业目的： CodeLlama - 70B：基础代码模型； CodeLlama...
-
Chinese-LLaMA-Alpaca本地搭建（三）
Chinese-LLaMA-Alpaca模型搭建（三） 1、简单介绍 1.1 原版LLaMA模型介绍 1.2 LoRA权重模型 1.3 完整版权重模型 2、模型搭建 2.1 直接到huggingface下载转换后的LLaMA hf模型 2...
-
准确率不足20%，GPT-4V/Gemini竟看不懂漫画！首个图像序列基准测试开源
OpenAI的GPT-4V和谷歌最新的Gemini多模态大语言模型一经推出就得到业界和学界的热切关注: 一系列工作都从多角度展示了这些多模态大语言模型对视频的理解能力。人们似乎相信我们离通用人工智能artificial general intellige...
-
轻松上手，本地运行LlaMA 2的简易指南
我们将学习一种无需设置Python或任何程序即可安装和使用LlaMA 2的简单方法。只需下载文件并在PowerShell中运行命令即可。 微信搜索关注《Python学研大本营》，加入读者群，分享更多精彩 图像由DALL·E 3生成 一...
-
编程能力超GPT-4，羊驼代码版“超大杯”来了，小扎还亲自剧透Llama3
羊驼家族的“最强开源代码模型”，迎来了它的“超大杯”—— 就在今天凌晨，Meta宣布推出Code Llama的70B版本。 图片 在HumanEval测试中，Code Llama-70B的表现在开源代码模型中位列第一，甚至超越了GPT-4。 此次发布的超...
-
AI视野：Meta发布Code Llama70B；Nijijourney V6模型正式上线；Chrome将内置AI写作助手；Minimax的AI对话机器人海螺问问上线
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ 🤖📱💼AI应用 Meta发布最新A...
-
大模型也能切片，微软SliceGPT让LLAMA-2计算效率大增
大型语言模型（LLM）通常拥有数十亿的参数，用了数万亿 token 的数据进行训练，这样的模型训练、部署成本都非常高。因此，人们经常用各种模型压缩技术来减少它们的计算需求。 一般来讲，这些模型压缩技术可以分为四类：蒸馏、张量分解（包括低秩因式分解）、剪枝...
-
PAI-ChatLearn ：灵活易用、大规模 RLHF 高效训练框架（阿里云最新实践）
PAI-ChatLearn 是阿里云机器学习平台 PAI 团队自主研发的，灵活易用、大规模模型 RLHF 高效训练框架，支持大模型进行 SFT（有监督指令微调）、RM（奖励模型）、RLHF（基于人类反馈的强化学习）完整训练流程。PAI-ChatLear...
-
【AI】Chinese-LLaMA-Alpaca-2 7B llama.cpp 量化方法选择及推理速度测试 x86_64 RTX 2060 6G 显存太小了
环境 操作系统 CPU 内存 生成量化版本模型 转换出q4_0 q4_k q6_k q8_0模型 cd ~/Downloads/ai/llama.cpp sourvce venv/bin/activate ~/Downloads/...
-
每日一看大模型新闻（2023.11.14）谷歌提出新型生成式AI模型IGN；谷歌天气预报模型GraphCast登刊Science；贾扬清吐槽国产大模型套壳Llama 假装自研，零一万物回应
1.产品发布 1.1面壁智能：发布AI Agents首个SaaS级产品ChatDev 发布日期：2023-11-15 面壁智能打造首个“大模型+Agent” SaaS级产品ChatDev 主要内容：面壁智能已经推出了基于群体智能和其新一代千...
-
第三十二章：ChatGPT与AIGC在物联网领域的应用
1.背景介绍 物联网(Internet of Things，IoT 是指通过互联网将物体和设备连接起来，实现数据的传输和共享。物联网技术已经广泛应用于各个领域，如智能家居、智能城市、智能制造、智能农业等。随着数据量的增加和计算能力的提高，人工智能...
-
Llama-2+Mistral+MPT=? 融合多个异构大模型显奇效
随着 LLaMA、Mistral 等大语言模型的成功，各家大厂和初创公司都纷纷创建自己的大语言模型。但从头训练新的大语言模型所需要的成本十分高昂，且新旧模型之间可能存在能力的冗余。 近日，中山大学和腾讯 AI Lab 的研究人员提出了 FuseLLM，用...
-
微软开发新型大模型压缩方法SliceGPT
SliceGPT是微软开发的一种新型的大语言模型压缩方法。通过SLICE GPT，可以在保持99%，99%，和90%零样本任务性能的同时，将LLAMA2-70B、OPT66B和Phi-2模型分别去除高达25%的模型参数（包括嵌入）。 这意味着使用SLICE...
-
Meta官方的Prompt工程指南：Llama 2这样用更高效
Meta官方的Prompt工程指南：Llama 2这样用更高效...
-
LLaMA Efficient Tuning
文章目录 LLaMA Efficient Tuning 安装 数据准备 浏览器一体化界面 单 GPU 训练 train_bash 1、预训练 pt 2、指令监督微调 sft 3、奖励模型训练 rm 4、PPO 训练 ppo 5、DPO 训练...
-
Llama-2 推理和微调的硬件要求总结：RTX 3080 就可以微调最小模型
大语言模型微调是指对已经预训练的大型语言模型（例如Llama-2，Falcon等）进行额外的训练，以使其适应特定任务或领域的需求。微调通常需要大量的计算资源，但是通过量化和Lora等方法，我们也可以在消费级的GPU上来微调测试，但是消费级GPU也无法承载比...
-
大语言模型部署：基于llama.cpp在Ubuntu 22.04及CUDA环境中部署Llama-2 7B
llama.cpp是近期非常流行的一款专注于Llama/Llama-2部署的C/C++工具。本文利用llama.cpp来部署Llama 2 7B大语言模型，所采用的环境为Ubuntu 22.04及NVIDIA CUDA。文中假设Linux的用户目录（一般为...
-
Llama 2: Open Foundation and Fine-Tuned Chat Models
文章目录 TL;DR Introduction 背景 本文方案 实现方式 预训练 预训练数据 训练细节 训练硬件支持 预训练碳足迹 微调 SFT SFT 训练细节 RLHF 人类偏好数据收集 奖励模型 迭代式微调（RLHF） 拒...
-
【随手记录】Llama Tutorial 大语言模型实践 手把手系列带实践源码
这个tutorial的契机是yy突然看到了一个workshop 所以类似于一周大作业的形式，输入command输出使用了自动驾驶哪些模块，代码在这里 所以就干一干，顺便写一个tutorial给大家参考和教程 引申更多的应用 参考资料： https:...
-
高效底座模型LLaMA
论文标题：LLaMA: Open and Efficient Foundation Language Models 论文链接：https://arxiv.org/abs/2302.13971 论文来源：Meta AI 一、概述 大型语...
-
Midjourney V6更新解读与侵权风险警告；AI Agent智能体创业必读；高清图解Mixtral和MoE；2023年度AI设计实践报告 | ShowMeAI日报
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 🉑 Midjourney V6 文生图细节爆炸，但是被扒叠图电影画面？ 左图提示词：a full body editorial santa ho...
-
甲骨文变身“AI狂战士”，MySQL、Java、OCI，一切技术栈火力全开，猛战AI！
撰稿 | 云昭 出品 | 51CTO技术栈（微信号：blog51cto） 太猛了！甲骨文已经按捺不住，就像找了某种魔法钥匙一般，准备在2024年大干一场！ 近日，甲骨文宣布正在将生成式AI功能集成到该公司的整个云服务OCI（Oracle Cloud In...
-
大模型推理成本排行榜来了：贾扬清公司效率领跑
「大模型的 API 是个亏本买卖吗？」 随着大语言模型技术的逐渐实用化，越来越多的科技公司提出了大模型 API 供开发者们使用。但前有 OpenAI「每天烧掉 70 万美元」，我们也有理由怀疑以大模型为基础的业务到底能不能持续。 本周四，AI 创业公司...
-
Oracle推出云生成式AI服务 帮助企业部署和微调语言模型
数据库巨头Oracle近日推出了Oracle Cloud Infrastructure Generative AI服务，发布的同时推出了各种创新技术，使大型企业能够利用生成式AI技术的最新成果。 这次推出的OCI Generative AI服务是一项全...
-
【云上探索实验室】使用 Amazon Bedrock 体验构建Stable Diffusion-文本生成图像生成式 AI 应用
生成式人工智能（AI）正以惊人的速度蓬勃发展，不断推动着科技创新的边界。在前不久的re:Invent 2023大会上，Selipsky为我们重点介绍了全托管式生成式 AI 服务 Amazon Bedrock，并表示Amazon Bedrock 极大地降低了...
-
一周AIGC丨Meta 发布新一代开源大模型 Llama 2，大模型裁员潮不远了？
人们把Meta发布免费可商用版本 Llama 2比作“安卓时刻”，OpenAI护城河似乎一下子荡然无存，整个大模型市场格局面临巨变。据媒体报道，在以往，中国大模型公司可以靠商业授权赚钱利润，随着Llama 2开始允许商用，中国大模型公司的这一优...