-
重磅！清华最新报告：文心一言超越ChatGPT 3.5
点击下方卡片，关注“CVer”公众号 AI/CV重磅干货，第一时间送达 今年国内厂商已发布很多大语言模型，其中最具代表性的产品有：百度的文心一言、阿里巴巴的通义千问、科大讯飞的星火等，最具代表性的开源工作有：ChatGLM、MOSS、Ba...
-
Meta生成式AI连放大招：视频生成超越Gen-2，动图表情包随心定制
提到视频生成，很多人首先想到的可能是 Gen-2、Pika Labs。但刚刚，Meta 宣布，他们的视频生成效果超过了这两家，而且编辑起来还更加灵活。 这个「吹小号、跳舞的兔子」是 Meta 发布的最新 demo。从中可以看出，Meta 的技术既支...
-
使用代码下载开源的大模型文件示例以及中文微调llama资源汇总：
一、下载示例 from huggingface_hub import snapshot_download repo_id = "THUDM/chatglm2-6b" local_dir = './chatglm2-6b/' cache_dir = l...
-
微软战略大转变：拥抱小模型！
撰稿 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） 微软的生成式AI战略似乎出现了180度大转变：相比大模型，小模型才是微软的真爱。 在Ignite 2023上，微软董事长兼首席执行官Nadella在主题演讲中表示：“微软喜欢小模型...
-
NVIDIA RTX显卡AI推理提速5倍！RTX PC轻松在本地搞定大模型
正在举行的微软Iginte全球技术大会上，微软发布一系列AI相关的全新优化模型、开发工具资源，帮助开发者更深入地释放硬件性能，拓展AI场景。 尤是对于当下在AI领域占据绝对主导地位的NVIDIA来说，微软这次送上了一份大礼包，无论是面向OpenAI Cha...
-
一文盘点2023人工智能进展，不止大模型而已
2023年大模型千帆竞发，除此外AI领域还有哪些新突破？ 来来来，畅销书《Python机器学习》作者Sebastian Raschka的年末总结已经准备好了。 看完才知道： RLHF今年虽然爆火，但实打实用到的模型并不多，现在还出现了替代方案，有望从开...
-
英伟达预告新版 TensorRT-LLM：推理能力飙升 5 倍、8GB 以上显卡可本地运行，支持 OpenAI 的 Chat API
11 月 16 日消息，微软 Ignite 2023 大会已于今天拉开帷幕，英伟达高管出席本次大会并宣布更新 TensorRT-LLM，添加了对 OpenAI Chat API 的支持。 IT之家今年 10 月报道，英伟达面向数据中心和 Windows...
-
掰开安卓手机，满屏都是三个字：大模型
这年头，安卓厂商没个大模型，都不敢开手机发布会了。 前脚OPPO刚用大模型升级了语音助手，后脚vivo就官宣自研手机AI大模型； 小米发布会则直接将大模型当场塞进手机系统……其竞争激烈程度，不亚于抢芯片首发。 到底是怎么回事？ 究其原因，还是智能终端已经...
-
一招分辨刷榜作弊大模型，博士小哥开源AI数学“照妖镜”
如今很多大模型都声称擅长数学，谁有真才实学？谁是靠背测试题“作弊”的？ 有人在今年刚刚公布题目的匈牙利全国数学期末考试上做了一把全面测试。 很多模型一下子就“现原形”了。 先看绿色部分，这些大模型在经典数学测试集GSM8k和全新卷子上取得的成绩差不多，...
-
LLM 系列 | 21 : Code Llama实战(上篇) : 模型简介与评测
引言 小伙伴们好，我是《小窗幽记机器学习》的小编：卖热干面的小女孩。 个人CSDN首页：JasonLiu1919_面向对象的程序设计,深度学习,C++-CSDN博客 今天开始以2篇小作文介绍代码大语言模型Code Llama。上篇主要介绍Co...
-
AIGC入门 - LLM 信息概览
在阅读本文之前，建议阅读文章：《GPT，GPT-2，GPT-3，InstructGPT的进化之路》 本文将介绍以下 LLM OPT LLaMa Alpaca Vicuna Moss chatGLM Baichuan Openbuddy 一、OPT...
-
比ChatGPT早发两周，被喷下线的Galactica成了LeCun最大的意难平
今天我们提到大型语言模型（LLM），第一个想到的就是 OpenAI 的 ChatGPT。一年来，ChatGPT 因其强大的性能，广泛的应用前景而爆火出圈。但谈到大型语言模型，ChatGPT 并不是第一个。 一年前，也就是 OpenAI 发布 ChatGP...
-
大模型幻觉率排行：GPT-4 3%最低，谷歌Palm竟然高达27.2%
人工智能发展进步神速，但问题频出。OpenAI 新出的 GPT 视觉 API 前脚让人感叹效果极好，后脚又因幻觉问题令人不禁吐槽。 幻觉一直是大模型的致命缺陷。由于数据集庞杂，其中难免会有过时、错误的信息，导致输出质量面临着严峻的考验。过多重复的信息还会...
-
LLM系列 | 19 : Llama 2实战(上篇)-本地部署(附代码)
简介 小伙伴们好，我是《小窗幽记机器学习》的小编：卖热干面的小女孩。紧接前文：万字长文细说ChatGPT的前世今生，后续会尝试以理论+实践的方式逐步对主流的各大LLM进行实测和汉化。今天这篇关于Llama2的小作文其实比较长，所以分为上下两篇，上篇...
-
老黄深夜炸场，世界最强AI芯片H200震撼发布！性能飙升90%，Llama 2推理速度翻倍，大批超算中心来袭
英伟达的节奏，越来越可怕了。 就在刚刚，老黄又一次在深夜炸场——发布目前世界最强的AI芯片H200！ 较前任霸主H100，H200的性能直接提升了60%到90%。 不仅如此，这两款芯片还是互相兼容的。这意味着，使用H100训练/推理模型的企业，可以无缝更...
-
中文版开源Llama 2同时有了语言、多模态大模型，完全可商用
可以说，AI 初创公司 LinkSoul.Al 的这些开源项目让海外开源大模型在国内的普及和推广速度与国际几乎保持了一致。 7 月 19 日，Meta 终于发布了免费可商用版本 Llama 2，让开源大模型领域的格局发生了巨大变化。 Llama 2 模...
-
LLaMA系列 | LLaMA和LLaMA-2精简总结
文章目录 1、LLaMA 1.1、模型结构 1.2、训练方式 1.3、结论 2、LLaMA-2 2.1、相比LLaMA1的升级 2.3、模型结构 2.3.1、MHA, MQA, GQA区别与联系 2.4、训练方式 1、L...
-
谷歌DeepMind给AGI划等级，猜猜ChatGPT在哪个位置
我们到底该如何定义 AGI（通用人工智能）？如果你要求 100 位 AI 专家进行解答，你可能会得到 100 个相关但不同的定义。 现阶段，AGI 是 AI 研究中一个重要且存在争议的概念，有研究者认为 AGI 已经出现在最新一代大语言模型（LLM）中；...
-
Text-to-SQL小白入门（五）开源最强代码大模型Code Llama
摘要 本文介绍了Code Llama大模型的基本概括，包含了论文的摘要、结果、结论以及核心方法，对于了解和实践Code Llama有一定帮助。 论文概述 上一篇介绍了指令进化大模型WizardLM，留了一个坑，补上Code Llama论文学习，...
-
百度智能云“千帆大模型平台”最新升级：接入Llama 2等33个模型！
今年3月，百度智能云推出“千帆大模型平台”。作为全球首个一站式的企业级大模型平台，千帆不但提供包括文心一言在内的大模型服务及第三方大模型服务，还提供大模型开发和应用的整套工具链，能够帮助企业解决大模型开发和应用过程中的所有问题。 本次千帆大模型平台升级的...
-
全面对比GPT-3.5与LLaMA 2微调
通用大模型虽好，但通过微调得到一个专属大模型不仅可以提高模型的可操控性、输出格式的可靠性和语气的一致性，还能让用户缩短提示长度，加速API调用，降低成本。 本文作者Sam L'Huillier对GPT-3.5与LLaMA 2的微调进行了基准...
-
LLMs之Code：Code Llama的简介(衍生模型如Phind-CodeLlama/WizardCoder)、安装、使用方法之详细攻略
LLMs之Code：Code Llama的简介(衍生模型如Phind-CodeLlama/WizardCoder 、安装、使用方法之详细攻略 导读：2023年08月25日(北京时间 ，Meta发布了Code Llama，一个可以使用文本提示生成...
-
Llama 2 with langchain项目详解（一）
Llama 2 with langchain项目详解（一） 2023年2月25日，美国Meta公司发布了Llama 1开源大模型。随后，于2023年7月18日，Meta公司发布了Llama 2开源大模型，该系列包括了70亿、130亿和700亿等不同参数规模...
-
LLama 2部署教程+私有模型分发
近日，Meta发布了LLama的最新版本——LLama2，尽管其对中文的处理能力尚有待提升，但其整体表现无疑是令人瞩目的。在发布当天，我便迫切地将其下载下来进行试用，发现相比之前的版本，LLama2在多个方面都实现了显著的进步，特别是在编程能力上的提升更为...
-
Windows10上使用llama-recipes(LoRA)来对llama-2-7b做fine-tune
刚刚在Windows10上搭建环境来对llama2做finetune，里面坑还是挺多的，这里把印象中的坑整理了一下以作备忘。 llama-recipes是meta的开源项目，Github地址为：GitHub - facebookresearch/llam...
-
百度智能云：千帆大模型平台接入Llama 2等33个大模型，上线103个Prompt模板
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
ChatGPT只算L1阶段，谷歌提出AGI完整路线图
AGI应该如何发展、最终呈什么样子？ 现在，业内第一个标准率先发布： AGI分级框架，来自谷歌DeepMind。 该框架认为，发展AGI必须遵循6个基本原则： 关注能力，而非过程 同时衡量技能水平和通用性 专注于认知和元认知任务 关注最高潜力，而非...
-
深度解析 Llama 2 的资源汇总：不容错过
“ 探索 Llama 2 背后的过程，包括了模型的全面解析，在线体验，微调，部署等，这份资源汇总将带您深入了解其内涵。” 01 — 周二发布了文章《中文大模型 Chinese-LLaMA-Alpaca-2 开源且可以商用》后，不少朋...
-
让大模型忘记哈利波特，微软新研究上演Llama 2记忆消除术，真·用魔法打败魔法（doge）
最近微软一项研究让Llama 2选择性失忆了，把哈利波特忘得一干二净。 现在问模型“哈利波特是谁？”，它的回答是这样婶儿的： 木有赫敏、罗恩，木有霍格沃茨…… 要知道此前Llama 2的记忆深度还是很给力的，比如给它一个看似非常普通的提示“那年秋天，哈...
-
20步内越狱任意大模型！更多“奶奶漏洞”全自动发现
1分钟不到、20步以内“越狱”任意大模型，绕过安全限制！ 而且不必知道模型内部细节—— 只需要两个黑盒模型互动，就能让AI全自动攻陷AI，说出危险内容。 听说曾经红极一时的“奶奶漏洞”已经被修复了: 那么现在搬出“侦探漏洞”、“冒险家漏洞”、“作家漏...
-
字节“开盒”OpenAI所有大模型，揭秘GPT-3到GPT-4进化路径！把李沐都炸出来了
GPT-3究竟是如何进化到GPT-4的？ 字节给OpenAI所有大模型来了个“开盒”操作。 结果还真摸清了GPT-4进化路上一些关键技术的具体作用和影响。 比如： SFT是早期GPT进化的推动者 帮助GPT提升编码能力的最大功臣是SFT和RLHF 在...
-
AI 模型的开源定义需要改变
你认为开源许可证应当进行演变吗？ 2023 年，我们以人工智能（AI）崭露头角开始了新的一年，同时也见证了众多公司全力以赴投身于 AI。 比如说 Mozilla，它在 2023 年初制定了 开源 AI 计划，以开发各种 AI 驱动的解决方案。而 Hug...
-
全球最强长文本大模型，一次可读35万汉字：Baichuan2-192K上线
国内大模型创业公司，正在技术前沿创造新的记录。 10 月 30 日，百川智能正式发布 Baichuan2-192K 长窗口大模型，将大语言模型（LLM）上下文窗口的长度一举提升到了 192K token。 这相当于让大模型一次处理约 35 万个汉字，长度...
-
最好7B模型再易主！打败700亿LLaMA2，苹果电脑就能跑
花500刀“调教”的70亿参数模型，打败700亿参数的Llama 2！ 且笔记本就能轻松跑，效果媲美ChatGPT。 重点：免费、不要钱。 HuggingFace H4团队打造的开源模型Zephyr-7B，鲨疯了。 其底层模型是前段时间爆火、由有着“欧...
-
马克·扎克伯格的 Meta 发布 Llama2 以针对 Sam Altman 及 OpenAI 展开竞争
自 5 月份在白宫举行的顶级 AI CEO 聚会上，Sam Altman 与 Satya Nadella 和 Sundar Pichai 并排而坐以来，马克·扎克伯格的缺席成为了不容忽视的事实。 在 Alphabet、微软和 OpenAI 的参与下，扎...
-
ChatGPT企业版，基本凉了！
撰稿 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） OpenAI 财报发布了，年化营收达到了13亿美元，平均每月营收超1亿美元，但或许创始人 Sam Altman，高兴不起来。 因为，大部分收入的信心还是用户端。据现在客户的反馈看，...
-
骁龙8 Gen3正式发布：8K240手游成真！AI无处不在性能飙升98％
快科技夏威夷高通骁龙技术峰会2023现场报道： 一年一度，它又来了！但是今年，它来得更早一些！ 北京时间10月24日，高通正式发布了新一代旗舰移动平台骁龙8 Gen3”(第三代骁龙8 ，安卓旗舰手机一年一度的新平台登场。 在激烈的残酷竞争下，在AI时代浪潮...
-
4k窗口长度就能读长文，陈丹琦高徒联手Meta推出大模型记忆力增强新方法
只有4k窗口长度的大模型，也能阅读大段文本了！ 普林斯顿的华人博士生的一项最新成果，成功“突破”了大模型窗口长度的限制。 不仅能回答各种问题，而且整个实现的过程全靠prompt就能完成，不需要任何的额外训练。 研究团队创建了一种名为MemWalker的...
-
Meta普林斯顿提出LLM上下文终极解决方案！让模型化身自主智能体，自行读取上下文节点树
到底什么才是LLM长上下文模型的终极解决方案？ 最近由普林斯顿大学和Meta AI的研究者提出了一种解决方案，将LLM视为一个交互式智能体，让它决定如何通过迭代提示来读取文本。 论文地址：https://arxiv.org/abs/2310.05029...
-
一文读懂全新深度学习库Rust Burn
一、什么是Rust Burn？ Rust Burn是一个全新的深度学习框架，完全使用Rust编程语言编写。创建这个新框架而不是使用现有框架（如PyTorch或TensorFlow）的动机是为了构建一个适应多种用户需求的通用框架，包括研究人员、机器学习工程...
-
斯坦福大学发布 AI 基础模型“透明度指标”，Llama 2 以 54% 居首但“不及格”
10 月 20 日消息，斯坦福大学日前发布了 AI 基础模型“透明度指标”，其中显示指标最高的是 Meta 的 Lama 2，但相关“透明度”也只有 54%，因此研究人员认为，市面上几乎所有 AI 模型，都“缺乏透明度”。 据悉，这一研究是由 HAI...
-
LLaMA2上下文长度暴涨至100万tokens，只需调整1个超参数
只需微调一下，大模型支持上下文大小就能从1.6万tokens延长至100万？！ 还是在只有70亿参数的LLaMA 2上。 要知道，即使是当前最火的Claude 2和GPT-4，支持上下文长度也不过10万和3.2万，超出这个范围大模型就会开始胡言乱语、记不...
-
参数少近一半，性能逼近谷歌Minerva，又一个数学大模型开源了
如今，在各种文本混合数据上训练出来的语言模型会显示出非常通用的语言理解和生成能力，可以作为基础模型适应各种应用。开放式对话或指令跟踪等应用要求在整个自然文本分布中实现均衡的性能，因此更倾向于通用模型。 不过如果想要在某一领域（如医学、金融或科学）内最大限...
-
斯坦福公开十大主流模型透明度！Llama 2位列第一，GPT-4透明差，LeCun炮轰：盈利完全理解
GPT-4、Llama等基础模型（FM）相继诞生，已成为当前生成式AI的引擎。 尽管这些FM的社会影响力不断增大，但透明度反而下降。 GPT-4官宣后，OpenAI公布的技术报告中，并未提及关键信息。包括谷歌PaLM，以及其他闭源模型也是如此。 每个人...