-
GPT-4V开源平替！清华浙大领衔，LLaVA、CogAgent等开源视觉模型大爆发
如今，GPT-4 Vision在语言理解和视觉处理方面展现出了非凡的能力。 然而，如果想在不影响性能的前提下，寻求具有成本效益的替代方案，开源方案就蕴藏着无限可能。 国外的一位开发者Youssef Hosni为大家奉上了三种GPT-4V的开源替代方案，可...
-
最强开源大模型？Llama 2论文解读
标题 简介 模型预训练 预训练设置 硬件资源与碳排放 模型评估 模型微调 有监督微调 基于人工反馈的强化学习（RLHF） 人类偏好数据的收集 奖励模型 迭代微调过程 多轮对话控制 RLHF 结果 模型回答的安全性 一直...
-
Meta与微软联手推出开源大型语言模型Llama 2；程序员如何优雅地做副业
? AI新闻 ? Meta与微软联手推出开源大型语言模型Llama 2 摘要：Meta和微软近期合作发布了名为Llama 2的开源大型语言模型。该模型旨在帮助开发者和组织构建生成式人工智能工具和体验。Azure客户可以更轻松、安全地在Azure平台...
-
8x7B MoE与Flash Attention 2结合，不到10行代码实现快速推理
前段时间，Mistral AI 公布的 Mixtral 8x7B 模型爆火整个开源社区，其架构与 GPT-4 非常相似，很多人将其形容为 GPT-4 的「缩小版」。 我们都知道，OpenAI 团队一直对 GPT-4 的参数量和训练细节守口如瓶。Mistr...
-
一文通透位置编码：从标准位置编码、旋转位置编码RoPE到ALiBi、LLaMA 2 Long
前言 关于位置编码和RoPE 应用广泛，是很多大模型使用的一种位置编码方式，包括且不限于LLaMA、baichuan、ChatGLM等等 我之前在本博客中的另外两篇文章中有阐述过(一篇是关于LLaMA解读的，一篇是关于transformer从零实现...
-
每个开发者都应该知道的6个生成式AI框架和工具
译者 | 晶颜 审校 | 重楼 在快速发展的技术领域，生成式人工智能是一股革命性的力量，它改变了开发人员处理复杂问题和创新的方式。本文深入探讨了生成式AI的世界，揭示了对每个开发人员都必不可少的框架和工具。 一、LangChain 图片 LangCh...
-
[玩转AIGC]LLaMA2之如何微调模型
目录 1、下载训练脚本 2、 下载模型 2.1、申请下载权限 2.2、模型下载 3、模型微调 3.1、使用单卡微调 3.2、使用多卡训练： 1、下载训练脚本 首先我们从github上下载Llama 2的微调代码：GitHu...
-
Mistral 欧洲最强模型团队的野望；国内大模型都是套壳LLaMA？Claude官方提示词教程-中英双语；AI原生应用难产了；AI Agents实践经验 | ShowMeAI日报
?日报&周刊合集 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦！ ? 看热闹不嫌事大！马斯克：OpenAI首席科学家 Ilya 应该跳槽到xAI https://www.businessinsider.com/...
-
人工智能 | Llama大模型：与AI伙伴合二为一，共创趣味交流体验
Llama 大模型介绍 我们介绍 LLaMA，这是一个基础语言模型的集合，参数范围从 7B 到 65B。我们在数万亿个Token上训练我们的模型，并表明可以专门使用公开可用的数据集来训练最先进的模型，而无需诉诸专有的和无法访问的数据集。特别是，LL...
-
Gemini偷师文心一言？这一局，百度给中国大模型找回了面子！
大数据产业创新服务媒体 ——聚焦数据 · 改变商业 在模型表现方面，百度文心一言、阿里通义千问、华为盘古、腾讯混元、科大讯飞星火等，都在说超过ChatGPT-3.5，马上要追上GPT-4，甚至在某些领域的表现超越了GPT-4。...
-
图灵奖得主Yann LeCun最新专访：AI将接管世界，但不会征服人类！
当他的前合作者 Geoffrey Hinton和 Yoshua Bengio 宣称 AI 灭绝论时，LeCun 并没有参与。相反，他签署了一封公开信，呼吁拥抱开源 AI，并称 AI不应由少数几家企业控制。 那么，AI 到底是会给人类带来毁灭性灾难，还是会...
-
华为诺亚的盘古Agent来了，让智能体学会结构化推理
自 AI 诞生以来，开发能够解决和适应复杂工作的多任务智能体（Agent）一直是个重要的目标。 AI 智能体对于许多应用至关重要，研究者通常用强化学习方法通过环境交互来培养智能体的决策技能。基于模型和无模型的深度强化学习方法都已取得了广为人们所知的成就，...
-
LLM微调（四）| 微调Llama 2实现Text-to-SQL，并使用LlamaIndex在数据库上进行推理
Llama 2是开源LLM发展的一个巨大里程碑。最大模型及其经过微调的变体位居Hugging Face Open LLM排行榜（https://huggingface.co/spaces/HuggingFaceH4/open_llm_lea...
-
“私密离线聊天新体验！llama-gpt聊天机器人：极速、安全、搭载Llama 2，尽享Code Llama支持！”
“私密离线聊天新体验！llama-gpt聊天机器人：极速、安全、搭载Llama 2，尽享Code Llama支持！” 一个自托管的、离线的、类似chatgpt的聊天机器人。由美洲驼提供动力。100%私密，没有数据离开您的设备。 Demo http...
-
Llama 2 with langchain项目详解（三）
Llama 2 with langchain项目详解（三） 17.3 Llama 2 with langchain基础 本节讲解在LangChain中使用Llama 2模型的基础知识，展示如何运行LangChain的代码，及在云端运行Llama 2的700...
-
LLaMA 简介：一个具有 650 亿参数的基础大型语言模型 官网介绍
2023 年 2 月 24 日 更新：我们刚刚推出了Llama 2 - 有关最新信息的更多信息，请参阅我们关于 Llama 2 的博客文章。 作为 Meta 致力于开放科学的一部分，今天我们公开发布 LL...
-
LLMs-入门二：基于google云端Colab部署Llama 2
LLMs-入门二：基于google云端Colab部署Llama 2 1、访问网址 2、基础概念 3、选择最适合您的 Colab 方案 4、基于Colab部署开源模型Llama 2 1）在Colab上安装huggingface套件 2）申请调用...
-
Llama 2免费托管及API提供
Llama 2 是 Meta 最新的文本生成模型，目前其性能优于所有开源替代方案。 推荐：用 NSDT编辑器 快速搭建可编程3D场景 1、强大的Llama 2 它击败了 Falcon-40B（之前最好的开源基础模型），与 GPT-3....
-
在 “小小容器” WasmEdge 里运行小小羊驼 llama 2
昨天，特斯拉前 AI 总监、OpenAI 联合创始人 Andrej Karpathy 开源了 llama2.c 。 只用 500 行纯 C 语言就能训练和推理 llama 2 模型的框架，没有任何繁杂的 python 依赖。这个项目一推出就受到大家的追捧...
-
LLaMA系列模型
1.LLama 1.1 简介 Open and Efficient Foundation Language Models (Open但没完全Open的LLaMA 2023年2月，Meta（原Facebook）推出了LLaMA大模型，使用了1.4...
-
4090成A100平替？token生成速度只比A100低18%，上交大推理引擎火了
不仅如此，PowerInfer 与最先进的本地LLM推理框架 llama.cpp 相比，在单个 RTX 4090 (24G 上运行 Falcon (ReLU -40B-FP16，实现了 11 倍多的加速，还能保持模型的准确性。 具体来说，PowerIn...
-
李彦宏鼓励开发AI原生产品,布局文心一言的生态
半年前，我老师用CHATGPT来武装他的产品，后来发现速度太慢，当时文心一言正好也可以使用了就混合使用了CHATGPT和文心一言的AI功能，这就是开发AI原生产品，使用第三方平台的大语言模型来增强自己产品的体验感。 12月16日，北京举办了极客公园创新大...
-
开源与闭源大模型之战：Llama 2 vs. GPT-4 vs. Claude-2
人工智能一直在以惊人的速度发展，特别是在自然语言处理（NLP）领域。这场革命的领跑者包括三种杰出的人工智能语言模型：Llama 2、GPT-4 和 Claude-2。在这篇博客中，我们将探索这些人工智能巨头，了解他们独特的能力以及他们对各个领域的潜在影响...
-
使用 PyTorch FSDP 微调 Llama 2 70B
引言 通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accelerate 和 TRL 库。我们还将展示如何在 SL...
-
“Transformer挑战者”Mamba，用Macbook也能跑了！GitHub半天斩获500+星
“Transformer的挑战者”Mamba，用MacBook也能跑了！ 有大佬在GitHub上共享了一份笔记，让人们可以用最简单的方式运行Mamba。 这份共享中，算上说明书一共只有三个文件，而且发布不到一天，就斩获了500+星标。 图片 Mamba是...
-
每个开发人员都应该知道的六个生成式AI框架和工具
译者 | 晶颜 审校 | 重楼 在快速发展的技术领域，生成式人工智能是一股革命性的力量，它改变了开发人员处理复杂问题和创新的方式。本文深入探讨了生成式AI的世界，揭示了对每个开发人员都必不可少的框架和工具。 LangChain LangChain由H...
-
数据治理与大模型一体化实践
降本增效方面，以机器学习团队的构成为例，滴普科技Deepexi产品线总裁柏海峰介绍道：“传统机器学习或者说小模型的技术落地，对人才的要求很高，但企业往往没有意识到这个问题。具体来说，一般需要构建一个综合性的团队即数据科学团队，团队中需要数据开发工程师、...
-
使用LM Studio在本地运行LLM完整教程
GPT-4被普遍认为是最好的生成式AI聊天机器人，但开源模型一直在变得越来越好，并且通过微调在某些特定领域是可以超过GPT4的。在开源类别中，出于以下的原因，你可能会考虑过在本地计算机上本地运行LLM ： 脱机:不需要互联网连接。 模型访问:在本地运行...
-
【网安AIGC专题10.11】①代码大模型的应用：检测、修复②其安全性研究：模型窃取攻击（API和网页接口） 数据窃取攻击 对抗攻击（用途：漏洞隐藏） 后门攻击（加触发器+标签翻转）
代码大模型的应用及其安全性研究 写在最前面 一些想法 大型模型输出格式不受控制的解决方法 大模型介绍 （很有意思）GPT 模型家族的发展 Chatgpt 优点 缺点 GPT4 其他模型 补充：self-instruct合成数据 Cod...
-
大语言模型之四-LlaMA-2从模型到应用
最近开源大语言模型LlaMA-2火出圈，从huggingface的Open LLM Leaderboard开源大语言模型排行榜可以看到LlaMA-2还是非常有潜力的开源商用大语言模型之一，相比InstructGPT，LlaMA-2在数据质量、培训技术、能力...
-
推理性能超H100十倍！21岁华裔小哥哈佛辍学开发AI加速芯片「Sohu」，2人公司估值3400万刀
像Pika一样的神级创业故事又要再次上演了？ 两位哈佛退学的年轻人，想要制造一款专用于大语言模型加速的AI加速器芯片，将于2024年第三季度交付，推理性能达H100的10倍。 在今年6月份，两位创始人Gavin Uberti和Chris Zhu创立了E...
-
ChatGPT构建离不开PyTorch，LeCun言论引热议，模型厂商不开放权重原来为此
这两天，有关开源的话题又火了起来。有人表示，「没有开源，AI 将一无所有，继续保持 AI 开放。」这个观点得到了很多人的赞同，其中包括图灵奖得主、Meta 首席科学家 Yann LeCun。 想象一下，如果工业界的 AI 研究实验室仍然封闭、没有开源代码...
-
【LLM】大语言模型学习之LLAMA 2：Open Foundation and Fine-Tuned Chat Model
大语言模型学习之LLAMA 2：Open Foundation and Fine-Tuned Chat Model 快速了解 预训练 预训练模型评估 微调 有监督微调（SFT） 人...
-
下一代自动驾驶系统，少不了大模型，系统调研来了
随着大语言模型 (LLM 和视觉基础模型 (VFM 的出现，受益于大模型的多模态人工智能系统有潜力像人类一样全面感知现实世界、做出决策。在最近几个月里，LLM 已经在自动驾驶研究中引起了广泛关注。尽管 LLM 具有巨大潜力，但其在驾驶系统中的关键挑战...
-
论文笔记--Llama 2: Open Foundation and Fine-Tuned Chat Models
论文笔记--Llama 2: Open Foundation and Fine-Tuned Chat Models 1. 文章简介 2. 文章概括 3 文章重点技术 3.1 预训练Pretraining 3.1.1 预训练细节 3.1.2...
-
LLM - Chinese-Llama-2-7b 初体验
目录 一.引言 二.模型下载 三.快速测试 四.训练数据 五.总结 一.引言 自打 LLama-2 发布后就一直在等大佬们发布 LLama-2 的适配中文版，也是这几天蹲到了一版由 LinkSoul 发布的 Chinese-Llam...
-
微软大幅扩展 Azure AI Studio，将 Llama 2、GPT-4 Turbo with Vision 纳入其中
微软是迄今为止生成式人工智能热潮的最大赢家之一，这要归功于其早期支持 OpenAI并整合了后者初创公司的技术进入 Bing、Azure 和各种其他服务，其显然一直在努力避免将所有人工智能鸡蛋放在一个篮子里。 图片来自 Microsoft 如今，该公司宣布...
-
Hugging News #0814: Llama 2 学习资源大汇总
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣...
-
消息称 Meta 无视自家律师警告，使用盗版书籍训练 AI 模型
12 月 13 日消息，据路透社报道，根据一起版权侵权诉讼的新文件显示，Meta Platforms 在明知使用数千本盗版书籍训练其 AI 模型存在法律风险的情况下，仍然一意孤行。 据IT之家了解，该诉讼由喜剧演员 Sarah Silverman、普...
-
全方位、无死角的开源，邢波团队LLM360让大模型实现真正的透明
开源模型正展现着它们蓬勃的生命力，不仅数量激增，性能更是愈发优秀。图灵奖获得者 Yann LeCun 也发出了这样的感叹：「开源人工智能模型正走在超越专有模型的路上。」 专有模型在技术性能和创新能力上展现了非凡的力量，但是它们不开源的性质成为 LLM 发...
-
微软首次推出27亿参数的Phi-2模型，性能超过许多大型语言模型
微软发布了一款名为Phi-2的人工智能模型，该模型表现出了不凡的能力，其性能可媲美甚至超越规模是其25倍的、更大、更成熟的模型。 微软在近日的一篇博文中宣布，Phi-2是一个拥有27亿参数的语言模型，与其他基础模型相比，它在复杂的基准测试中表现出了 "先...
-
微软发布小型语言 AI 模型 Phi-2，性能优于 Llama 2、Mistral 7B
微软研究院当地时间周二宣布其 Phi-2 小型语言模型（SML），这是一款文本到文本的人工智能程序，据 X 平台的一篇帖子称，它「足够小，可以在笔记本电脑或移动设备上运行」。 Phi-2 拥有 27 亿参数，性能堪比其他更大的模型，包括 Meta 的 L...
-
训练自己的Llama 2！大模型微调技术介绍
训练自己的Llama 2！大模型微调技术介绍 趋动云 趋动云是面向 AI 算法工程师的开发平台，为工程师提供模型开发、模型训练、数据和代码管理等功能。 近期有不少粉丝问算力君，趋动云是否支持大模型的训练？当然支持！ 最近大火的Llama...
-
2024年AI趋势看这张图，LeCun：开源大模型要超越闭源
2023 年即将过去。一年以来，各式各样的大模型争相发布。当 OpenAI 和谷歌等科技巨头正在角逐时，另一方「势力」悄然崛起 —— 开源。 开源模型受到的质疑一向不少。它们是否能像专有模型一样优秀？是否能够媲美专有模型的性能？迄今为止，我们一直还只能说...
-
开源大模型超越GPT-3.5！爆火MoE实测结果出炉，网友：OpenAI越来越没护城河了
一条神秘磁力链接引爆整个AI圈，现在，正式测评结果终于来了： 首个开源MoE大模型Mixtral 8x7B，已经达到甚至超越了Llama 2 70B和GPT-3.5的水平。 （对，就是传闻中GPT-4的同款方案。） 并且由于是稀疏模型，处理每个toke...
-
467亿参数MoE追平GPT-3.5！爆火开源Mixtral模型细节首公开，中杯逼近GPT-4
今天，Mistral AI正式放出了Mixtral 8x7B的技术细节—— 在大多数基准测试中，Mixtral的表现不仅优于Llama 2 70B，而且推理速度提高了整整6倍！ 尤其是，它在大多数标准基准测试上与GPT-3.5打平，甚至略胜一筹。 新开源...
-
2023人工智能工程五大新方向
除了LLM的大量增加，AI开发工具也有了扩展。我们来看一下今年AI开发中的五个关键趋势。 译自Top 5 AI Engineering Trends of 2023，作者 Richard MacManus 是The New Stack的高级编辑，专注于W...
-
开源模型「幻觉」更严重，这是三元组粒度的幻觉检测套件
大模型长期以来一直存在一个致命的问题，即生成幻觉。由于数据集的复杂性，难免会包含过时和错误的信息，这使得输出质量面临着极大的挑战。过多的重复信息还可能导致大型模型产生偏见，这也算是一种形式的幻觉。如何检测和有效缓解大模型的生成幻觉问题一直是学术界的热门课...
-
大语言模型之十六-基于LongLoRA的长文本上下文微调Llama-2
增加LLM上下文长度可以提升大语言模型在一些任务上的表现，这包括多轮长对话、长文本摘要、视觉-语言Transformer模型的高分辨4k模型的理解力以及代码生成、图像以及音频生成等。 对长上下文场景，在解码阶段，缓存先前token的Key和Value（K...
-
Code Llama 简介：编码未来的综合指南
在不断发展的技术领域，Meta 推出的 Code Llama 标志着一次重大飞跃。这种最先进的大型语言模型 (LLM 不仅仅是开发人员武器库中的另一个工具；它也是开发人员的工具之一。它改变了游戏规则。让我们深入了解 Code Llama 提供的功能、它...