-
Llama 3.1大模型的预训练和后训练范式解析
Meta的Llama大型语言模型每次出新版本，都会是一大事件。前段时间他们不仅发布了3.1的一个超大型的405亿参数模型，还对之前的8亿和70亿参数的模型做了升级，让它们在MMLU测试中的表现更好了。 不同模型在MMLU基准测试中的表现 他们还...
-
Meta发布Llama 3.2，Llama 终于能看见了！
Llama家族再添新成员，多模态能力终于到来！ Meta刚刚发布了Llama 3.2模型系列，包括多模态视觉模型和小型文本模型，共计10个开放权重模型。 这次更新不仅带来了期待已久的视觉能力，还为移动设备和边缘计算提供了更多选择。 多模态Llam...
-
又热闹了，OpenAI的加强版“Her”正式开放，压过了Gemini的“生产级”大升级
今天真是AI圈久违了的热闹一天啊！ 昨天刚被奥特曼发的那篇AI小作文搞得一头雾水，现在他这波操作的意图就呼之欲出了。 奥特曼想临门狙击的正是宿敌Google，更确切地说，是Google今天刚刚更新的两款升级版Gemini模型：Gemini-1.5-Pro-...
-
LongLLaMA 项目使用教程
LongLLaMA 项目使用教程 long_llamaLongLLaMA is a large language model capable of handling long contexts. It is based on OpenLLaMA and...
-
LongLLaMA：扩展上下文处理能力的大型语言模型
LongLLaMA：扩展上下文处理能力的大型语言模型 long_llamaLongLLaMA is a large language model capable of handling long contexts. It is based on Ope...
-
The Llama 3 Herd of Models
本文是LLM系列文章，针对《The Llama 3 Herd of Models》的翻译。 LLama3模型 摘要 1 引言 2 一般概述 3 预训练 3.1 预训练数据 3.1.1 网络数据管...
-
NVIDIA把Llama-3的上下文长度扩展16倍，长上下文理解能力超越GPT-4
在 Llama-3.1 模型发布之前，开源模型与闭源模型的性能之间一直存在较大的差距，尤其是在长上下文理解能力上。 大模型的上下文处理能力是指模型能够处理的输入和输出 Tokens 的总数。这个长度有一个限制，超过这个限制的内容会被模型忽略。一般而...
-
LLaMA3技术报告解读
前言 LLaMA系列算法是Meta公司发布的开源大模型。近期Meta公司又发布了LLaMA 3.1系列的模型，在这一系列模型中参数量最大的高达405B，上下文窗口多达128K个token。同时对模型进行了广泛的实证评估，发现在很多任务中，LLaMA 3...
-
【从Qwen2,Apple Intelligence Foundation,Gemma 2,Llama 3.1看大模型的性能提升之路】
从早期的 GPT 模型到如今复杂的开放式 LLM，大型语言模型 (LLM 的发展已经取得了长足的进步。最初，LLM 训练过程仅侧重于预训练，但后来扩展到包括预训练和后训练。后训练通常包括监督指令微调和校准，这是由 ChatGPT 推广的。 自 Chat...
-
检索生成(RAG) vs 长文本大模型：实际应用中如何选择？
编者按：大模型的上下文理解能力直接影响到 LLMs 在复杂任务和长对话中的表现。本期内容聚焦于两种主流技术：长上下文(Large Context Windows 和检索增强生成(RAG 。这两种技术各有何优势？在实际应用中，我们又该如何权衡选择？ 文章...
-
大模型格局变天：Llama3.1 诞生
前言 相信大家翘首企盼的都是同一个主角，Meta藏到现在的王牌、最被社区看好能直接叫板GPT-4o的新一代开源大模型—Llama 3.1系列，终于正式发布了。 鉴于4月公开的两个Llama 3小参数模型8B和70B表现不俗，令开发者们对*参数版本的强...
-
探索Llama 3.1：深入理解其多语言与长上下文处理能力
摘要 Llama 3.1，一款先进的语言模型，以其庞大的参数量和卓越的性能而闻名。本文将分析Llama 3.1在不同规模版本中—405B、70B和8B—的多语言处理能力和长上下文理解能力，探讨其在人工智能领域的应用潜力。 引言 随着人工智能技术的飞速...
-
Llama 3.1横空出世！开源巨无霸首次击溃闭源，全民GPT-4时代来临
新智元2024-07-24 12:30北京 编辑：编辑部 【新智元导读】大模型格局，再次一夜变天。Llama 3.1 405B重磅登场，在多项测试中一举超越GPT-4o和Claude 3.5 Sonnet。史上首次，开源模型击败当今最强闭源模型。小扎大...
-
开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory（五）
一、前言 本篇文章将使用LLaMA-Factory去高效微调QWen2系列模型，通过阅读本文，您将能够更好地掌握这些关键技术，理解其中的关键技术要点，并应用于自己的项目中。 二、术语介绍 2.1. LoRA微调 LoRA (Low...
-
探索中文大模型的新高度：Chinese-LLaMA-Alpaca-3
探索中文大模型的新高度：Chinese-LLaMA-Alpaca-3 Chinese-LLaMA-Alpaca-3中文羊驼大模型三期项目 (Chinese Llama-3 LLMs developed from Meta Llama 3项目地址:ht...
-
LLama 405B 技术报告解读
LLama 405B 技术报告解读 果然传的消息都是真的，meta在24号凌晨发布了llama 3的405B版本，这次还是做一个技术报告解读。 值得一提的是，在技术报告的开头，meta特意强调了一个 Managing complexity，大意是管控...
-
长上下文能力只是吹牛？最强GPT-4o正确率仅55.8%，开源模型不如瞎蒙
【新智元导读】当今的LLM已经号称能够支持百万级别的上下文长度，这对于模型的能力来说，意义重大。但近日的两项独立研究表明，它们可能只是在吹牛，LLM实际上并不能理解这么长的内容。 大数字一向吸引眼球。 千亿参数、万卡集群，——还有各大厂商一直在卷的超长上下...
-
GPT-4o mini突然上线！该换小模型赛道的OpenAI意欲何为？
ChatGPT 正式进入了“4”时代。 7月18日，OpenAI 官宣推出了GPT-3.5Turbo的替代品——GPT-4o mini，至此，ChatGPT的更新迭代又近了一步，来到了4字开头的时期。据了解，即日起，ChatGPT的免费用户，Plus用户以...
-
每日AIGC最新进展(46)：上海AI Lab发布多模态大模型InternLM-XComposer-2.5、阿里发布视频生成大模型EasyAnimate-V3、快手发布人像模型LivePortrait
Diffusion Models专栏文章汇总：入门与实战 InternLM-XComposer-2.5: A Versatile Large Vision Language Model Supporting Long-Contextual Input...
-
技术周刊 116 期：Visual Copilot、INP、Kimi 支持 200 万字上下文、Grok 开源、Figure 01、Open Sora 开源
美味值：????? 口味：话梅排骨 食堂技术周刊仓库地址：https://github.com/Geekhyt/weekly 大家好，我是童欧巴。欢迎来到前端食堂技术周刊，我们先来看下上周的技术资讯。 技术资讯 前端 Builder.io...
-
最火AI角色扮演流量已达谷歌搜索20%！每秒处理2万推理请求，Transformer作者公开优化秘诀
什么AI应用每秒处理20000个AI推理请求，达到2024年谷歌搜索流量的1/5? 答案是独角兽Character.ai，由Transformer作者Noam Shazeer（后面简称沙哥）创办。 刚刚，沙哥公布了推理优化独门秘诀，迅速引起业界热议。 具...
-
震撼发布 - 本地运行最强开源大模型Llama 3整合包，创作无限可能！
4月19日，全球科技、社交巨头Meta在官网，正式发布了开源大模型——Llama-3。为了让大家能更好地享受开源大模型带来的便利，今天Glen特地给大家制作并分享一个Llama-3-8B大模型整合包。 Llama 3简介 Meta本次开源了8B和7...
-
智谱AI宣布开源 GLM 第四代模型 GLM-4-9B
GLM 技术团队于2023年3月14日开源了 ChatGLM-6B，引起了广泛的关注和认可。随后又开源了 ChatGLM3-6B，开发者对 GLM 第四代模型的开源充满期待。经过近半年的探索工作，GLM 技术团队推出了第四代 GLM 系列开源模型:GLM-...
-
OpenAI把GPT-4原始版给了他们：研究不微调只靠提示词能走多远
除了OpenAI自己，居然还有别人能用上GPT-4-Base版？？ 也就是未经微调的预训练版，还不会对话聊天，只会补全句子的模型。 EPFL（瑞士洛桑联邦理工）团队申请到了访问权限，用于研究“上下文学习足以让大模型跟随指令吗？”。 也就是不用监督微调、...
-
英伟达新研究：上下文长度虚标严重，32K性能合格的都不多
无情戳穿“长上下文”大模型的虚标现象—— 英伟达新研究发现，包括GPT-4在内的10个大模型，生成达到128k甚至1M上下文长度的都有。 但一番考验下来，在新指标“有效上下文”上缩水严重，能达到32K的都不多。 新基准名为RULER，包含检索、多跳追踪、...
-
【AIGC调研系列】XTuner、Unsloth方案对比
XTuner和Unsloth都是用于大型语言模型（LLM）训练和微调的工具，但它们在设计理念、技术实现和性能表现上存在一些差异。 技术架构与支持的模型规模： XTuner支持千亿级参数的模型，并能够处理超过百万个tokens的序列。它通过序列...
-
六位一线AI工程师总结爆火！大模型应用摸爬滚打一年心得公开，网友：全程高能
六位一线AI工程师和创业者，把在大模型应用开发上摸爬滚打一整年的心得，全!分!享!了! （奇怪的六一儿童节大礼包出现了） 这篇干货长文，一时间成为开发者社区热议的话题。 有网友评价为，大模型领域少有的“有操作性”的实用见解，非常值得一读。 这6位作者来...
-
LLMs之LLaMA-3：Llama-3-70B-Gradient-1048k-adapter的简介、源代码解读merge_adapters.py(仅需58行代码)合并多个PEFT模型(LoRA技术)
LLMs之LLaMA-3：Llama-3-70B-Gradient-1048k-adapter的简介、源代码解读merge_adapters.py(仅需58行代码 合并多个PEFT模型(LoRA技术 将LLaMA-3扩展到100万/1048k上下文——解析...
-
硅谷有了自己的鲁迅！AI大佬LeCun连续暴走，从马斯克到OpenAI，全被怼了个遍
当地时间 5 月 26 日，马斯克旗下的人工智能初创公司xAI宣布完成B轮 60 亿美元融资。主要的投资者包括 Valor Equity Partners、Vy Capital、Andreessen Horowitz、红杉资本等。 xAI2023 年 7...
-
英伟达赢麻了！马斯克xAI超级算力工厂曝光，10万块H100、数十亿美元
最近几年，随着大语言模型的飞速发展与迭代，科技巨头们都竞相投入巨额财力打造超级计算机（或大规模 GPU 集群）。他们认为，更强大的计算能力是实现更强大 AI 的关键。 早在 2022 年，Meta 即宣布与英伟达共同打造大型 AI 研究超级计算机「AI...
-
除了RAG，还有这五种方法消除大模型幻觉
出品 | 51CTO技术栈（微信号：blog51cto） 众所周知，LLM会产生幻觉——即生成不正确、误导性或无意义的信息。 有意思的是，一些人，如OpenAI的CEO Sam Altman，将AI的幻觉视为创造力，而另一些人则认为幻觉可能有助于做出新...
-
拯救被「掰弯」的GPT-4！西交微软北大联合提出IN2训练治疗LLM「中间迷失」
【新智元导读】近日，西交微软北大联合提出信息密集型训练大法，使用纯数据驱动的方式，矫正LLM训练过程产生的偏见，在一定程度上治疗了大语言模型丢失中间信息的问题。 辛辛苦苦给大语言模型输入了一大堆提示，它却只记住了开头和结尾? 这个现象叫做LLM的中间迷失（...
-
谷歌Gemini 1.5技术报告：轻松证明奥数题，Flash版比GPT-4 Turbo快5倍
今年 2 月，谷歌上线了多模态大模型 Gemini1.5，通过工程和基础设施优化、MoE 架构等策略大幅提升了性能和速度。拥有更长的上下文，更强推理能力，可以更好地处理跨模态内容。 本周五，Google DeepMind 正式发布了 Gemini 1.5...
-
谷歌数学版Gemini解开奥赛难题，堪比人类数学家！
四个月的迭代，让Gemini 1.5 Pro成为了全球最强的LLM（几乎）。 谷歌I/O发布会上，劈柴宣布了Gemini 1.5 Pro一系列升级，包括支持更长上下文200k，超过35种语言。 与此同时，新成员Gemini 1.5 Flash推出，设计...
-
GPT-4o成全球网友新玩具，秒秒钟纸质原型转录初始HTML，网友：谷歌你是一点流量摊不上啊
好啊，不愧是OpenAI最新旗舰，打开各个社交软件，GPT-4o的上手测试都唰唰唰往我首页推。 请！看！ 这，就是用上GPT-4o，花不到30s时间，通过单个prompt把一个电子表格中的内容生成了完整的图表和统计分析。 在过去，在Excel里做这玩意儿...
-
谷歌推出新的 AI 模型 LearnLM，专注于教育领域
谷歌发布了它的新 AI 模型 LearnLM 将帮助学生解决作业问题。 LearnLM 是基于谷歌大型语言模型 Gemini 的一系列 AI 模型，旨在成为各个学科的专家，以不同的方式找到展示例子（如照片或视频），在学习过程中辅导学生，并激发学习的兴趣。谷...
-
谷歌正式发布Gemini 1.5 Flash大模型：轻量化、响应速度极快
快科技5月15日消息，今天凌晨，谷歌正式召开了I/O大会，宣布谷歌已全面进入Gemini时代。 在一年前的I/O大会上，谷歌才首次发布Gemini大模型，而今年大模型、AI等已经成为了绝对的主角，甚至连新版安卓都没提。 除了专业的Gemini 1.5 Pr...
-
Refuel AI 推出专为数据标注和清洗设计的开源语言模型 RefuelLLM-2
Refuel AI 最近宣布推出两个新版本的大型语言模型（LLM），RefuelLLM-2和 RefuelLLM-2-small，这两个模型专为数据标注、清洗和丰富任务而设计，旨在提高处理大规模数据集的效率。 RefuelLLM-2的主要特点包括: 自...
-
手机可跑，3.8B参数量超越GPT-3.5！微软发布Phi-3技术报告：秘密武器是洗干净数据
过去几年，借助Scaling Laws的魔力，预训练的数据集不断增大，使得大模型的参数量也可以越做越大，从五年前的数十亿参数已经成长到今天的万亿级，在各个自然语言处理任务上的性能也越来越好。 但Scaling Laws的魔法只能施加在「固定」的数据源上，...
-
超级智能体生命力觉醒！可自我更新的AI来了，妈妈再也不用担心数据瓶颈难题
哭死啊，全球狂炼大模型，一互联网的数据不够用，根本不够用。 训练模型搞得跟《饥饿游戏》似的，全球AI研究者，都在苦恼怎么才能喂饱这群数据大胃王。 尤其在多模态任务中，这一问题尤为突出。 一筹莫展之际，来自人大系的初创团队，用自家的新模型，率先在国内把“模...
-
【AIGC调研系列】kimi与其他AI助手相比的优势和劣势是什么
Kimi与其他AI助手相比，具有以下优势和劣势： 优势： 服务稳定性：Kimi的服务在境内，使用稳定[2]。 多客户端支持：支持网页、APP、小程序等多个客户端，提高了用户的使用便捷性[2][4]。 中文处理能力：Kimi在中文处理方面表现出色...
-
「有效上下文」提升20倍！DeepMind发布ReadAgent框架
想了解更多AIGC的内容， 请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 基于Transformer的大语言模型（LLM）具有很强的语言理解能力，但LLM一次能够读取的文本量仍然受到极大限制。 除了上下文窗口...
-
首个开源世界模型！百万级上下文，长视频理解吊打GPT-4，UC伯克利华人一作
想了解更多AIGC的内容， 请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 首个开源「世界模型」来了！ 来自UC berkeley的研究人员发布并开源了LWM（LargeWorldModel）系列模型： 论文...
-
OpenAI竞对用256轮对话「灌醉」大模型，Claude被骗造出炸弹！
大模型又被曝出安全问题？ 这次是长上下文窗口的锅！ 今天，Anthropic发表了自己的最新研究：如何绕过LLM的安全限制？一次越狱不够，那就多来几次！ 图片 论文地址：https://www-cdn.anthropic.com/af5633c94ed2...
-
多忽悠几次AI全招了！Anthropic警告：长上下文成越狱突破口，GPT羊驼Claude无一幸免
大模型厂商在上下文长度上卷的不可开交之际，一项最新研究泼来了一盆冷水—— Claude背后厂商Anthropic发现，随着窗口长度的不断增加，大模型的“越狱”现象开始死灰复燃。 无论是闭源的GPT-4和Claude2，还是开源的Llama2和Mistral...
-
LLM超长上下文查询-性能评估实战
在大型语言模型（LLM）的应用中，有几个场景需要以结构化的方式呈现数据，其中信息提取和查询分析是两个典型的例子。我们最近通过更新的文档和一个专门的代码仓库强调了信息提取的重要性。对于查询分析，我们同样更新了相关文档。在这些场景中，数据字段可能包括字符串、...
-
集体出走的Stability AI 发布全新代码大模型，3B以下性能最优，超越Code Llama和DeepSeek-Coder
Stability AI又有新动作！程序员又有危机了？ 3月26日，Stability AI推出了先进的代码语言模型Stable Code Instruct 3B，该模型是在Stable Code 3B的基础上进行指令调优的Code LM。 Stab...
-
大佬出走后首个发布！Stability官宣代码模型Stable Code Instruct 3B
大佬出走后，第一个模型来了！ 就在今天，Stability AI官宣了新的代码模型Stable Code Instruct 3B。 图片 要说Stability也是真的很神奇，首席执行官辞职了，Stable Diffusion其中几位作者也离开了，投资公...
-
AI21发布世界首个Mamba的生产级模型Jamba 支持256K上下文长度
AI21发布了世界首个Mamba的生产级模型:Jamba。这个模型采用了开创性的SSM-Transformer架构，具有52B参数，其中12B在生成时处于活动状态。Jamba结合了Joint Attention和Mamba技术，支持256K上下文长度。单个...
-
马斯克突然发布Grok 1.5！上下文长度飙升16倍和GPT-4齐平
快科技3月29日消息，就在刚刚，埃隆马斯克旗下的人工智能初创公司xAI宣布正式推出Grok-1.5，官方推送啥也没说，直接甩链接，主打一个字少事大”。 Grok-1.5有哪些升级呢，主要是两个方面： 1、长上下文理解 对于上下文窗口，Grok-1.5直接提...