-
一块钱100万token，超强MoE模型开源，性能直逼GPT-4-Turbo
开源大模型领域，又迎来一位强有力的竞争者。 近日，探索通用人工智能（AGI）本质的 DeepSeek AI 公司开源了一款强大的混合专家 (MoE 语言模型 DeepSeek-V2，主打训练成本更低、推理更加高效。 项目地址：https://gi...
-
DeepSeek发布V2模型 GPT-4的性能白菜的价格
DeepSeek在开源MoE（Mixture of Experts）模型领域取得了重要进展，继今年1月份开源国内首个MoE模型后，现在发布了第二代MoE模型:DeepSeek-V2。这一新模型在多项性能评测中均展现出色的表现，与GPT-4等闭源模型竞争，同...
-
快3倍！Meta 违背经典模型结构，一次预测多个token，路径可行，大模型大幅提速指日可待！
编译|伊风 出品 | 51CTO技术栈（微信号：blog51cto） 众所周知，LLMs的工作原理是对下一个token进行预测。 读者朋友们有没有曾这样想过：如果LLM一次预测n个token呢？那是不是就快n倍？Meta也是这样想的！并且付诸实践。 在最...
-
国产开源MoE指标炸裂：GPT-4级别能力，API价格仅百分之一
最新国产开源MoE大模型，刚刚亮相就火了。 DeepSeek-V2性能达GPT-4级别，但开源、可免费商用、API价格仅为GPT-4-Turbo的百分之一。 因此一经发布，立马引发不小讨论。 从公布的性能指标来看，DeepSeek-V2的中文综合能力超越...
-
Meta 发布新多token预测技术，使AI模型速度提升3倍
近期，Meta、Ecole des Ponts ParisTech 和 Université Paris-Saclay 的研究人员在一项研究中提出了一种改进 AI 大型语言模型（LLMs）准确性和速度的方法，即通过同时预测多个token。这与自回归语言模型...
-
全球最强开源 MoE 模型来了，中文能力比肩 GPT-4，价格仅为 GPT-4-Turbo 的近百分之一
想象一下，一个人工智能模型，不仅拥有超越传统计算的能力，还能以更低的成本实现更高效的性能。这不是科幻，DeepSeek-V2[1]，全球最强开源 MoE 模型来了。 DeepSeek-V2 是一个强大的专家混合（MoE）语言模型，具有训练经济、推理高效...
-
联发科天玑 9300+ 处理器发布 支持Llama27B端侧大模型运行
在今日上午的MediaTek天玑开发者大会MDDC2024上，备受瞩目的天玑9300++旗舰处理器终于揭开了神秘的面纱。这款处理器的CPU架构精心布局，融合了1个高达3.40GHz的Cortex-X4核心，3个2.85GHz的核心，以及4个2.00GHz的...
-
手机可跑，3.8B参数量超越GPT-3.5！微软发布Phi-3技术报告：秘密武器是洗干净数据
过去几年，借助Scaling Laws的魔力，预训练的数据集不断增大，使得大模型的参数量也可以越做越大，从五年前的数十亿参数已经成长到今天的万亿级，在各个自然语言处理任务上的性能也越来越好。 但Scaling Laws的魔法只能施加在「固定」的数据源上，...
-
微调大语言模型的七个步骤
译者 | 布加迪 审校 | 重楼 在最近一年半的时间里，自然语言处理（NLP）领域发生了显著的变化，这主要得益于OpenAI的GPT系列等大语言模型（LLM）的兴起。 这些功能强大的模型已彻底改变了我们处理自然语言任务的方法，在翻译、情绪分析和文本自动...
-
AI学会隐藏思维暗中推理！不依赖人类经验解决复杂任务，更黑箱了
AI做数学题，真正的思考居然是暗中“心算”的? 纽约大学团队新研究发现，即使不让AI写步骤，全用无意义的“……”代替，在一些复杂任务上的表现也能大幅提升! 一作Jacab Pfau表示:只要花费算力生成额外token就能带来优势，具体选择了什么token无...
-
专利大模型的实践与知识问答探索
一、专利大模型背景介绍 智慧芽一直致力于为科技创新和知识产权领域提供信息服务。在小型模型时代（如 Bert），参数量较少，智能理解方面存在局限性。因此，在着手开发大模型之前，智慧芽深入思考了领域聚焦的重要性。在知识产权领域，专利检索、专利对比、标引工作...
-
Meta训AI，成本已超阿波罗登月！谷歌豪言投资超千亿美元，赛过OpenAI星际之门
【新智元导读】近日访谈中，LeCun亲口证实:Meta为购入英伟达GPU已经花费了300亿美元，成本超过阿波罗登月。相比之下，微软和OpenAI打造的星际之门耗资1000亿美元，谷歌DeepMind CEO Hassabis则放出豪言:谷歌投入的，比这个数...
-
Llama 3细节公布！AI产品总监站台讲解：Llama系列超庞大生态系统
除了计算资源和训练数据这些硬实力外，Llama3模型开源的训练思路覆盖了LLM模型的全部生命周期，提供了各种开源生态系统下的工具。 Llama3的开源，再次掀起了一场大模型的热战，各家争相测评、对比模型的能力，也有团队在进行微调，开发衍生模型。 最近，M...
-
小红书让智能体们吵起来了！联合复旦推出大模型专属群聊工具
语言，不仅仅是文字的堆砌，更是表情包的狂欢，是梗的海洋，是键盘侠的战场（嗯？哪里不对）。 语言如何塑造我们的社会行为？ 我们的社会结构又是如何在不断的言语交流中演变的？ 近期，来自复旦大学和小红书的研究者们通过引入一种名为AgentGroupChat的...
-
OpenAI神秘搞事，GPT-4.5默默上线？推理碾压GPT-4网友震惊，奥特曼笑而不语
【新智元导读】就在昨夜，整个AI社区都被一个神秘大模型震撼到了:它名为gpt2-chatbot，性能直接超越很多开源模型和GPT-4!网友们展开猜测，有说它是GPT-4.5的，有说是GPT-5的，还有人猜它是GPT-4+Q*，或GPT-2+Q*。奥特曼也卖...
-
LLM和RAG技术的比较探索
作者 | Ashok Gorantla 整理 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） 在人工智能（AI）的动态环境中，两种开创性的技术——大型语言模型（LLM）和检索增强生成（RAG）——在理解和生成类人文本方面脱颖而出。本...
-
神秘大模型一夜刷屏，能力太强被疑GPT-4.5，奥特曼避而不答打哑谜
一夜之间，大模型话题王，再次易主。 一个神秘模型突然杀入众人视野，能力超越一众开源模型，甚至包括GPT-4。几乎所有人都在谈论它，服务器都被挤爆了。 它就是“gpt2-chatbot”。 （注意啊，是gpt2不是GPT-2） 它有多强？ IMO国际数学...
-
“地表最强”文生视频模型？Sora 背后有何秘密？
自 2022 年底 ChatGPT 的横空出世，人工智能再度成为全世界的焦点，基于大语言模型（LLM）的 AI 更是人工智能领域的“当红炸子鸡”。此后的一年，我们见证了 AI 在文生文、文生图领域的飞速进展，但在文生视频领域发展相对较慢。而在 2024 年...
-
终局之战！OpenAI Sora大佬专访：AI视频模型仍处在GPT-1时代
【新智元导读】Sora一出，谁与争锋!近日，Sora团队的三位负责人Aditya Ramesh、Tim Brooks和Bill Peebles接受了采访，解读了Sora在模拟现实、预测结果和丰富人类体验等方面带来的变革。 对于视频生成领域，大家一致的看法就...
-
Llama 3低比特量化性能下降显著！全面评估结果来了 | 港大&北航&ETH
大模型力大砖飞，让LLaMA3演绎出了新高度： 超15T Token数据上的超大规模预训练，既实现了令人印象深刻的性能提升，也因远超Chinchilla推荐量再次引爆开源社区讨论。 与此同时，在实际应用层面上，另一个热点话题也浮出水面： 资源有限场景下...
-
震撼！GPT-4 Turbo级国产大模型登场，周冠宇F1赛事数据秒分析惊呆国际大佬
中国的大模型，已经震惊了外国科技圈。 这不，这几天商量大模型的更新，直接让外国网友惊呼:太疯狂了，中国的AI界究竟还有多少我们不知道的巨变? 不怪这些网友太大惊小怪——最近全新升级的日日新·商量大模型5.0（SenseChat V5），在基础能力上再次重...
-
流量回放平台 AREX 在携程的大规模落地实践
作者简介 携程AREX团队，机票质量工程组，主要负责开发自动化测试工具和技术，以提升质量和能效。 导语 AREX 是一款由携程开源的流量回放平台，孵化于机票BU内部。聚焦录制回放核心链路的建设，从基础方案建设到核心事业线的深入落地验证，在集团复杂业务场...
-
股价飙升！商汤大模型挑战GPT4
4月24日，商汤集团在港交所暂停交易前股价上涨31.15%。商汤集团表示，其大模型日日新5.0发布会受到市场极大关注，公司将进一步刊发相关公告。在“2024年商汤技术交流日”上，商汤发布了其最新的大模型——SenseNova5.0，旨在追赶GPT-4，这反...
-
揭秘腾讯混元大模型：400+场景落地，协作SaaS产品全面接入
进入2024，大模型的风向变了。 当初“百模大战”时，只要简单粗暴拿个Demo搞MaaS（模型即服务），也就是让用户直接和大模型交互就足以上牌桌。 但现在，精耕细作搞应用，无论是原生AI应用，还是在已有产品上整合AI功能，成了最新潮流趋势。 就连一向低调神...
-
GPT-4现场被端侧小模型“暴打”，商汤日日新5.0：全面对标GPT-4 Turbo
够刺激，GPT-4竟然当众被“揍”了，甚至连还手的机会都没有： 是的，就是在一场《街头霸王》游戏现场PK中，发生了这样的名场面。 而且二者还是不在一个“重量级”的那种： 绿人：由GPT-4操纵 红人：由一个端侧小模型操纵 那么这位又小又彪悍的选...
-
谷歌Gemini vs ChatGPT：Gemini比ChatGPT更胜一筹吗？
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 谷歌Gemini已进入了市场，它与OpenAI的ChatGPT相比具有多强的竞争力？ 当微软大力资助的OpenAI于2022年11月推...
-
苹果卷开源大模型，公开代码、权重、数据集、训练全过程，OpenELM亮相
要说 ChatGPT 拉开了大模型竞赛的序幕，那么 Meta 开源 Llama 系列模型则掀起了开源领域的热潮。在这当中，苹果似乎掀起的水花不是很大。 不过，苹果最新放出的论文，我们看到其在开源领域做出的贡献。 近日，苹果发布了 OpenELM，共四种变...
-
这就是OpenAI神秘的Q*？斯坦福：语言模型就是Q函数
还记得去年 11 月底爆出来的 Q* 项目吗？这是传说中 OpenAI 正在秘密开展、或将带来颠覆性变革的 AI 项目。如果你想回忆一下，可参看机器之心当时的报道《全网大讨论：引爆 OpenAI 全员乱斗的 Q * 到底是什么？》简而言之，Q* 很可能是...
-
一文读懂 LLM 的构建模块：向量、令牌和嵌入
在当今信息爆炸的时代，我们不断面临着海量文本数据的挑战。为了有效地处理和理解这些数据，自然语言处理（NLP）领域的研究者们一直在不断探索和创新。而其中一个重要的研究方向就是语言模型（Language Model）。 在这篇文章中，我们将一起探索和理解...
-
挑战拯救痴心“舔狗”，我和大模型都尽力了
天降猛男，大模型化身为 “痴情男大”，等待人类玩家的拯救。 一款名为 “拯救舔狗” 的大模型原生小游戏出现了。 游戏规则很简单:如果玩家在几轮对话内说服 “他” 放弃追求对他并无青睐的女神，就算挑战成功。 听起来并不难，然而游戏源于生活，模型人设是痴情属...
-
微软3.8B模型媲美GPT-3.5！小到用iPhone就能跑起来，网友：Good data is all you need!
撰文、整理 | 伊风 出品 | 51CTO技术栈（微信号：blog51cto） 这周，“小模型”之战打得可谓精彩非凡，让人目不暇接。前脚，小扎刚在采访中自豪地宣布Llama3 80亿模型几乎与此前Llama2 700亿模型的性能差不多...
-
全面对标GPT-4 Turbo！商汤发布日日新5.0大模型
快科技4月23日消息，商汤科技在中国北京举行新品发布会，正式发布人工智能大模型日日新5.0”。 日日新5.0大模型采用了先进的MOE（Mixture of Experts）混合专家架构，这一架构的引入，使得模型在处理复杂任务时能够表现出更高的效率和准确性。...
-
微软推出iPhone能跑的ChatGPT级模型，网友：OpenAI得把GPT-3.5淘汰了
Llama 3发布刚几天，微软就出手截胡了？ 刚刚发布的Phi-3系列小模型技术报告，引起AI圈热议。 其中仅3.8B参数的Phi-3-mini在多项基准测试中超过了Llama 3 8B。 为了方便开源社区使用，还特意设计成了与Llama系列兼容的结...
-
大模型一对一战斗75万轮，GPT-4夺冠，Llama 3位列第五
关于Llama 3，又有测试结果新鲜出炉—— 大模型评测社区LMSYS发布了一份大模型排行榜单，Llama 3位列第五，英文单项与GPT-4并列第一。 图片 不同于其他Benchmark，这份榜单的依据是模型一对一battle，由全网测评者自行命题并打分...
-
微软发布iPhone可运行的ChatGPT级AI模型Phi-3系列 挑战OpenAI地位
近日，微软推出了一款名为Phi-3系列的小型AI模型，该模型在AI领域引起了广泛关注。Phi-3系列中的Phi-3-mini模型，仅拥有3.8B参数，却在多项基准测试中超越了拥有8B参数的Llama3模型。 微软特别强调，经过4bit量化处理的Phi-3-...
-
开箱黑盒LLM！谷歌大一统框架Patchscopes实战教程来了
虽然大型语言模型（LLM）在各种常见的自然语言处理任务中展现出了优异的性能，但随之而来的幻觉，也揭示了模型在真实性和透明度上仍然存在问题。 在模型生成错误回复内容时，如果能够「深入理解其背后运行机制」，或许可以解决模型的幻觉问题。 然而，随着深度神经网络...
-
领域模型生产指南
领域模型脱胎于通用大模型，两者有相似之处，但通用大模型在训练时使用的是通识数据集，缺少领域知识，导致企业在应用过程中会发现一些问题。比如，如果我们要做一个滴普科技的智能问答机器人，但通用大模型并没有学习到滴普科技的各种产品信息，缺少先验知识。 目前这个问...
-
AI PC，是联想们的销量解药吗？
4月16日，AMD推出了适用于商用笔记本电脑和台式机的AI芯片;英特尔去年底就推出了Core Ultra芯片，今年还计划推出新一代英特尔酷睿Ultra客户端处理器家族，并预计年出货4000万台AI PC。 随着全球芯片制造商的AI技术越来越成熟，不断推出新...
-
开源模型打败GPT-4！LLM竞技场最新战报，Cohere Command R+上线
GPT-4又又又被超越了！ 近日，LLM竞技场更新了战报，人们震惊地发现：居然有一个开源模型干掉了GPT-4！ 这就是Cohere在一周多前才发布的Command R+。 排行榜地址：https://huggingface.co/spaces/lmsy...
-
Llama 3每秒输出800个token逼宫openAI！下周奥特曼生日或放出GPT-5？
【新智元导读】Llama3的开源，或将催生数十亿美元新产业。发布不到一周的时间，全网各种测试微调都开启了。甚至，Llama3在Groq上的输出速度实现了每秒800个token。 Llama3诞生之后便艳压群雄，开源界已无「模」能敌。 甚至，让网友为Open...
-
GPT-4化身黑客搞破坏，成功率87%，OpenAI要求保密提示词，网友复现ing
91行代码、1056个token，GPT-4化身黑客搞破坏! 测试成功率达87%，单次成本仅8.8美元（折合人民币约63元）。 这就是来自伊利诺伊大学香槟分校研究团队的最新研究。他们设计了一个黑客智能体框架，研究了包括GPT-4、GPT-3.5和众多开源模...
-
GPT-4化身黑客搞破坏，成功率87%！OpenAI要求保密提示词，网友复现ing
91行代码、1056个token，GPT-4化身黑客搞破坏! 测试成功率达87%，单次成本仅8.8美元（折合人民币约63元）。 这就是来自伊利诺伊大学香槟分校研究团队的最新研究。他们设计了一个黑客智能体框架，研究了包括GPT-4、GPT-3.5和众多开源模...
-
4000万蛋白结构训练，西湖大学开发基于结构词表的蛋白质通用大模型，已开源
蛋白质结构相比于序列往往被认为更加具有信息量，因为其直接决定了蛋白质的功能。而随着AlphaFold2带来的巨大突破，大量的预测结构被发布出来供人研究使用。如何利用这些蛋白质结构来训练强大且通用的表征模型是一个值得研究的方向。 西湖大学的研究人员利用Fo...
-
Mixtral：数据流中的生成式稀疏专家混合模型
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ Cloudera公司数据流首席工程师Tim Spann 表示，Mixtral-8x7B大型语言模型(LLM 是一个预先训练的生成式稀疏...
-
开源模型打败GPT-4！LLM竞技场最新战报，Cohere Command R+上线
GPT-4又又又被超越了! 近日，LLM竞技场更新了战报，人们震惊地发现:居然有一个开源模型干掉了GPT-4! 这就是Cohere在一周多前才发布的Command R+。 排行榜地址:https://huggingface.co/spaces/lmsys...
-
Llama3突然来袭！开源社区再次沸腾：GPT4级模型自由访问时代到来
Llama 3来了！ 就在刚刚，Meta官网上新，官宣了Llama 3 80亿和700亿参数版本。 并且推出即为开源SOTA： Meta官方数据显示，Llama 3 8B和70B版本在各自参数规模上超越一众对手。 8B模型在MMLU、GPQA、Huma...
-
以自组织映射算法促进高效的LLM检索增强生成
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 背景 当今社会，人们使用大量数据训练包含数百万和数十亿模型参数的大型语言模型（LLM），目标是生成文本，如文本完成、文本摘要、语言翻译...
-
六种方式快速体验最新发布的 Llama 3！
昨晚， Meta 发布了 Llama 3 8B 和 70B 模型，Llama 3 指令调整模型针对对话/聊天用例进行了微调和优化，在常见基准测试中优于许多现有的开源聊天模型。比如，Gemma 7B 和 Mistral 7B。 Llama 3 模型将...
-
自回归超越扩散！北大、字节 VAR 范式解锁视觉生成 Scaling Law
新一代视觉生成范式「VAR: Visual Auto Regressive」视觉自回归来了！使 GPT 风格的自回归模型在图像生成首次超越扩散模型，并观察到与大语言模型相似的 Scaling Laws 缩放定律、Zero-shot Task General...
-
RAG 2.0架构详解：构建端到端检索增强生成系统
关于检索增强生成（RAG）的文章已经有很多了，如果我们能创建出可训练的检索器，或者说整个RAG可以像微调大型语言模型（LLM）那样定制化的话，那肯定能够获得更好的结果。但是当前RAG的问题在于各个子模块之间并没有完全协调，就像一个缝合怪一样，虽然能够工作...