-
谷歌反击:Project Astra正面硬刚GPT-4o、Veo对抗Sora、新版Gemini变革搜索
通用的 AI,能够真正日常用的 AI,不做成这样现在都不好意思开发布会了。 5 月 15 日凌晨,一年一度的「科技界春晚」Google I/O 开发者大会正式开幕。长达 110 分钟的主 Keynote 提到了几次人工智能?谷歌自己统计了一下: 是的,...
-
Llama-3的竞争对手来了——可运行在iPhone上的小体量高性能LLM模型Phi-3
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 简介 熟悉我的文章的读者可能还记得我以前报道《课本就是你所需要的一切》(https://medium.com/@mgunton7/th...
-
谷歌硬刚GPT-4o!60秒视频生成模型虽迟但到,上下文窗口达200万
OpenAI出手再次惊艳世界,谷歌果然坐不住了。 GPT-4o掀起的一片“AGI已至”的惊呼声中,刚刚,Google DeepMind首席执行官哈萨比斯亲自携谷歌版《Her》登场。 同样能会还有,不仅能几乎没有延迟地和人类流畅交流,通过摄像头,这个名为P...
-
微软让MoE长出多个头,大幅提升专家激活率
混合专家(MoE)是个好方法,支持着现在一些非常优秀的大模型,比如谷歌家的 Gemini 1.5 以及备受关注的 Mixtral 8x7B。 稀疏混合专家(SMoE)可在不显著增加训练和推理成本的前提下提升模型的能力。比如 Mixtral 8×7B 就是...
-
思维链不存在了?纽约大学最新研究:推理步骤可省略
红极一时的思维链技术,可能要被推翻了! 还在惊讶于大模型居然能够利用思维链分步骤思考? 还在苦于不会写思维链提示词? 来自纽约大学的研究人员表示:「没关系的,都一样」, 推理步骤不重要,不想写提示词也可以不写,用省略号代替就行了。 论文地址:https...
-
美国教授用2岁女儿训AI模型登Science!人类幼崽头戴相机训练全新AI
【新智元导读】为训练AI模型,纽约州立大学的一名教授Brenden Lake,竟让自己不到2岁女儿头戴相机收集数据!要知道,Meta训Llama3直接用了15万亿个token,如果Lake真能让AI模型学习人类幼崽,从有限的输入中学习,那LLM的全球数据荒...
-
大神Karpathy强推,分词领域必读:自动钓鱼让大模型“发疯”的token,来自Transformer作者创业公司
关于大模型分词(tokenization),大神Karpathy刚刚推荐了一篇必读新论文。 主题是:自动检测大模型中那些会导致“故障”的token。 图片 简单来说,由于大模型tokenizer的创建和模型训练是分开的,可能导致某些token在训练中很少...
-
百万tokens低至1元!大模型越来越卷了
在刚刚举行的 ICLR 2024 大会上,智谱AI的大模型技术团队公布了面向激动人心的AGI通用人工智能前景的三大技术趋势,同时预告了GLM的后续升级版本。 前天,智谱大模型开放平台(bigmodel.cn)上线了新的价格体系。入门级产品 GLM-3 T...
-
智谱 AI 上线大模型开放平台 bigmodel.cn
智谱 AI 上线大模型开放平台 bigmodel.cn ,该平台是一个集成了 GLM 系列大模型的平台。这些大模型包括企业版 GLM-4/4V、个人版 GLM-3Turbo、文本描述创作图像的 CogView-3、角色定制模型 CharacterGLM、中...
-
国产大模型:今天起,我们100万tokens只需1元!
昨天刚刚在顶会ICLR作为特邀演讲(Invited Talk)中“国内唯一”的大模型玩家智谱AI,今天又放出了一个好消息: 之前:0.005元 / 千tokens 现在:0.001元 / 千tokens 换算一下,就是1元=1000000tokens...
-
AI手机,活成产业“摇钱树”
早几年出现的折叠屏没能拯救颓势的手机市场,直接证据就是去年全球出货量依旧拉胯,同比下滑3.2%至11.7亿部,为近十年来最低。 好在Q4出现了些许回暖,全球和中国市场分别有8.5%和1.2%的同比增幅,尤其是后者,在连续同比下降10个季度后首次转正。 很难...
-
如何借助假设文档嵌入改进语义搜索?
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 本文介绍了如何使用简单的大语言模型(LLM 调用来显著改善语义搜索结果的质量。 找到合适的AI模型来构建工作流程很困难。由于不同平台上...
-
原作者带队,LSTM真杀回来了!
20 世纪 90 年代,长短时记忆(LSTM)方法引入了恒定误差选择轮盘和门控的核心思想。三十多年来,LSTM 经受住了时间的考验,并为众多深度学习的成功案例做出了贡献。然而,以可并行自注意力为核心 Transformer 横空出世之后,LSTM 自身所...
-
法国AI公司Mistral AI即将完成新融资 估值飙升至60亿美元
站长之家(ChinaZ.com)5月9日 消息:法国人工智能初创公司Mistral AI近日宣布即将达成一项新的融资协议,其估值高达60亿美元,较半年前翻了近三倍。这一成就不仅彰显了公司在人工智能领域的强大实力,也反映了市场对其未来发展潜力的高度认可。 回...
-
Deepseek-V2技术报告解读!全网最细!
深度求索Deepseek近日发布了v2版本的模型,沿袭了1月发布的 Deepseek-MoE(混合专家模型)的技术路线,采用大量的小参数专家进行建模,同时在训练和推理上加入了更多的优化。沿袭了一贯的作风,Deepseek对模型(基座和对话对齐版本)进行了...
-
港大开源图基础大模型OpenGraph 增强图学习泛化能力
香港大学数据智能实验室主任黄超团队开发了一款名为 OpenGraph 的图基础大模型,专注于在多种图数据集上进行零样本预测。该模型通过学习通用的图结构模式,仅通过前向传播即可对全新数据进行预测,有效缓解了图学习领域的数据饥荒问题。 关键特点: 强泛化能...
-
港大开源图基础大模型OpenGraph: 强泛化能力,前向传播预测全新数据
图学习领域的数据饥荒问题,又有能缓解的新花活了! OpenGraph,一个基于图的基础模型,专门用于在多种图数据集上进行零样本预测。 背后是港大数据智能实验室的主任Chao Huang团队,他们还针对图模型提出了提示调整技术,以提高模型对新任务的适应性。...
-
DeepSeek Chat:AI对话助手 - 使用教程与免费体验入口
DeepSeek Chat是什么? DeepSeek Chat,基于DeepSeek-V2 模型,是一款集成了 2 千亿参数量的MoE(Mixture of Experts)模型的AI技术产品。它在中文综合能力(AlignBench)和英文综合能力(MT-...
-
7262篇提交,ICLR 2024爆火,两篇国内论文获杰出论文提名
ICLR 全称为国际学习表征会议(International Conference on Learning Representations),今年举办的是第十二届,于 5 月 7 日至 11 日在奥地利维也纳展览会议中心举办。 在机器学习社区中,ICLR...
-
一块钱100万token,超强MoE模型开源,性能直逼GPT-4-Turbo
开源大模型领域,又迎来一位强有力的竞争者。 近日,探索通用人工智能(AGI)本质的 DeepSeek AI 公司开源了一款强大的混合专家 (MoE 语言模型 DeepSeek-V2,主打训练成本更低、推理更加高效。 项目地址:https://gi...
-
DeepSeek发布V2模型 GPT-4的性能白菜的价格
DeepSeek在开源MoE(Mixture of Experts)模型领域取得了重要进展,继今年1月份开源国内首个MoE模型后,现在发布了第二代MoE模型:DeepSeek-V2。这一新模型在多项性能评测中均展现出色的表现,与GPT-4等闭源模型竞争,同...
-
快3倍!Meta 违背经典模型结构,一次预测多个token,路径可行,大模型大幅提速指日可待!
编译|伊风 出品 | 51CTO技术栈(微信号:blog51cto) 众所周知,LLMs的工作原理是对下一个token进行预测。 读者朋友们有没有曾这样想过:如果LLM一次预测n个token呢?那是不是就快n倍?Meta也是这样想的!并且付诸实践。 在最...
-
国产开源MoE指标炸裂:GPT-4级别能力,API价格仅百分之一
最新国产开源MoE大模型,刚刚亮相就火了。 DeepSeek-V2性能达GPT-4级别,但开源、可免费商用、API价格仅为GPT-4-Turbo的百分之一。 因此一经发布,立马引发不小讨论。 从公布的性能指标来看,DeepSeek-V2的中文综合能力超越...
-
Meta 发布新多token预测技术,使AI模型速度提升3倍
近期,Meta、Ecole des Ponts ParisTech 和 Université Paris-Saclay 的研究人员在一项研究中提出了一种改进 AI 大型语言模型(LLMs)准确性和速度的方法,即通过同时预测多个token。这与自回归语言模型...
-
全球最强开源 MoE 模型来了,中文能力比肩 GPT-4,价格仅为 GPT-4-Turbo 的近百分之一
想象一下,一个人工智能模型,不仅拥有超越传统计算的能力,还能以更低的成本实现更高效的性能。这不是科幻,DeepSeek-V2[1],全球最强开源 MoE 模型来了。 DeepSeek-V2 是一个强大的专家混合(MoE)语言模型,具有训练经济、推理高效...
-
联发科天玑 9300+ 处理器发布 支持Llama27B端侧大模型运行
在今日上午的MediaTek天玑开发者大会MDDC2024上,备受瞩目的天玑9300++旗舰处理器终于揭开了神秘的面纱。这款处理器的CPU架构精心布局,融合了1个高达3.40GHz的Cortex-X4核心,3个2.85GHz的核心,以及4个2.00GHz的...
-
手机可跑,3.8B参数量超越GPT-3.5!微软发布Phi-3技术报告:秘密武器是洗干净数据
过去几年,借助Scaling Laws的魔力,预训练的数据集不断增大,使得大模型的参数量也可以越做越大,从五年前的数十亿参数已经成长到今天的万亿级,在各个自然语言处理任务上的性能也越来越好。 但Scaling Laws的魔法只能施加在「固定」的数据源上,...
-
微调大语言模型的七个步骤
译者 | 布加迪 审校 | 重楼 在最近一年半的时间里,自然语言处理(NLP)领域发生了显著的变化,这主要得益于OpenAI的GPT系列等大语言模型(LLM)的兴起。 这些功能强大的模型已彻底改变了我们处理自然语言任务的方法,在翻译、情绪分析和文本自动...
-
AI学会隐藏思维暗中推理!不依赖人类经验解决复杂任务,更黑箱了
AI做数学题,真正的思考居然是暗中“心算”的? 纽约大学团队新研究发现,即使不让AI写步骤,全用无意义的“……”代替,在一些复杂任务上的表现也能大幅提升! 一作Jacab Pfau表示:只要花费算力生成额外token就能带来优势,具体选择了什么token无...
-
专利大模型的实践与知识问答探索
一、专利大模型背景介绍 智慧芽一直致力于为科技创新和知识产权领域提供信息服务。在小型模型时代(如 Bert),参数量较少,智能理解方面存在局限性。因此,在着手开发大模型之前,智慧芽深入思考了领域聚焦的重要性。在知识产权领域,专利检索、专利对比、标引工作...
-
Meta训AI,成本已超阿波罗登月!谷歌豪言投资超千亿美元,赛过OpenAI星际之门
【新智元导读】近日访谈中,LeCun亲口证实:Meta为购入英伟达GPU已经花费了300亿美元,成本超过阿波罗登月。相比之下,微软和OpenAI打造的星际之门耗资1000亿美元,谷歌DeepMind CEO Hassabis则放出豪言:谷歌投入的,比这个数...
-
Llama 3细节公布!AI产品总监站台讲解:Llama系列超庞大生态系统
除了计算资源和训练数据这些硬实力外,Llama3模型开源的训练思路覆盖了LLM模型的全部生命周期,提供了各种开源生态系统下的工具。 Llama3的开源,再次掀起了一场大模型的热战,各家争相测评、对比模型的能力,也有团队在进行微调,开发衍生模型。 最近,M...
-
小红书让智能体们吵起来了!联合复旦推出大模型专属群聊工具
语言,不仅仅是文字的堆砌,更是表情包的狂欢,是梗的海洋,是键盘侠的战场(嗯?哪里不对)。 语言如何塑造我们的社会行为? 我们的社会结构又是如何在不断的言语交流中演变的? 近期,来自复旦大学和小红书的研究者们通过引入一种名为AgentGroupChat的...
-
OpenAI神秘搞事,GPT-4.5默默上线?推理碾压GPT-4网友震惊,奥特曼笑而不语
【新智元导读】就在昨夜,整个AI社区都被一个神秘大模型震撼到了:它名为gpt2-chatbot,性能直接超越很多开源模型和GPT-4!网友们展开猜测,有说它是GPT-4.5的,有说是GPT-5的,还有人猜它是GPT-4+Q*,或GPT-2+Q*。奥特曼也卖...
-
LLM和RAG技术的比较探索
作者 | Ashok Gorantla 整理 | 言征 出品 | 51CTO技术栈(微信号:blog51cto) 在人工智能(AI)的动态环境中,两种开创性的技术——大型语言模型(LLM)和检索增强生成(RAG)——在理解和生成类人文本方面脱颖而出。本...
-
神秘大模型一夜刷屏,能力太强被疑GPT-4.5,奥特曼避而不答打哑谜
一夜之间,大模型话题王,再次易主。 一个神秘模型突然杀入众人视野,能力超越一众开源模型,甚至包括GPT-4。几乎所有人都在谈论它,服务器都被挤爆了。 它就是“gpt2-chatbot”。 (注意啊,是gpt2不是GPT-2) 它有多强? IMO国际数学...
-
“地表最强”文生视频模型?Sora 背后有何秘密?
自 2022 年底 ChatGPT 的横空出世,人工智能再度成为全世界的焦点,基于大语言模型(LLM)的 AI 更是人工智能领域的“当红炸子鸡”。此后的一年,我们见证了 AI 在文生文、文生图领域的飞速进展,但在文生视频领域发展相对较慢。而在 2024 年...
-
终局之战!OpenAI Sora大佬专访:AI视频模型仍处在GPT-1时代
【新智元导读】Sora一出,谁与争锋!近日,Sora团队的三位负责人Aditya Ramesh、Tim Brooks和Bill Peebles接受了采访,解读了Sora在模拟现实、预测结果和丰富人类体验等方面带来的变革。 对于视频生成领域,大家一致的看法就...
-
Llama 3低比特量化性能下降显著!全面评估结果来了 | 港大&北航&ETH
大模型力大砖飞,让LLaMA3演绎出了新高度: 超15T Token数据上的超大规模预训练,既实现了令人印象深刻的性能提升,也因远超Chinchilla推荐量再次引爆开源社区讨论。 与此同时,在实际应用层面上,另一个热点话题也浮出水面: 资源有限场景下...
-
震撼!GPT-4 Turbo级国产大模型登场,周冠宇F1赛事数据秒分析惊呆国际大佬
中国的大模型,已经震惊了外国科技圈。 这不,这几天商量大模型的更新,直接让外国网友惊呼:太疯狂了,中国的AI界究竟还有多少我们不知道的巨变? 不怪这些网友太大惊小怪——最近全新升级的日日新·商量大模型5.0(SenseChat V5),在基础能力上再次重...
-
流量回放平台 AREX 在携程的大规模落地实践
作者简介 携程AREX团队,机票质量工程组,主要负责开发自动化测试工具和技术,以提升质量和能效。 导语 AREX 是一款由携程开源的流量回放平台,孵化于机票BU内部。聚焦录制回放核心链路的建设,从基础方案建设到核心事业线的深入落地验证,在集团复杂业务场...
-
股价飙升!商汤大模型挑战GPT4
4月24日,商汤集团在港交所暂停交易前股价上涨31.15%。商汤集团表示,其大模型日日新5.0发布会受到市场极大关注,公司将进一步刊发相关公告。在“2024年商汤技术交流日”上,商汤发布了其最新的大模型——SenseNova5.0,旨在追赶GPT-4,这反...
-
揭秘腾讯混元大模型:400+场景落地,协作SaaS产品全面接入
进入2024,大模型的风向变了。 当初“百模大战”时,只要简单粗暴拿个Demo搞MaaS(模型即服务),也就是让用户直接和大模型交互就足以上牌桌。 但现在,精耕细作搞应用,无论是原生AI应用,还是在已有产品上整合AI功能,成了最新潮流趋势。 就连一向低调神...
-
GPT-4现场被端侧小模型“暴打”,商汤日日新5.0:全面对标GPT-4 Turbo
够刺激,GPT-4竟然当众被“揍”了,甚至连还手的机会都没有: 是的,就是在一场《街头霸王》游戏现场PK中,发生了这样的名场面。 而且二者还是不在一个“重量级”的那种: 绿人:由GPT-4操纵 红人:由一个端侧小模型操纵 那么这位又小又彪悍的选...
-
谷歌Gemini vs ChatGPT:Gemini比ChatGPT更胜一筹吗?
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 谷歌Gemini已进入了市场,它与OpenAI的ChatGPT相比具有多强的竞争力? 当微软大力资助的OpenAI于2022年11月推...
-
苹果卷开源大模型,公开代码、权重、数据集、训练全过程,OpenELM亮相
要说 ChatGPT 拉开了大模型竞赛的序幕,那么 Meta 开源 Llama 系列模型则掀起了开源领域的热潮。在这当中,苹果似乎掀起的水花不是很大。 不过,苹果最新放出的论文,我们看到其在开源领域做出的贡献。 近日,苹果发布了 OpenELM,共四种变...
-
这就是OpenAI神秘的Q*?斯坦福:语言模型就是Q函数
还记得去年 11 月底爆出来的 Q* 项目吗?这是传说中 OpenAI 正在秘密开展、或将带来颠覆性变革的 AI 项目。如果你想回忆一下,可参看机器之心当时的报道《全网大讨论:引爆 OpenAI 全员乱斗的 Q * 到底是什么?》简而言之,Q* 很可能是...
-
一文读懂 LLM 的构建模块:向量、令牌和嵌入
在当今信息爆炸的时代,我们不断面临着海量文本数据的挑战。为了有效地处理和理解这些数据,自然语言处理(NLP)领域的研究者们一直在不断探索和创新。而其中一个重要的研究方向就是语言模型(Language Model)。 在这篇文章中,我们将一起探索和理解...
-
挑战拯救痴心“舔狗”,我和大模型都尽力了
天降猛男,大模型化身为 “痴情男大”,等待人类玩家的拯救。 一款名为 “拯救舔狗” 的大模型原生小游戏出现了。 游戏规则很简单:如果玩家在几轮对话内说服 “他” 放弃追求对他并无青睐的女神,就算挑战成功。 听起来并不难,然而游戏源于生活,模型人设是痴情属...
-
微软3.8B模型媲美GPT-3.5!小到用iPhone就能跑起来,网友:Good data is all you need!
撰文、整理 | 伊风 出品 | 51CTO技术栈(微信号:blog51cto) 这周,“小模型”之战打得可谓精彩非凡,让人目不暇接。前脚,小扎刚在采访中自豪地宣布Llama3 80亿模型几乎与此前Llama2 700亿模型的性能差不多...