-
全面对标GPT-4 Turbo!商汤发布日日新5.0大模型
快科技4月23日消息,商汤科技在中国北京举行新品发布会,正式发布人工智能大模型日日新5.0”。 日日新5.0大模型采用了先进的MOE(Mixture of Experts)混合专家架构,这一架构的引入,使得模型在处理复杂任务时能够表现出更高的效率和准确性。...
-
微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了
Llama 3发布刚几天,微软就出手截胡了? 刚刚发布的Phi-3系列小模型技术报告,引起AI圈热议。 其中仅3.8B参数的Phi-3-mini在多项基准测试中超过了Llama 3 8B。 为了方便开源社区使用,还特意设计成了与Llama系列兼容的结...
-
大模型一对一战斗75万轮,GPT-4夺冠,Llama 3位列第五
关于Llama 3,又有测试结果新鲜出炉—— 大模型评测社区LMSYS发布了一份大模型排行榜单,Llama 3位列第五,英文单项与GPT-4并列第一。 图片 不同于其他Benchmark,这份榜单的依据是模型一对一battle,由全网测评者自行命题并打分...
-
微软发布iPhone可运行的ChatGPT级AI模型Phi-3系列 挑战OpenAI地位
近日,微软推出了一款名为Phi-3系列的小型AI模型,该模型在AI领域引起了广泛关注。Phi-3系列中的Phi-3-mini模型,仅拥有3.8B参数,却在多项基准测试中超越了拥有8B参数的Llama3模型。 微软特别强调,经过4bit量化处理的Phi-3-...
-
开箱黑盒LLM!谷歌大一统框架Patchscopes实战教程来了
虽然大型语言模型(LLM)在各种常见的自然语言处理任务中展现出了优异的性能,但随之而来的幻觉,也揭示了模型在真实性和透明度上仍然存在问题。 在模型生成错误回复内容时,如果能够「深入理解其背后运行机制」,或许可以解决模型的幻觉问题。 然而,随着深度神经网络...
-
领域模型生产指南
领域模型脱胎于通用大模型,两者有相似之处,但通用大模型在训练时使用的是通识数据集,缺少领域知识,导致企业在应用过程中会发现一些问题。比如,如果我们要做一个滴普科技的智能问答机器人,但通用大模型并没有学习到滴普科技的各种产品信息,缺少先验知识。 目前这个问...
-
AI PC,是联想们的销量解药吗?
4月16日,AMD推出了适用于商用笔记本电脑和台式机的AI芯片;英特尔去年底就推出了Core Ultra芯片,今年还计划推出新一代英特尔酷睿Ultra客户端处理器家族,并预计年出货4000万台AI PC。 随着全球芯片制造商的AI技术越来越成熟,不断推出新...
-
开源模型打败GPT-4!LLM竞技场最新战报,Cohere Command R+上线
GPT-4又又又被超越了! 近日,LLM竞技场更新了战报,人们震惊地发现:居然有一个开源模型干掉了GPT-4! 这就是Cohere在一周多前才发布的Command R+。 排行榜地址:https://huggingface.co/spaces/lmsy...
-
Llama 3每秒输出800个token逼宫openAI!下周奥特曼生日或放出GPT-5?
【新智元导读】Llama3的开源,或将催生数十亿美元新产业。发布不到一周的时间,全网各种测试微调都开启了。甚至,Llama3在Groq上的输出速度实现了每秒800个token。 Llama3诞生之后便艳压群雄,开源界已无「模」能敌。 甚至,让网友为Open...
-
GPT-4化身黑客搞破坏,成功率87%,OpenAI要求保密提示词,网友复现ing
91行代码、1056个token,GPT-4化身黑客搞破坏! 测试成功率达87%,单次成本仅8.8美元(折合人民币约63元)。 这就是来自伊利诺伊大学香槟分校研究团队的最新研究。他们设计了一个黑客智能体框架,研究了包括GPT-4、GPT-3.5和众多开源模...
-
GPT-4化身黑客搞破坏,成功率87%!OpenAI要求保密提示词,网友复现ing
91行代码、1056个token,GPT-4化身黑客搞破坏! 测试成功率达87%,单次成本仅8.8美元(折合人民币约63元)。 这就是来自伊利诺伊大学香槟分校研究团队的最新研究。他们设计了一个黑客智能体框架,研究了包括GPT-4、GPT-3.5和众多开源模...
-
4000万蛋白结构训练,西湖大学开发基于结构词表的蛋白质通用大模型,已开源
蛋白质结构相比于序列往往被认为更加具有信息量,因为其直接决定了蛋白质的功能。而随着AlphaFold2带来的巨大突破,大量的预测结构被发布出来供人研究使用。如何利用这些蛋白质结构来训练强大且通用的表征模型是一个值得研究的方向。 西湖大学的研究人员利用Fo...
-
Mixtral:数据流中的生成式稀疏专家混合模型
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ Cloudera公司数据流首席工程师Tim Spann 表示,Mixtral-8x7B大型语言模型(LLM 是一个预先训练的生成式稀疏...
-
开源模型打败GPT-4!LLM竞技场最新战报,Cohere Command R+上线
GPT-4又又又被超越了! 近日,LLM竞技场更新了战报,人们震惊地发现:居然有一个开源模型干掉了GPT-4! 这就是Cohere在一周多前才发布的Command R+。 排行榜地址:https://huggingface.co/spaces/lmsys...
-
Llama3突然来袭!开源社区再次沸腾:GPT4级模型自由访问时代到来
Llama 3来了! 就在刚刚,Meta官网上新,官宣了Llama 3 80亿和700亿参数版本。 并且推出即为开源SOTA: Meta官方数据显示,Llama 3 8B和70B版本在各自参数规模上超越一众对手。 8B模型在MMLU、GPQA、Huma...
-
以自组织映射算法促进高效的LLM检索增强生成
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 背景 当今社会,人们使用大量数据训练包含数百万和数十亿模型参数的大型语言模型(LLM),目标是生成文本,如文本完成、文本摘要、语言翻译...
-
六种方式快速体验最新发布的 Llama 3!
昨晚, Meta 发布了 Llama 3 8B 和 70B 模型,Llama 3 指令调整模型针对对话/聊天用例进行了微调和优化,在常见基准测试中优于许多现有的开源聊天模型。比如,Gemma 7B 和 Mistral 7B。 Llama 3 模型将...
-
自回归超越扩散!北大、字节 VAR 范式解锁视觉生成 Scaling Law
新一代视觉生成范式「VAR: Visual Auto Regressive」视觉自回归来了!使 GPT 风格的自回归模型在图像生成首次超越扩散模型,并观察到与大语言模型相似的 Scaling Laws 缩放定律、Zero-shot Task General...
-
RAG 2.0架构详解:构建端到端检索增强生成系统
关于检索增强生成(RAG)的文章已经有很多了,如果我们能创建出可训练的检索器,或者说整个RAG可以像微调大型语言模型(LLM)那样定制化的话,那肯定能够获得更好的结果。但是当前RAG的问题在于各个子模块之间并没有完全协调,就像一个缝合怪一样,虽然能够工作...
-
全球首个「开源GPT-4」出世!Llama 3震撼发布,Meta AI免登录可用
LLM界的「真·Open AI」,又来整顿AI圈了! 业内惊呼:首个开源GPT-4级的模型,终于来了!开源模型追上闭源模型的历史性一刻,或许就在眼前了? 一石激起千层浪,Llama3才刚刚发布没几小时,就破纪录地登顶了Hugging Face排行榜。 这...
-
Meta 发布Llama 3,能力直逼GPT-4,一己之力拉高开源大模型水位
编辑|伊风、诺亚 出品 | 51CTO技术栈(微信号:blog51cto) Meta麾下“羊驼”一路狂奔在开源的大道上。 在过去的一年里,Llama系列可以说开辟了开源LLM的半壁江山。 嫌弃开源模型能力只有GPT-3.5,不够用? 如今Llam...
-
5亿个token之后,我们得出关于GPT的七条宝贵经验
自 ChatGPT 问世以来,OpenAI 一直被认为是全球生成式大模型的领导者。2023年3月,OpenAI 官方宣布,开发者可以通过 API 将 ChatGPT 和 Whisper 模型集成到他们的应用程序和产品中。在 GPT-4发布的同时 OpenA...
-
开源大模型Llama 3王者归来!最大底牌4000亿参数,性能直逼GPT-4
扎克伯格:「有了 Llama3,全世界就能拥有最智能的 AI。」 ChatGPT 拉开了大模型竞赛的序幕,Meta 似乎要后来居上了。 本周四,AI 领域迎来重大消息,Meta 正式发布了人们等待已久的开源大模型 Llama3。 扎克伯格在 Faceboo...
-
GPT-4 Turbo重回王座,ChatGPT免费升级!数学暴涨10%/上下文全面碾压
今天起,最新版的GPT-4 Turbo,正式向ChatGPT Plus用户开放了! 图片 有了GPT-4 Turbo加持后,ChatGPT写作、数学、逻辑推理和编码的能力得到提升。 小编小试,果然ChatGPT最新数据已经更新到了4月。 图片 根据基准测...
-
给AI当“奶妈”,是天涯们的生路吗?
老牌中文社区天涯已经住进“ICU”整整一年,破产看来已经注定,但最近一家美国同行搭上AI 快车的消息,又给天涯带来了一丝希望。 去年4月,因拖缴数据机房费用,天涯社区遭“断网”。 症结在缺钱。天涯社区称,危机来自于近几年资金流动性困难加剧,电信IDC欠费,...
-
OpenAI新GPT-4 Turbo模型上线:可供付费ChatGPT用户使用
快科技4月12日消息,据媒体报道,OpenAI的全新GPT-4 Turbo模型已全面上线,并正式向付费ChatGPT用户开放。 GPT-4 Turbo更新标志着人工智能领域的又一重要进步,为用户提供了更强大、更高效的文本处理、数学计算、逻辑推理以及编码能力...
-
一文搞懂Tokenization!
语言模型是对文本进行推理,文本通常是字符串形式,但是模型的输入只能是数字,因此需要将文本转换成数字形式。 Tokenization是NLP的基本任务,按照特定需求能把一段连续的文本序列(如句子、段落等)切分为一个字符串序列(如单词、短语、字符、标点等多个...
-
Next ’24 - 踏上云端新旅程
作者 | Google Cloud CEO, Thomas Kurian 去年,全世界才开始想象生成式 AI 将为企业带来怎样的转变,如今这些转变正在逐步展开。 而 Google 一直遵循着相同的原则:打造人人都能受益的 AI 技术,尽力为更多人带来更...
-
如何使用 Midjourney?2024年最新更新
一:基础篇 1:注册 首先,你需要注册一个 Discord 账号,然后加入 Midjourney 的 Discord 服务器。或者去 Midjourney 的官网点击右下角的 Join the Beta: 2:在 Discord 公共服务器里使...
-
谷歌向微软英特尔全面宣战:首款自研Arm CPU,最强大模型公测,AI视频对垒Sora
昨晚的Google Cloud Next2024大会上,谷歌接连放出一堆模型和产品王炸:Gemini1.5Pro公开可用、上线音频处理能力;代码模型CodeGemma上新,首款自研Arm处理器Axion正式向微软和亚马逊宣战……这次,谷歌要以量取胜。 昨天...
-
英特尔突袭英伟达H100,新AI芯片训练快40%,推理快50%,CEO蹦迪庆祝
英特尔,开始正面硬刚英伟达了。 就在深夜,英特尔CEO帕特·基辛格手舞足蹈地亮出了最新AI芯片——Gaudi 3: 他为什么开心到现场直接蹦迪? 看下Gaudi 3的性能结果,就一目了然了: 训练大模型:比英伟达H100快40% 推理大模型:比英伟...
-
全面突围,谷歌昨晚更新了一大波大模型产品
当地时间本周二,谷歌在 Google’s Cloud Next 2024 上发布了一系列 AI 相关的模型更新和产品,包括 Gemini 1.5 Pro 首次提供了本地音频(语音)理解功能、代码生成新模型 CodeGemma、首款自研 Arm 处理器 A...
-
陈巍:LLaMA-2的多模态版本架构与训练详解(收录于GPT-4/ChatGPT技术与产业分析)
陈巍:2023年9月,Meta的研究人员推出了AnyMAL(任意模态增强语言模型,Any-Modality Augmented Language Model)。该模型能够理解多种模态信号并生成文本回应,即多模态输入,单模态输出。输入的模态可包括图像、视频、...
-
万变不离AI!直击 Google Cloud Next 2024 大会更多细节,不只Gemini 1.5 Pro !
AI显然成了谷歌Cloud Next 2024的一条主线! 这一在拉斯维加斯举行的技术大会,自周二起持续至周四,谷歌宣布了大量新的以云为中心的产品和服务,涵盖从Gemin、平台、Workspace到网络安全工具等一切内容。 Google Cloud Ne...
-
Llama架构比不上GPT2?神奇token提升10倍记忆?
一个 7B 规模的语言模型 LLM 能存储多少人类知识?如何量化这一数值?训练时间、模型架构的不同将如何影响这一数值?浮点数压缩 quantization、混合专家模型 MoE、以及数据质量的差异 (百科知识 vs 网络垃圾 又将对 LLM 的知识容量...
-
大概是最全的开源大模型LLM盘点了吧!
LLM(Large Language Model, 大型语言模型 是指那些规模庞大、参数数量众多的深度神经网络模型,用于理解和生成自然语言文本。在自然语言处理(NLP)领域有着广泛的应用,因其强大的语言理解和生成能力,能够处理各种复杂的文本任务,包括但不...
-
JAVA项目接入百度文心一言文本对话功能
依赖 <dependency> <groupId>com.squareup.okhttp3</groupId> <artifactId>okh...
-
大模型在金融领域落地思路与实践
一、恒生电子的大模型应用实践 1. 大模型的发展趋势 (1)大模型推动第三次信息化浪潮 上图是恒生电子董事长刘曙峰先生经常引用的经典图,将金融领域的数字化推进分为三个阶段,恒生电子目前正处于 2.0 到 3.0 的过渡阶段。在迁徙的过程中,最重要的生产...
-
训出GPT-5短缺20万亿token!OpenAI被曝计划建「数据市场」
全网真的无数据可用了! 外媒报道称,OpenAl、Anthropic等公司正在努力寻找足够的信息,来训练下一代人工智能模型。 前几天,OpenAI和微软被曝出正在联手打造超算「星际之门」,解决算力难题。 然而,数据也是训练下一代强大模型,最重要的一味丹...
-
破解36年前魔咒!Meta推出反向训练大法消除大模型「逆转诅咒」
【新智元导读】大语言模型的「逆转诅咒」,被解开了。近日,来自Meta FAIR的研究人员推出了反向训练大法,让模型从反方向上学到了事实之间的逻辑,终于改进了这个困扰人们已久的问题。 大语言模型的「逆转诅咒」,被解开了! 这个诅咒在去年9月首次被发现,一时间...
-
纯C语言手搓GPT-2,前OpenAI、特斯拉高管新项目火了
众所周知,大语言模型还在快速发展,应该有很多可以优化的地方。我用纯 C 语言来写,是不是能优化一大截? 也许很多人开过这样的脑洞,现在有大佬实现了。 今天凌晨,前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy...
-
120亿Stable LM 2上线即开源!2万亿token训练,碾压Llama 2 70B
继16亿轻量级Stable LM 2推出之后,12B参数的版本在今天亮相了。 见状,不少网友纷纷喊话:干的漂亮!但,Stable Diffusion 3啥时候出啊? 总得来说,Stable LM 2 12B参数更多,性能更强。 120亿参数版本包含了...
-
五种常用于LLM的令牌遮蔽技术介绍以及Pytorch的实现
本文将介绍大语言模型中使用的不同令牌遮蔽技术,并比较它们的优点,以及使用Pytorch实现以了解它们的底层工作原理。 令牌掩码Token Masking是一种广泛应用于语言模型分类变体和生成模型训练的策略。BERT语言模型首先使用,并被用于许多变体(Ro...
-
解决AI接口调用问题,让电商更智能!
引言 各位亲爱的小米粉丝们,大家好! 随着时代的进步,人工智能(AI)技术正以前所未有的速度和规模发展,它已经深刻地改变了我们的生活和工作方式。在这个激动人心的时刻,我司也积极跟随时代的步伐,不断探索创新,努力实现与AI技术的融合,以提升我们电商服务的...
-
1000行C语言搓出GPT-2!AI大神Karpathy新项目刚上线就狂揽2.5k星
【新智元导读】训大模型的方法可能要被革新了!AI大神Karpathy发布的新项目仅用1000行的C语言训完GPT-2,而不再依赖庞大的GPT-2库。他本人预告,即将上线新课。 断更近一个月,Karpathy终于上线了。 这次不是AI大课,而是带来一个新项目...
-
破除36年前魔咒!Meta推出反向训练大法消除大模型「逆转诅咒」
大语言模型的「逆转诅咒」,被解开了! 这个诅咒在去年9月首次被发现,一时间引起LeCun、Karpathy、马库斯等一众大佬的惊呼。 因为风光无两、不可一世的大模型竟存在着“阿克琉斯之踵”:一个在「A是B」上训练的语言模型,并不能正确回答出「B是A」。...
-
大模型技术实践(二)|关于Llama 2你需要知道的那些事儿
在上期文章中,我们简要回顾了Llama模型的概况,本期文章我们将详细探讨【关于Llama 2】,你需要知道的那些事儿。 01-Llama 2的性能有多好? 作为Meta新发布的SOTA开源大型语言模型,Llama 2是Llama模型的延续和升级。Lla...
-
GPT-4推理能力为0?开发者悬赏1万美金被打脸,神秘提示正确率直冲100%
【新智元导读】小孩子都会的脑筋急转弯推理题,GPT-4和Claude3做不出?国外一位开发者小哥坚称这一观点,认为GPT模型在训练集外毫无推理能力,无法实现AGI,甚至悬赏1万美元,发起比赛。然而,他当天就被光速打脸了!网友用高能的prompt,让GPT-...
-
OpenAI计划建立「数据市场」,训出GPT-5短缺20万亿 token
全网高质量数据集告急!据报道,AI 公司如 OpenAI、Anthropic 等正在努力寻找足够的信息来训练下一代人工智能模型。数据短缺问题日益突出,对训练下一代强大模型至关重要。面对这一挑战,AI 初创、互联网大厂开始寻找新的方法来解决算力和数据的瓶颈问...
-
抱抱脸Open了OpenAI的秘密武器,网易参与复现
OpenAI的秘密武器、ChatGPT背后功臣RLHF,被开源了。 来自Hugging Face、加拿大蒙特利尔Mila研究所、网易伏羲AI Lab的研究人员从零开始复现了OpenAI的RLHF pipeline,罗列了25个关键实施细节。 最终成功展示...