-
史上首次,AI超越人类奥赛金牌得主!吴方法加持,30题做出27道破纪录
首位超越国际奥林匹克竞赛金牌得主的AI,刚刚诞生了! 印度理工学院海得拉巴分校、图宾根AI中心、剑桥大学的研究者发现—— 通过「吴方法」,可以让AI变成和人类数学奥赛银牌得主同样的水平,而「AI数学大师」AlphaGeometry,则直接超越了IMO金牌...
-
编程的“Devin AI 时代”,软件开发者的喜与忧
作者 | Keith Pitt 编译 | 伊风 出品 | 51CTO技术栈(微信号:blog51cto) 这篇文章的作者基思-皮特(Keith Pitt),是一家软件开发公司Buildkite的创始人兼CEO。2013年,他和另一位软件工程师蒂姆-卢卡...
-
如何评估大语言模型(LLM)的质量——框架、方法、指标和基准。
在人工智能领域,由于大模型(LLM)技术的发展以及其广阔的市场前景,MaaS 以及开源大模型呈现出百家争鸣的景象。现阶段,大型语言模型的开发和应用已经成为各个领域智能化提升的重要方向。为了利用大模型实现业务和产品的提升或创新,就需要对大模型进行系统的评估...
-
研究发现,GPT-4在说服力方面比人类表现优秀82%
瑞士洛桑联邦理工学院(EPFL)的研究人员最近进行的一项研究表明,GPT-4在说服力方面比人类表现更出色,优势接近82%,准确来说是81.7%。该研究涉及820人围绕一系列主题展开辩论。这些主题包括是否应该考虑种族因素作为大学录取标准,以及像是否应该继续发...
-
十个大型语言模型(LLM)常见面试问题和答案解析
今天我们来总结以下大型语言模型面试中常问的问题 一、哪种技术有助于减轻基于提示的学习中的偏见? A.微调 Fine-tuning B.数据增强 Data augmentation C.提示校准 Prompt calibration D.梯度裁剪 Gra...
-
为什么要纯C语言手搓GPT-2,Karpathy回应网友质疑
几天前,前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy 发布了一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」。 llm.c 旨在让大模型(LM)训练变得简单...
-
「大模型+强化学习」最新综述!港中文深圳130余篇论文:详解四条主流技术路线
强化学习(RL)通过与环境交互的试错反馈来优化顺序决策问题。 虽然RL在允许大量试错的复杂电子游戏环境中实现了超越人类的决策能力(例如王者荣耀,Dota 2等),但很难在包含大量自然语言和视觉图像的现实复杂应用中落地,原因包括但不限于:数据获取困难、样本...
-
激发大语言模型空间推理能力:思维可视化提示
大语言模型(LLMs)在语言理解和各种推理任务中展现出令人印象深刻的性能。然而,它们在人类认知的关键一面——空间推理上,仍然未被充分研究。人类具有通过一种被称为 心灵之眼 的过程创造看不见的物体和行为的心智图像的能力,从而使得对未见世界的想象成为可能。...
-
使用BERT的LLM提取摘要
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 在当今快节奏的世界里,充斥着太多的信息,并且难以处理。人们越来越习惯于在更短的时间内接收更多的信息,当他们不得不阅读大量的文件或书籍时...
-
探索智能体的边界:AgentQuest,一个全面衡量和提升大型语言模型智能体性能的模块化基准框架
随着大模型的不断进化,LLM智能体——这些强大的算法实体已经展现出解决复杂多步骤推理任务的潜力。从自然语言处理到深度学习,LLM智能体正逐渐成为研究和工业界的焦点,它们不仅能够理解和生成人类语言,还能在多变的环境中制定策略、执行任务,甚至使用API调用和...
-
大模型做时序预测也很强!华人团队激活LLM新能力,超越一众传统模型实现SOTA
大语言模型潜力被激发—— 无需训练大语言模型就能实现高精度时序预测,超越一切传统时序模型。 来自蒙纳士大学、蚂蚁、IBM研究院提出了一种通用框架,结果成功激活大语言模型跨模态处理时序数据的能力。 时序预测有益于城市、能源、交通、遥感等典型复杂系统的决策...
-
2024-03-26 AIGC-大模型学习路线
摘要: 2024-03-26 AIGC-大模型学习路线 大模型学习路线 建议先从主流的Llama开始,然后选用中文的Qwen/Baichuan/ChatGLM,先快速上手体验prompt工程,然后再学习其架构,跑微调脚本 如果要深入学习,建...
-
得物 AIGC 算法岗(日常实习生) 面经分享
节前,我们组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学,针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 最大的感受就是,今年的算法面试...
-
生成式AI大模型之提示词工程实践
提示工程是一个新兴的领域,专注于开发、设计和优化提示,以增强 LLM 的输出,从而满足您的需求。它为您提供了一种引导模型的行为从而达到您想要实现的结果的方法。 提示工程与微调不同。在微调中,使用训练数据调整权重或参数,目标是优化成本函数。就计算时间和实...
-
神仙掐架!24届视觉算法岗(AIGC方向)秋招经验分享!
节前,我们组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学,针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 今天我来介绍我们星球社群一位很...
-
RAG 修炼手册|一文讲透 RAG 背后的技术
在之前的文章中《RAG 修炼手册|RAG敲响丧钟?大模型长上下文是否意味着向量检索不再重要》,我们已经介绍过 RAG 对于解决大模型幻觉问题的不可或缺性,也回顾了如何借助向量数据库提升 RAG 实战效果。 今天我们继续剖析 RAG,将为大家大家详细介绍...
-
陈巍:LLaMA-2的多模态版本架构与训练详解(收录于GPT-4/ChatGPT技术与产业分析)
陈巍:2023年9月,Meta的研究人员推出了AnyMAL(任意模态增强语言模型,Any-Modality Augmented Language Model)。该模型能够理解多种模态信号并生成文本回应,即多模态输入,单模态输出。输入的模态可包括图像、视频、...
-
Llama架构比不上GPT2?神奇token提升10倍记忆?
一个 7B 规模的语言模型 LLM 能存储多少人类知识?如何量化这一数值?训练时间、模型架构的不同将如何影响这一数值?浮点数压缩 quantization、混合专家模型 MoE、以及数据质量的差异 (百科知识 vs 网络垃圾 又将对 LLM 的知识容量...
-
ELLA官网体验入口 腾讯AI文本到图像语义对齐工具使用介绍
ELLA是一种轻量级方法,可将现有的基于CLIP的扩散模型配备强大的LLM。ELLA提高了模型的提示跟随能力,使文本到图像模型能够理解长文本。我们设计了一个时间感知语义连接器,从预训练的LLM中提取各种去噪阶段的时间步骤相关条件。我们的TSC动态地适应了不...
-
大概是最全的开源大模型LLM盘点了吧!
LLM(Large Language Model, 大型语言模型 是指那些规模庞大、参数数量众多的深度神经网络模型,用于理解和生成自然语言文本。在自然语言处理(NLP)领域有着广泛的应用,因其强大的语言理解和生成能力,能够处理各种复杂的文本任务,包括但不...
-
苹果新AI模型研究Ferret-UI:或将提升Siri,读懂屏幕内容
尽管苹果在生成式 AI 热潮开始后并未推出任何 AI 模型,但近期公司正在着手一些 AI 项目。上周,苹果研究人员分享了一篇揭示公司正在研发的新语言模型的论文,内部消息称苹果正在研发两款 AI 驱动的机器人。 如今,又一份研究论文的发布显示苹果才刚刚开始。...
-
【总结】在嵌入式设备上可以离线运行的LLM--Llama
文章目录 Llama 简介 运用 另一种:MLC-LLM 一个令人沮丧的结论在资源受限的嵌入式设备上无法运行LLM(大语言模型)。 一丝曙光:tinyLlama-1.1b(10.1亿参数,需要至少2.98GB的RAM) Llam...
-
破解36年前魔咒!Meta推出反向训练大法消除大模型「逆转诅咒」
【新智元导读】大语言模型的「逆转诅咒」,被解开了。近日,来自Meta FAIR的研究人员推出了反向训练大法,让模型从反方向上学到了事实之间的逻辑,终于改进了这个困扰人们已久的问题。 大语言模型的「逆转诅咒」,被解开了! 这个诅咒在去年9月首次被发现,一时间...
-
盘点六大Devin替代方案:自动化你的编程任务
编译丨诺亚 出品 | 51CTO技术栈(微信号:blog51cto) 上个月,成立不久的初创公司Cognition推出了全球首位“AI工程师”——Devin。 凭借自动生成代码、调试错误及自行部署应用等能力,Devin充分实现了软件开发过程的部分自动...
-
纯C语言手搓GPT-2,前OpenAI、特斯拉高管新项目火了
众所周知,大语言模型还在快速发展,应该有很多可以优化的地方。我用纯 C 语言来写,是不是能优化一大截? 也许很多人开过这样的脑洞,现在有大佬实现了。 今天凌晨,前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy...
-
120亿Stable LM 2上线即开源!2万亿token训练,碾压Llama 2 70B
继16亿轻量级Stable LM 2推出之后,12B参数的版本在今天亮相了。 见状,不少网友纷纷喊话:干的漂亮!但,Stable Diffusion 3啥时候出啊? 总得来说,Stable LM 2 12B参数更多,性能更强。 120亿参数版本包含了...
-
什么阻碍了GenAI的投资回报?
企业正在向生成式人工智能(GenAI)投资数千亿美元,希望它能改善他们的运营。然而,这些公司中的大多数还没有看到他们在大型语言模型(LLM)和新兴的GenAI上的投资回报。那么,是什么阻碍了我们实现GenAI所承诺的巨大回报呢? 英伟达首席执行官黄仁勋...
-
Ferret-UI官网体验入口 苹果AI生成理解UI工具使用地址
Ferret-UI是一个新的MLLLM,专门为提高对移动UI屏幕的理解而设计。具备引用、定位和推理能力,处理UI屏幕上的任务。具有“任何分辨率”技术,通过放大细节解决小对象识别问题。涉及任务制定、训练样本收集、模型架构与数据集建立等,表现突出在高级任务的对...
-
Tavily官网体验入口 AI研究助手使用地址
Tavily是您的 AI 研究助手,为您提供快速准确的洞察和全面研究。它可以帮助您的 AI 做出更好的决策,提供智能搜索 API,以快速、准确、实时的方式获取信息。通过连接 LLMs 和 AI 应用程序到可信实时知识,减少幻觉和偏见。 点击前往Tavil...
-
OpenAI创始大神手搓千行C代码训练GPT,附PyTorch迁移教程
大神卡帕西(Andrej Karpathy)刚“复工”,立马带来神作: 纯C语言训练GPT,1000行代码搞定!,不用现成的深度学习框架,纯手搓。 发布仅几个小时,已经揽星2.3k。 它可以立即编译和运行,和PyTorch完全兼容。 卡帕西使用的示例是...
-
1000行C语言搓出GPT-2!AI大神Karpathy新项目刚上线就狂揽2.5k星
【新智元导读】训大模型的方法可能要被革新了!AI大神Karpathy发布的新项目仅用1000行的C语言训完GPT-2,而不再依赖庞大的GPT-2库。他本人预告,即将上线新课。 断更近一个月,Karpathy终于上线了。 这次不是AI大课,而是带来一个新项目...
-
破除36年前魔咒!Meta推出反向训练大法消除大模型「逆转诅咒」
大语言模型的「逆转诅咒」,被解开了! 这个诅咒在去年9月首次被发现,一时间引起LeCun、Karpathy、马库斯等一众大佬的惊呼。 因为风光无两、不可一世的大模型竟存在着“阿克琉斯之踵”:一个在「A是B」上训练的语言模型,并不能正确回答出「B是A」。...
-
AI颠覆数学研究!菲尔兹奖得主、华裔数学家领衔11篇顶刊论文|陶哲轩转赞
AI,的确正在改变数学。 最近,一直十分关注这个议题的陶哲轩,转发了最近一期的《美国数学学会通报》(Bulletin of the American Mathematical Society)。 围绕「机器会改变数学吗?」这个话题,众多数学家发表了自己的...
-
GPT-4推理能力为0?开发者悬赏1万美金被打脸,神秘提示正确率直冲100%
【新智元导读】小孩子都会的脑筋急转弯推理题,GPT-4和Claude3做不出?国外一位开发者小哥坚称这一观点,认为GPT模型在训练集外毫无推理能力,无法实现AGI,甚至悬赏1万美元,发起比赛。然而,他当天就被光速打脸了!网友用高能的prompt,让GPT-...
-
抱抱脸Open了OpenAI的秘密武器,网易参与复现
OpenAI的秘密武器、ChatGPT背后功臣RLHF,被开源了。 来自Hugging Face、加拿大蒙特利尔Mila研究所、网易伏羲AI Lab的研究人员从零开始复现了OpenAI的RLHF pipeline,罗列了25个关键实施细节。 最终成功展示...
-
为什么大型语言模型都在使用 SwiGLU 作为激活函数?
如果你一直在关注大型语言模型的架构,你可能会在最新的模型和研究论文中看到“SwiGLU”这个词。SwiGLU可以说是在大语言模型中最常用到的激活函数,我们本篇文章就来对他进行详细的介绍。SwiGLU其实是2020年谷歌提出的激活函数,它结合了SWISH和...
-
CS25官网体验入口 斯坦福大学深度学习AI课程免费在线使用地址
CS25是斯坦福大学提供的一门课程,主要探讨深度学习模型Transformers,该模型在全球范围内产生了巨大影响。课程邀请了Transformers研究领域的前沿人物,讨论从GPT和Gemini等LLM架构到创造性应用(如DALL-E和Sora)在内的最...
-
文心一言赋能问卷生成,打造高效问卷调研工具
当前,各种大语言模型(LLM,Large Language Model)井喷式发展,基于LLM的应用也不断涌现。但是,当开发者基于LLM开发下游应用时,LLM直接生成的结果在格式、内容等方面都存在许多不确定因素,难以与其他业务逻辑代码做数据交互,导致开发者...
-
大模型融合!最新「进化算法」全自动组合开源模型,刷榜多项基准测试
人类智慧的基础并不在于单个聪明的个体,而在于集体智慧。 比如说,我们的社会和经济体系就是建立在由具有不同专业和专长的不同个人组成的许多机构的基础上的。 Sakana AI团队相信,人工智能的发展也将遵循类似的集体道路。 人工智能的未来不会是一个单一的、巨...
-
多模态大模型有了统一分割框架,华科PSALM多任务登顶,模型代码全开源
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 最近,多模态大模型(LMM)取得了一系列引人注目的成就,特别是在视觉 - 语言任务上的表现令人瞩目。它们的成功不仅展现了多模态大模型在各...
-
攻陷短视频后,Sora将需要72万块H100 GPU
OpenAI 推出的 Sora 模型能够在各种场景下生成极其逼真的视频,吸引了全世界的目光。 近日,投资机构 factorial funds 发表了一篇博文,深入探讨了 Sora 背后的一些技术细节,并对这些视频模型可能产生影响进行了探讨。 最后,文中还...
-
CVPR 2024满分论文,英伟达开源BOP排行榜6D物体姿态第一名方法
想了解更多AIGC的内容, 请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 物体姿态估计对于各种应用至关重要,例如机器人操纵和混合现实。实例级方法通常需要纹理 CAD 模型来生成训练数据,并且不能应用于测试时未...
-
10万美元训出Llama-2级大模型!全华人打造新型MoE,贾扬清SD前CEO围观
想了解更多AIGC的内容: https://www.51cto.com/aigc/ “只需”10万美元,训练Llama-2级别的大模型。 尺寸更小但性能不减的MoE模型来了: 它叫JetMoE,来自MIT、普林斯顿等研究机构。 性能妥妥超过同等规模的Ll...
-
Llama提速500%!谷歌美女程序员手搓矩阵乘法内核
谷歌的美女程序员,将Llama的推理速度提高了500%! 近日,天才程序员Justine Tunney发推表示自己更新了Llamafile的代码, 图片 她重写了84个新的矩阵乘法内核,使得Llamafile可以更快地读取提示和图像。 与llama.cp...
-
揭秘AI幻觉:GPT-4V存在视觉编码漏洞,清华联合NUS提出LLaVA-UHD
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ GPT-4V 的推出引爆了多模态大模型的研究。GPT-4V 在包括多模态问答、推理、交互在内的多个领域都展现了出色的能力,成为如今最领先...
-
超越GPT-4,斯坦福团队手机可跑的大模型火了,一夜下载量超2k
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 在大模型落地应用的过程中,端侧 AI 是非常重要的一个方向。 近日,斯坦福大学研究人员推出的 Octopus v2 火了,受到了开发者社...
-
谷歌DeepMind发布Gecko:专攻检索,与大7倍模型相抗衡
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 文本嵌入模型在自然语言处理中扮演着重要角色,为各种文本相关任务提供了强大的语义表示和计算能力。 在语义表示上,文本嵌入模型将文本转换为高...
-
IT领导者可以从谷歌的GenAI起步不稳中学到什么
谷歌推出 Bard 时,试图对抗 OpenAI 的 ChatGPT,但在首次演示中不幸出现了事实错误。尽管谷歌随后将 Bard 扩展到 Gmail 到 YouTube 等所有平台,但公众最初的焦点仍然是该工具未能达到 OpenAI 响应的质量。 谷歌...
-
[论文笔记]LLaMA: Open and Efficient Foundation Language Models
引言 今天带来经典论文 LLaMA: Open and Efficient Foundation Language Models 的笔记,论文标题翻译过来就是 LLaMA:开放和高效的基础语言模型。 LLaMA提供了不可多得的大模型开发思路,为很多国...
-
生成型人工智能优化框架研究
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 简介 生成类似人类的文本和语音曾经只有在科幻小说中才成为可能。但是,GPT-3和PaLM等大型语言模型(LLM)的快速发展...