-
Meta AI推MA-LMM:用于长视频理解的记忆增强多模态大模型
Meta AI近日推出了一种名为MA-LMM的新型模型,旨在解决长期视频理解中的挑战。LLMs在处理文本数据时表现出了令人印象深刻的能力,但在处理视频输入方面存在一些限制,例如上下文长度限制和GPU内存限制。 为了克服这些限制,研究人员提出了MA-LMM,...
-
等等我还没上车!LLM赋能端到端全新范式LeGo-Drive,车速拉满
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面&笔者个人理解 这篇论文介绍了一种名为LeGo-Drive的基于视觉语言模型的闭环端到端自动驾驶方法。该方法通过预测目标位置和可微分优化器规划轨迹,实现了从导航指令到目标位置的端到端闭...
-
刚刚,图灵奖揭晓!史上首位数学和计算机最高奖“双料王”出现了
刚刚,“计算机界最高荣誉”图灵奖揭晓—— 复杂性理论先驱、普林斯顿高等研究院教授艾维·维格森(Avi Wigderson 摘得。 美国计算机协会(ACM)表示,表彰他对计算理论的基础性贡献,包括重塑人类对计算中随机性作用的理解,以及数十年来在理论计算机...
-
来自Anthropic:如何衡量大语言模型的说服力?
尽管人们长期以来一直在质疑AI模型是否会在某些时候变得像人类一样具有说服力,从而改变人们的想法,但在模型规模与输出说服力程度之间的关系方面,实证研究一直有限。为了解决这个问题,研究人员开发了一种基本方法来衡量说服力,并将其用于比较三个不同世代(Clau...
-
如何评估大语言模型(LLM)的质量——框架、方法、指标和基准。
在人工智能领域,由于大模型(LLM)技术的发展以及其广阔的市场前景,MaaS 以及开源大模型呈现出百家争鸣的景象。现阶段,大型语言模型的开发和应用已经成为各个领域智能化提升的重要方向。为了利用大模型实现业务和产品的提升或创新,就需要对大模型进行系统的评估...
-
十个大型语言模型(LLM)常见面试问题和答案解析
今天我们来总结以下大型语言模型面试中常问的问题 一、哪种技术有助于减轻基于提示的学习中的偏见? A.微调 Fine-tuning B.数据增强 Data augmentation C.提示校准 Prompt calibration D.梯度裁剪 Gra...
-
为什么要纯C语言手搓GPT-2,Karpathy回应网友质疑
几天前,前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy 发布了一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」。 llm.c 旨在让大模型(LM)训练变得简单...
-
「大模型+强化学习」最新综述!港中文深圳130余篇论文:详解四条主流技术路线
强化学习(RL)通过与环境交互的试错反馈来优化顺序决策问题。 虽然RL在允许大量试错的复杂电子游戏环境中实现了超越人类的决策能力(例如王者荣耀,Dota 2等),但很难在包含大量自然语言和视觉图像的现实复杂应用中落地,原因包括但不限于:数据获取困难、样本...
-
激发大语言模型空间推理能力:思维可视化提示
大语言模型(LLMs)在语言理解和各种推理任务中展现出令人印象深刻的性能。然而,它们在人类认知的关键一面——空间推理上,仍然未被充分研究。人类具有通过一种被称为 心灵之眼 的过程创造看不见的物体和行为的心智图像的能力,从而使得对未见世界的想象成为可能。...
-
多个SOTA !OV-Uni3DETR:提高3D检测在类别、场景和模态之间的普遍性(清华&港大)
本文经自动驾驶之心公众号授权转载,转载请联系出处。 这篇论文聚焦于3D目标检测的领域,特别是Open-Vocabulary的3D目标检测。在传统的3D目标检测任务中,系统旨在预测真实场景中物体的定向3D边界框和语义类别标签,这通常依赖于点云或RGB图像...
-
使用BERT的LLM提取摘要
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 在当今快节奏的世界里,充斥着太多的信息,并且难以处理。人们越来越习惯于在更短的时间内接收更多的信息,当他们不得不阅读大量的文件或书籍时...
-
探索智能体的边界:AgentQuest,一个全面衡量和提升大型语言模型智能体性能的模块化基准框架
随着大模型的不断进化,LLM智能体——这些强大的算法实体已经展现出解决复杂多步骤推理任务的潜力。从自然语言处理到深度学习,LLM智能体正逐渐成为研究和工业界的焦点,它们不仅能够理解和生成人类语言,还能在多变的环境中制定策略、执行任务,甚至使用API调用和...
-
大模型做时序预测也很强!华人团队激活LLM新能力,超越一众传统模型实现SOTA
大语言模型潜力被激发—— 无需训练大语言模型就能实现高精度时序预测,超越一切传统时序模型。 来自蒙纳士大学、蚂蚁、IBM研究院提出了一种通用框架,结果成功激活大语言模型跨模态处理时序数据的能力。 时序预测有益于城市、能源、交通、遥感等典型复杂系统的决策...
-
2024-03-26 AIGC-大模型学习路线
摘要: 2024-03-26 AIGC-大模型学习路线 大模型学习路线 建议先从主流的Llama开始,然后选用中文的Qwen/Baichuan/ChatGLM,先快速上手体验prompt工程,然后再学习其架构,跑微调脚本 如果要深入学习,建...
-
生成式AI大模型之提示词工程实践
提示工程是一个新兴的领域,专注于开发、设计和优化提示,以增强 LLM 的输出,从而满足您的需求。它为您提供了一种引导模型的行为从而达到您想要实现的结果的方法。 提示工程与微调不同。在微调中,使用训练数据调整权重或参数,目标是优化成本函数。就计算时间和实...
-
全面突围,谷歌昨晚更新了一大波大模型产品
当地时间本周二,谷歌在 Google’s Cloud Next 2024 上发布了一系列 AI 相关的模型更新和产品,包括 Gemini 1.5 Pro 首次提供了本地音频(语音)理解功能、代码生成新模型 CodeGemma、首款自研 Arm 处理器 A...
-
英伟达竞品来了,训练比H100快70%,英特尔发最新AI加速卡
英伟达的 AI 加速卡,现在有了旗鼓相当的对手。 今天凌晨,英特尔在 Vision 2024 大会上展示了 Gaudi 3,这是其子公司 Habana Labs 的最新一代高性能人工智能加速器。 Gaudi 3 将于 2024 年第三季度推出,英特尔现...
-
陈巍:LLaMA-2的多模态版本架构与训练详解(收录于GPT-4/ChatGPT技术与产业分析)
陈巍:2023年9月,Meta的研究人员推出了AnyMAL(任意模态增强语言模型,Any-Modality Augmented Language Model)。该模型能够理解多种模态信号并生成文本回应,即多模态输入,单模态输出。输入的模态可包括图像、视频、...
-
每周AI新闻(2024年第11周)Meta公布Llama 3集群细节 | Sora将于年内推出 | 全球首个AI软件工程师发布
这里是陌小北,一个正在研究硅基生命的碳基生命。正在努力成为写代码的里面背诗最多的,背诗的里面最会写段子的,写段子的里面代码写得最好的…厨子。 每周日解读每周AI大事件。 欢迎关注同名公众号【陌北有棵树】,关注AI最新技术与资讯。 大厂动向 M...
-
Llama架构比不上GPT2?神奇token提升10倍记忆?
一个 7B 规模的语言模型 LLM 能存储多少人类知识?如何量化这一数值?训练时间、模型架构的不同将如何影响这一数值?浮点数压缩 quantization、混合专家模型 MoE、以及数据质量的差异 (百科知识 vs 网络垃圾 又将对 LLM 的知识容量...
-
大概是最全的开源大模型LLM盘点了吧!
LLM(Large Language Model, 大型语言模型 是指那些规模庞大、参数数量众多的深度神经网络模型,用于理解和生成自然语言文本。在自然语言处理(NLP)领域有着广泛的应用,因其强大的语言理解和生成能力,能够处理各种复杂的文本任务,包括但不...
-
苹果新AI模型研究Ferret-UI:或将提升Siri,读懂屏幕内容
尽管苹果在生成式 AI 热潮开始后并未推出任何 AI 模型,但近期公司正在着手一些 AI 项目。上周,苹果研究人员分享了一篇揭示公司正在研发的新语言模型的论文,内部消息称苹果正在研发两款 AI 驱动的机器人。 如今,又一份研究论文的发布显示苹果才刚刚开始。...
-
阿里开源的32B大模型到底强在哪里?你知道吗?
阿里巴巴最近开源了一个320亿参数的大语言模型Qwen1.5-32B,网上都说很强很强,那么它到底强在哪里呢? 更高的性价比 Qwen1.5-32B中的B是billion的意思,也就是10亿,32B就代表320亿参数量。 阿里之前还开源过一个大模型Qwe...
-
Intel发布Gaudi 3 AI加速器:4倍性能提升、无惧1800亿参数大模型
快科技4月10日消息,美国当地时间4月9日,Intel举办了一场面向客户和合作伙伴的Intel Vision 2024产业创新大会,做出多项重磅宣布,包括全新的Gaudi 3 AI加速器,包括全新的至强6品牌,以及涵盖全新开放、可扩展系统,下一代产品和一系...
-
【总结】在嵌入式设备上可以离线运行的LLM--Llama
文章目录 Llama 简介 运用 另一种:MLC-LLM 一个令人沮丧的结论在资源受限的嵌入式设备上无法运行LLM(大语言模型)。 一丝曙光:tinyLlama-1.1b(10.1亿参数,需要至少2.98GB的RAM) Llam...
-
破解36年前魔咒!Meta推出反向训练大法消除大模型「逆转诅咒」
【新智元导读】大语言模型的「逆转诅咒」,被解开了。近日,来自Meta FAIR的研究人员推出了反向训练大法,让模型从反方向上学到了事实之间的逻辑,终于改进了这个困扰人们已久的问题。 大语言模型的「逆转诅咒」,被解开了! 这个诅咒在去年9月首次被发现,一时间...
-
盘点六大Devin替代方案:自动化你的编程任务
编译丨诺亚 出品 | 51CTO技术栈(微信号:blog51cto) 上个月,成立不久的初创公司Cognition推出了全球首位“AI工程师”——Devin。 凭借自动生成代码、调试错误及自行部署应用等能力,Devin充分实现了软件开发过程的部分自动...
-
纯C语言手搓GPT-2,前OpenAI、特斯拉高管新项目火了
众所周知,大语言模型还在快速发展,应该有很多可以优化的地方。我用纯 C 语言来写,是不是能优化一大截? 也许很多人开过这样的脑洞,现在有大佬实现了。 今天凌晨,前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy...
-
金山办公WPS 365升级 推出 WPS AI 企业版和 WPS 协作
今日,金山办公在北京举行生产力大会,发布了面向组织和企业的办公新质生产力平台 WPS365。WPS365包含升级的 WPS Office、最新发布的 WPS AI 企业版和 WPS 协作,整合文档、AI 和协作能力,实现一站式 AI 办公。 WPS365覆...
-
什么阻碍了GenAI的投资回报?
企业正在向生成式人工智能(GenAI)投资数千亿美元,希望它能改善他们的运营。然而,这些公司中的大多数还没有看到他们在大型语言模型(LLM)和新兴的GenAI上的投资回报。那么,是什么阻碍了我们实现GenAI所承诺的巨大回报呢? 英伟达首席执行官黄仁勋...
-
五种常用于LLM的令牌遮蔽技术介绍以及Pytorch的实现
本文将介绍大语言模型中使用的不同令牌遮蔽技术,并比较它们的优点,以及使用Pytorch实现以了解它们的底层工作原理。 令牌掩码Token Masking是一种广泛应用于语言模型分类变体和生成模型训练的策略。BERT语言模型首先使用,并被用于许多变体(Ro...
-
破除36年前魔咒!Meta推出反向训练大法消除大模型「逆转诅咒」
大语言模型的「逆转诅咒」,被解开了! 这个诅咒在去年9月首次被发现,一时间引起LeCun、Karpathy、马库斯等一众大佬的惊呼。 因为风光无两、不可一世的大模型竟存在着“阿克琉斯之踵”:一个在「A是B」上训练的语言模型,并不能正确回答出「B是A」。...
-
深入探索AI写作:从困惑度到爆发度的挑战与机遇
大家好,小发猫降重今天来聊聊深入探索AI写作:从困惑度到爆发度的挑战与机遇,希望能给大家提供一点参考。 以下是针对论文重复率高的情况,提供一些修改建议和技巧,可以借助此类工具: 深入探索AI写作:从困惑度到爆发度的挑战与机遇 在AI技术飞速发展的...
-
融汇生成式人工智能,全面提升HPE Aruba Networking Central平台AIOps能力
美国德克萨斯州休斯顿-2024年4月8日-Hewlett Packard Enterprise(NYSE:HPE)日前宣布将在HPE Aruba Networking Central上集成多个生成式AI大语言模型,以拓展其AIOps网络管理能力。HPE...
-
AI颠覆数学研究!菲尔兹奖得主、华裔数学家领衔11篇顶刊论文|陶哲轩转赞
AI,的确正在改变数学。 最近,一直十分关注这个议题的陶哲轩,转发了最近一期的《美国数学学会通报》(Bulletin of the American Mathematical Society)。 围绕「机器会改变数学吗?」这个话题,众多数学家发表了自己的...
-
近屿智能独家发布:AIGC大模型工程师和产品经理学习路径图,AI技术不再难懂!
随着人工智能技术的飞速发展,AI取代人工的现象在各个行业和领域变得日益普遍,不少人因此忧心忡忡,担心自己的前途受到AI的冲击。实际上,AI不会取代你的工作,会取代你的是懂AI的人,如何提升自己与他人的知识壁垒,如何学习AIGC?相信在刚刚过去2023这个A...
-
[NLP]使用Alpaca-Lora基于llama模型进行微调教程
Stanford Alpaca 是在 LLaMA 整个模型上微调,即对预训练模型中的所有参数都进行微调(full fine-tuning)。但该方法对于硬件成本要求仍然偏高且训练低效。 [NLP]理解大型语言模型高效微调(PEFT 因此, Alpac...
-
为什么大型语言模型都在使用 SwiGLU 作为激活函数?
如果你一直在关注大型语言模型的架构,你可能会在最新的模型和研究论文中看到“SwiGLU”这个词。SwiGLU可以说是在大语言模型中最常用到的激活函数,我们本篇文章就来对他进行详细的介绍。SwiGLU其实是2020年谷歌提出的激活函数,它结合了SWISH和...
-
文心一言赋能问卷生成,打造高效问卷调研工具
当前,各种大语言模型(LLM,Large Language Model)井喷式发展,基于LLM的应用也不断涌现。但是,当开发者基于LLM开发下游应用时,LLM直接生成的结果在格式、内容等方面都存在许多不确定因素,难以与其他业务逻辑代码做数据交互,导致开发者...
-
大模型融合!最新「进化算法」全自动组合开源模型,刷榜多项基准测试
人类智慧的基础并不在于单个聪明的个体,而在于集体智慧。 比如说,我们的社会和经济体系就是建立在由具有不同专业和专长的不同个人组成的许多机构的基础上的。 Sakana AI团队相信,人工智能的发展也将遵循类似的集体道路。 人工智能的未来不会是一个单一的、巨...
-
CVPR 2024满分论文,英伟达开源BOP排行榜6D物体姿态第一名方法
想了解更多AIGC的内容, 请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 物体姿态估计对于各种应用至关重要,例如机器人操纵和混合现实。实例级方法通常需要纹理 CAD 模型来生成训练数据,并且不能应用于测试时未...
-
拒绝白人与亚洲人同框,Meta图像生成器的「歧视」,被人挖出来了
想了解更多AIGC的内容, 请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 在人工智能构筑的世界中,AI 有时会像人一样存在着某种偏见或倾向性。比如对于大语言模型而言,由于训练数据的影响会不可避免地存在性别偏见...
-
大模型存储实践:性能、成本与多云
大模型应用领域的迅猛发展,也推动着基础技术领域持续探索和进步。文件存储服务在 AI 基础设施中成为不可或缺的重要部分。 在过去 18 个月的时间里,JuiceFS 团队与 MiniMax,阶跃星辰,智谱 AI,面壁智能,零一万物等大模型团队展开了交流与合...
-
通义千问开源Qwen1.5-32B 模型系列
通义千问团队最新发布了 Qwen1.5-32B 模型系列,其中包括 Qwen1.5-32B 和 Qwen1.5-32B-Chat。 这些模型在模型架构上与之前的 Qwen1.5系列基本相同,但参数量减少至32B,旨在提供更高效、更经济实惠的解决方案。Qw...
-
你的自拍和聊天记录,正被硅谷大厂砸数十亿美元疯抢!
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 谁能想到,我们多年前的聊天记录、社交媒体上的陈年照片,忽然变得价值连城,被大科技公司争相疯抢。 现在,硅谷大厂们已经纷纷出动,买下所有能...
-
OpenAI 为训练 GPT-4模型转录了超过一百万小时的 YouTube 视频
AI 公司在获取高质量训练数据方面遇到的挑战,OpenAI 为了训练其最先进的大型语言模型 GPT-4,使用了超过一百万小时的 YouTube 视频副本。 据了解,该公司通过其 Whisper 音频转录模型转录这些视频,尽管这一做法在法律上具有争议性,Op...
-
Scaling Law被证伪,谷歌研究人员实锤研究力挺小模型更高效,不局限于特定采样技术!
出品 | 51CTO技术栈(微信号:blog51cto) “模型越大,效果越好”,Scaling Law再次被OpenAI带火了,但谷歌的研究人员的最新研究证伪了这一观点。 在周一发表的一项研究中,谷歌研究院和约翰霍普金斯大学的研究人员对人工智能 (AI...
-
谷歌DeepMind发布Gecko:专攻检索,与大7倍模型相抗衡
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 文本嵌入模型在自然语言处理中扮演着重要角色,为各种文本相关任务提供了强大的语义表示和计算能力。 在语义表示上,文本嵌入模型将文本转换为高...
-
[论文笔记]LLaMA: Open and Efficient Foundation Language Models
引言 今天带来经典论文 LLaMA: Open and Efficient Foundation Language Models 的笔记,论文标题翻译过来就是 LLaMA:开放和高效的基础语言模型。 LLaMA提供了不可多得的大模型开发思路,为很多国...
-
Cohere推出大模型Command R+ 优化高级检索增强生成功能
Cohere推出了专为企业级工作负载设计的大型语言模型Command R+,该模型优化了高级检索增强生成(RAG)功能,以减少错误生成,并支持10种关键语言的多语言覆盖。 公告地址:https://top.aibase.com/tool/command-...