-
综述!全面概括基础模型对于推动自动驾驶的重要作用
写在前面&笔者的个人理解 近年来,随着深度学习技术的发展和突破,大规模的基础模型(Foundation Models)在自然语言处理和计算机视觉领域取得了显著性的成果。基础模型在自动驾驶当中的应用也有很大的发展前景,可以提高对于场景的理解和推理。...
-
单模型斩获「蛋白质突变预测」榜一!西湖大学提出基于结构词表方法 | ICLR 2024 Spotlight
蛋白质结构相比于序列往往被认为更加具有信息量,因为其直接决定了蛋白质的功能。 而随着AlphaFold2带来的巨大突破,大量的预测结构被发布出来供人研究使用,如何利用这些蛋白质结构来训练强大且通用的表征模型是一个值得研究的方向。 西湖大学的研究人员利用F...
-
Inflection AI揭示新团队和计划,将情感AI嵌入商业机器人
前不久,Inflection AI 的首席人工智能专家之一 Mustafa Suleyman 离职加入微软 AI 部门,这一消息在科技界引起了广泛的关注。然而,对于留在 Inflection AI 的命运,人们却没有过多讨论。Inflection AI 曾...
-
Meta发布类GPT-4o多模态模型Chameleon
Meta最近发布了一个名为Chameleon的多模态模型,它在多模态模型发展中设立了新的标杆。Chameleon是一个早期融合的基于token的混合模态模型家族,能够理解并生成任意顺序的图像和文本。它通过一个统一的Transformer架构,使用文本、图像...
-
案例分享|Alluxio在自动驾驶模型训练中的应用与部署
分享嘉宾: 杨林三-辉羲智能 关于辉羲智能: 辉羲智能是一家做自动驾驶芯片的初创公司,成立于2022年。致力打造创新车载智能计算平台,提供高阶智能驾驶芯片、易用开放工具链及全栈自动驾驶解决方案,助力车企实现优质高效的自动驾驶量产交付,构建低成本、大规...
-
牛津大学最新 | 近400篇总结!畅谈大语言模型与三维世界最新综述
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面&笔者的个人理解 随着大型语言模型(LLM)的发展,它们与3D空间数据(3D LLM)之间的集成取得了快速进展,为理解物理空间和与物理空间交互提供了前所未有的能力。本文全面概述了LLM...
-
蚂蚁多模态团队在视频多模态方向的技术探索
一、概述 视频多模态检索在蚂蚁内部有着广泛的应用。视频多模态检索具体包括两个方向,一个是视频-文本的语义检索,另外一个是视频-视频的同源检索。 视频-文本的语义检索方向旨在通过文本检索与其语义相近的视频,其检索文本未必在检索到的视频描述中直接出现,但检...
-
150B token从头训练,普林斯顿Meta发布完全可微MoE架构Lory
不同于大多数模型使用字母缩略起名,论文作者在脚注中解释道,Lory是一种羽毛有彩虹颜色的鹦鹉,和「软MoE」的精神非常相似。 论文的作者团队也可以称之为「明星阵容」。 论文地址:https://arxiv.org/abs/2405.03133 主要作者...
-
数据更多更好还是质量更高更好?这项研究能帮你做出选择
对基础模型进行 scaling 是指使用更多数据、计算和参数进行预训练,简单来说就是「规模扩展」。 虽然直接扩展模型规模看起来简单粗暴,但也确实为机器学习社区带来了不少表现卓越的模型。之前不少研究都认可扩大神经模型规模的做法,所谓量变引起质变,这种观点也...
-
自动驾驶场景中的长尾问题怎么解决?
本文经自动驾驶之心公众号授权转载,转载请联系出处。 昨天面试被问到了是否做过长尾相关的问题,所以就想着简单总结一下。 自动驾驶长尾问题是指自动驾驶汽车中的边缘情况,即发生概率较低的可能场景。感知的长尾问题是当前限制单车智能自动驾驶车辆运行设计域的主要原...
-
Meta首发「变色龙」挑战GPT-4o,34B参数引领多模态革命!10万亿token训练刷新SOTA
GPT-4o的横空出世,再次创立了一个多模态模型发展的新范式! 为什么这么说? OpenAI将其称为「首个『原生』多模态」模型,意味着GPT-4o与以往所有的模型,都不尽相同。 传统的多模态基础模型,通常为每种模态采用特定的「编码器」或「解码器」,将不...
-
HuggingFace教你怎样做出SOTA视觉模型
前有OpenAI的GPT-4o,后有谷歌的系列王炸,先进的多模态大模型接连炸场。 其他从业者在震撼之余,也再次开始思考怎么追赶这些超级模型了。 刚好在这时,HuggingFace和法国索邦大学的一篇论文,总结出了构建视觉大模型的关键经验,给开发者指明了一...
-
恒生电子首席科学家白硕:长文本和多模态是生成式AI落地金融的两大利器
嘉宾丨白硕 采访/撰稿丨张洁 编辑丨千山 出品 | 51CTO技术栈(微信号:blog51cto) 在千行百业中,金融业一贯是新技术的早期采用者。无论是在数字化水平,还是在关于产业AI化的探索上,都走在了前列。因此,金融业也被视为生成式AI应用落地的潜力...
-
Ilya离职后第一个动作:点赞了这篇论文,网友抢着传看
自Ilya Sutskever官宣离职OpenAI后,他的下一步动作成了大家关注焦点。 甚至有人密切关注着他的一举一动。 这不,Ilya前脚刚刚点赞❤️了一篇新论文—— ——网友们后脚就抢着都看上了: 论文来自MIT,作者提出了一个假说,用一句话总结...
-
生成式AI时代下的企业,该如何充分挖掘数据价值?
在数字经济迅猛发展的时代背景下,数据已经上升为核心生产要素,不仅有力促进了各行各业的创新转型升级,更成为推动经济增长的重要力量。 特别是近年来生成式AI快速发展,极大地改变了企业决策的方式和效率。而在这一过程中,数据作为智能的“燃料”,其质量和数量直接...
-
AI日报:抖音测试AI购物小助手;GPT-4o再秀神操作惊呆网友;华为“天生会画”App发布;小米大模型通过备案
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。 1、抖音试水AI电商 测试AI购物小助手 抖音电商正在测试首款面向C端的AI电商服务“AI购物小助手”,...
-
OpenAI联合创始人:GPT-4性能在 “有限的数据量” 下面临挑战
OpenAI 的联合创始人 John Schulman 近在 Dwarkesh Patel 的播客节目中分享了他对 GPT-4性能的见解,并提到了由于有限的练数据而可能面临的挑战。Schulman 在2022年11月 ChatGPT 的推出中扮演了重要角色...
-
识别细胞也能用大模型了!清华系团队出品,已入选ICML 2024 | 开源
大模型带来的生命科学领域突破,刚刚再传新进展。 来自清华系,使用大模型实现了单细胞身份识别,同时模型LangCell也正式对外开源。 它不仅可以准确识别细胞身份,还具有很强的零样本分析能力,论文已被ICML 2024录⽤。 LangCell的数据集中包...
-
一文读懂主流领先的 SLM(小型语言模型)
Hello folks,我是 Luga,今天我们来聊一下人工智能(AI 生态领域相关的技术 - SLM(小型语言模型 。 在 AI 狂卷的浪潮中,LLM(大型语言模型 无疑成为了整个互联网乃至科技界的焦点所在。以 GPT-3、BERT 等为代表的 LL...
-
小米AI大模型MiLM通过备案 将应用于手机、汽车产品中
5月16日,小米公司宣布,小米大语言模型MiLM正式通过大模型备案,小米大模型将逐步应用于小米汽车、手机、智能家居等产品中。 5月15日,北京市生成式人工智能服务新增已备案信息正式公布。此次19家企业新增备案,包括了北京小米科技有限责任公司“小米”、腾讯...
-
GPT-4o干掉初创全网实测,马斯克Karpathy等大佬纷表不服:OpenAI不过如此
OpenAI一夜之间,又干掉了一大批初创公司。 官方公布的全能模型GPT-4o的炸裂演示,即便过去了一天,依旧让全网深陷其中,无法自拔。 凭借实时语音视频对话,GPT-4o已经深入教育、翻译、视频会议等领域的变革。 OpenAI科学家Lilian W...
-
微软让MoE长出多个头,大幅提升专家激活率
混合专家(MoE)是个好方法,支持着现在一些非常优秀的大模型,比如谷歌家的 Gemini 1.5 以及备受关注的 Mixtral 8x7B。 稀疏混合专家(SMoE)可在不显著增加训练和推理成本的前提下提升模型的能力。比如 Mixtral 8×7B 就是...
-
华为云引领首个代码大模型国际标准立项
本文分享自华为云社区《华为云引领首个代码大模型国际标准立项》,作者: 华为云头条。 近日,国际电信联盟电信标准分局第十六研究组(ITU-T SG16)于法国雷恩召开全体会议,《基于人工智能的代码生成技术要求和评估方法》国际标准项目成功获得立项通过。...
-
网友缝合Llama3 120B竟意外能打,轻松击败GPT2-chatbot和GPT-4
Llama 3首发阵容里没有的120B型号竟意外“曝光”,而且十分能打?! 最近这样一个号称是「Llama3-120b」的神秘大模型火了起来,原因在于它表现太出色了—— 轻松击败GPT-4、gpt2-chatbot那种。 比如,面对像「观察希格斯场是否会...
-
Fine-Tuning Vs RAG ,该如何选择?
Hello folks,我是 Luga,今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM 构建块:向量、令牌和嵌入 。 随着技术的不断进步,LLM 带来了前所未有的机遇,吸引了开发者和组织纷纷尝试利用其强大的能力构建应用程序。然而,当预训...
-
英伟达开源大模型对齐框架—NeMo-Aligner
随着ChatGPT、Midjourney等大模型产品的影响力、应用场景越来越多,为了确保输出的内容安全、可靠,对齐成为开发人员的关注重点和难点。 但现在的模型参数少则几百亿多则上千亿,想通过传统的监督式微调方法来完成对齐效果往往不理想。 因此,英伟达的研究...
-
Paper Digest | 基于原型学习的实体图谱预训练跨域推荐框架
可以看到,通过映射得到对应item相关的entity后,基于图谱推理流程,我们可以得到许多和映射得到的entity相关的高阶信息,如苹果这个公司有手机产品,而手机这类产品相关的公司有三星等,从而可以潜在的拉近和其他相关实体(如三星生产的手机等)间的关系。...
-
图灵巨头现身ICLR,顶会现场疯狂追星LeCun、Bengio!中国团队三大技术趋势引爆AGI新想象
这几天,AI届的盛会——ICLR在维也纳举办。 OpenAI、Meta、谷歌、智谱AI等世界前沿AI科技企业齐聚一堂。 现场名流云集,星光耀眼,走几步就能偶遇一位发过颠覆性paper的大咖。 毫无意外地,ICLR 2024展厅也变成了追星现场。热闹的气氛...
-
LLM 评估新纪元:Arthur Bench 全方位解读
一、传统文本评估面临的挑战 近年来,随着大型语言模型(LLM)的快速发展和改进,传统的文本评估方法在某些方面可能已经不再适用。在文本评估领域,我们可能已经听说过一些方法,例如基于“单词出现”的评估方法,比如 BLEU,以及基于“预训练的自然语言处理模型”...
-
DriveWorld:一个预训练模型大幅提升检测+地图+跟踪+运动预测+Occ多个任务性能
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面 以视觉为中心的自动驾驶技术近期因其较低的成本而引起了广泛关注,而预训练对于提取通用表示至关重要。然而,当前的以视觉为中心的预训练通常依赖于2D或3D预训练任务,忽视了自动驾驶作为4D场景理解...
-
ChatGPT会取代搜索引擎吗?
从产品交互层面,还无法取代搜索引擎,从技术角度稍微改造一下,取代传统搜索引擎是可行的。 但目前ChatGPT的交互形态,还不能取代搜索引擎。 比如ChatGPT对于不少知识类型的问题,会给出看似很有道理的答案,但有时这些答案可能是错的,但很多问题他又可以...
-
AlphaGo核心算法增强,7B模型数学能力直逼GPT-4,阿里大模型新研究火了
把AlphaGo的核心算法用在大模型上,“高考”成绩直接提升了20多分。 在MATH数据集上,甚至让7B模型得分超过了GPT-4。 一项来自阿里的新研究引发关注: 研究人员用蒙特卡洛树搜索(MCTS)给大语言模型来了把性能增强,无需人工标注解题步骤,也能...
-
LLM全搞定!OmniDrive:集3D感知、推理规划于一体(英伟达最新)
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面&笔者的个人理解 这篇论文致力于解决当前多模态大语言模型 (MLLMs 在自动驾驶应用中存在的关键挑战,尤其是将MLLMs从2D理解扩展到3D空间的问题。由于自动驾驶车辆 (AVs ...
-
清华首个AI医院小镇来了!AI医生自进化击败人类专家,数天诊完1万名患者
斯坦福AI小镇曾火遍了全网,25个智能体生活交友,堪称现实版的「西部世界」。 而现在,AI「医院小镇」也来了! 最近,来自清华团队的研究人员开发了一个名为「Agent Hospital」的模拟医院。 论文地址:https://arxiv.org/pdf...
-
揭秘DeDoDe v2:如何革新关键点检测技术,让AI“眼”更明亮?
一、技术革新,DeDoDe v2应运而生 在图像处理和计算机视觉领域,关键点检测是许多应用的基础,如目标识别、图像匹配、三维重建等。然而,传统的关键点检测技术往往存在着检测不准确、易受噪声干扰等问题。为了解决这些问题,Linköping大学等科研团队推出...
-
港大开源图基础大模型OpenGraph: 强泛化能力,前向传播预测全新数据
图学习领域的数据饥荒问题,又有能缓解的新花活了! OpenGraph,一个基于图的基础模型,专门用于在多种图数据集上进行零样本预测。 背后是港大数据智能实验室的主任Chao Huang团队,他们还针对图模型提出了提示调整技术,以提高模型对新任务的适应性。...
-
7262篇提交,ICLR 2024爆火,两篇国内论文获杰出论文提名
ICLR 全称为国际学习表征会议(International Conference on Learning Representations),今年举办的是第十二届,于 5 月 7 日至 11 日在奥地利维也纳展览会议中心举办。 在机器学习社区中,ICLR...
-
前特斯拉Optimus科学家跳槽HF,直接开源了一个机器人代码库
今年 3 月,以构建大型开源社区而闻名的 AI 初创公司 Hugging Face,挖角前特斯拉科学家 Remi Cadene 来领导一个新的开源机器人项目 ——LeRobot,引起了轰动。 Remi Cadene 在今年三月宣布结束其三年的 Tesl...
-
一块钱100万token,超强MoE模型开源,性能直逼GPT-4-Turbo
开源大模型领域,又迎来一位强有力的竞争者。 近日,探索通用人工智能(AGI)本质的 DeepSeek AI 公司开源了一款强大的混合专家 (MoE 语言模型 DeepSeek-V2,主打训练成本更低、推理更加高效。 项目地址:https://gi...
-
快3倍!Meta 违背经典模型结构,一次预测多个token,路径可行,大模型大幅提速指日可待!
编译|伊风 出品 | 51CTO技术栈(微信号:blog51cto) 众所周知,LLMs的工作原理是对下一个token进行预测。 读者朋友们有没有曾这样想过:如果LLM一次预测n个token呢?那是不是就快n倍?Meta也是这样想的!并且付诸实践。 在最...
-
为什么LLM在人工智能中如此受欢迎?
将大型语言模型(LLM 提升到人工智能(AI 同义词世界的中心是一项巨大的任务,它改变了描述自然语言处理(NLP 的方式。这些高度复杂的模型将其翻译成英语,使我们能够理解和生成质量可接受的文本,这是由于使用了大量数据集,并在使用的变压器网络架构等人工神...
-
微调大语言模型的七个步骤
译者 | 布加迪 审校 | 重楼 在最近一年半的时间里,自然语言处理(NLP)领域发生了显著的变化,这主要得益于OpenAI的GPT系列等大语言模型(LLM)的兴起。 这些功能强大的模型已彻底改变了我们处理自然语言任务的方法,在翻译、情绪分析和文本自动...
-
ChatGPT们的幕后先驱,斯坦福教授Manning的四十年NLP生涯
今年 1 月份,2024 年度 IEEE 冯诺伊曼奖项结果正式公布,斯坦福大学语言学和计算机科学教授、AI 学者克里斯托弗・曼宁(Christopher Manning)获奖。 曼宁教授是将深度学习应用于 NLP 领域的早期领军人物,在词向量 GloVe...
-
AI可以改写人类基因组吗?首次由AI从头设计的基因编辑器成功编辑人类细胞中DNA
生成式 AI 可以对话、写诗、画图、做视频、作曲、写代码...... 那么,AI 可以改写人类基因组吗? 现在,新的 AI 技术正在为可编辑 DNA 的微观生物机制绘制蓝图,这预示着未来科学家将以更高的精度和速度对抗疾病。 近日,美国 AI 蛋白质设计初...
-
终于有人调查了小模型过拟合:三分之二都有数据污染,微软Phi-3、Mixtral 8x22B被点名
当前最火的大模型,竟然三分之二都存在过拟合问题? 刚刚出炉的一项研究,让领域内的许多研究者有点意外。 提高大型语言模型的推理能力是当前研究的最重要方向之一,而在这类任务中,近期发布的很多小模型看起来表现不错,比如微软 Phi-3、Mistral 8x2...
-
专利大模型的实践与知识问答探索
一、专利大模型背景介绍 智慧芽一直致力于为科技创新和知识产权领域提供信息服务。在小型模型时代(如 Bert),参数量较少,智能理解方面存在局限性。因此,在着手开发大模型之前,智慧芽深入思考了领域聚焦的重要性。在知识产权领域,专利检索、专利对比、标引工作...
-
Meta训AI,成本已超阿波罗登月!谷歌豪言投资超千亿美元,赛过OpenAI星际之门
【新智元导读】近日访谈中,LeCun亲口证实:Meta为购入英伟达GPU已经花费了300亿美元,成本超过阿波罗登月。相比之下,微软和OpenAI打造的星际之门耗资1000亿美元,谷歌DeepMind CEO Hassabis则放出豪言:谷歌投入的,比这个数...
-
AI教母李飞飞首次创业!成立“空间智能”公司,已完成种子轮
AI教母李飞飞,创业了! 最新消息,斯坦福大学教授李飞飞正在建立一家AI公司,已完成种子轮融资。 公司方向定为“空间智能”——旨在让AI能像人类一样对视觉信息进行高级推理。消息人士表示,这将是该技术的一次飞跃。 投资方包括硅谷风投a16z和Radical...
-
重启与OpenAI的谈判,苹果为iOS 18的AI找“备胎”
如果说在AI大模型崭露头角的2023年,苹果方面的做法是观望,那么到了2024年,他们显然已经不再认为这一轮人工智能浪潮是“AI炒作”(AI hype)了。继此前300亿参数规模的MM1模型亮相后,苹果又在不久前在AI开源社区Hugging Face放出了...
-
Llama 3细节公布!AI产品总监站台讲解:Llama系列超庞大生态系统
除了计算资源和训练数据这些硬实力外,Llama3模型开源的训练思路覆盖了LLM模型的全部生命周期,提供了各种开源生态系统下的工具。 Llama3的开源,再次掀起了一场大模型的热战,各家争相测评、对比模型的能力,也有团队在进行微调,开发衍生模型。 最近,M...