-
OpenAI、微软、智谱AI等全球16家公司共同签署前沿人工智能安全承诺
人工智能（AI）的安全问题，正以前所未有的关注度在全球范围内被讨论。 日前，OpenAI 联合创始人、首席科学家 Ilya Sutskever 与 OpenAI 超级对齐团队共同领导人 Jan Leike 相继离开 OpenAI，Leike 甚至在 X...
-
世界模型也扩散！训练出的智能体竟然不错
世界模型提供了一种以安全且样本高效的方式训练强化学习智能体的方法。近期，世界模型主要对离散潜在变量序列进行操作来模拟环境动态。 然而，这种压缩为紧凑离散表征的方式可能会忽略对强化学习很重要的视觉细节。另一方面，扩散模型已成为图像生成的主要方法，对离散潜在...
-
腾讯AI实验室开发新型智能体框架TRANSAGENTS 专用于处理超长文学内容的翻译工作
腾讯AI实验室开发的"TRANSAGENTS"是一个创新的多智能体框架，专门设计用于处理超长文学内容的翻译工作。这个系统通过创建一个虚拟的翻译出版公司来模拟真实的翻译流程，其中包含多个具有不同职责和专业技能的虚拟角色。 以下是TRANSAGENTS系统的...
-
开创性CVM算法解开40多年计数难题！计算机科学家掷硬币算出「哈姆雷特」独特单词
计数，听起来简单，却在实际执行很有难度。 想象一下，你被送到一片原始热带雨林，进行野生动物普查。每当看到一只动物，拍一张照片。 数码相机只是记录追踪动物总数，但你对独特动物的数量感兴趣，却没有统计。 那么，若想获取这一独特动物数量，最好的方法是什么？...
-
开创性CVM算法破解40多年计数难题！计算机科学家掷硬币算出「哈姆雷特」独特单词
计数，听起来简单，却在实际执行很有难度。 想象一下，你被送到一片原始热带雨林，进行野生动物普查。每当看到一只动物，拍一张照片。 数码相机只是记录追踪动物总数，但你对独特动物的数量感兴趣，却没有统计。 那么，若想获取这一独特动物数量，最好的方法是什么？ 这...
-
开源！V2Xverse：上交发布首个面向V2X的仿真平台与端到端模型
本文经自动驾驶之心公众号授权转载，转载请联系出处。 车路协同的同步驾驶数据 车路协同辅助的自动驾驶V2X-AD（Vehicle-to-everything-aided autonomous driving）在提供更安全的驾驶策略方面具有巨大潜力。研...
-
拯救被「掰弯」的GPT-4！西交微软北大联合提出IN2训练治疗LLM「中间迷失」
【新智元导读】近日，西交微软北大联合提出信息密集型训练大法，使用纯数据驱动的方式，矫正LLM训练过程产生的偏见，在一定程度上治疗了大语言模型丢失中间信息的问题。 辛辛苦苦给大语言模型输入了一大堆提示，它却只记住了开头和结尾? 这个现象叫做LLM的中间迷失（...
-
KubeAI大模型推理加速实践｜得物技术
除了上面提到的技术外，提高大模型推理速度的还有大模型的量化技术等，这里先不探讨，后面有机会，我们会单独发文章来介绍。 二、大模型发展面临的挑战 未来大模型的参数量肯定会越来越大，这也是大模型的发展趋势，对推理加速的要求会越来越高。 OpenAI在其论...
-
150B token从头训练，普林斯顿Meta发布完全可微MoE架构Lory
不同于大多数模型使用字母缩略起名，论文作者在脚注中解释道，Lory是一种羽毛有彩虹颜色的鹦鹉，和「软MoE」的精神非常相似。 论文的作者团队也可以称之为「明星阵容」。 论文地址：https://arxiv.org/abs/2405.03133 主要作者...
-
数据更多更好还是质量更高更好？这项研究能帮你做出选择
对基础模型进行 scaling 是指使用更多数据、计算和参数进行预训练，简单来说就是「规模扩展」。 虽然直接扩展模型规模看起来简单粗暴，但也确实为机器学习社区带来了不少表现卓越的模型。之前不少研究都认可扩大神经模型规模的做法，所谓量变引起质变，这种观点也...
-
GPT-4通过图灵测试，胜率高达54%！UCSD新作：人类无法认出GPT-4
GPT-4可以通过图灵测试吗？ 当一个足以强大的模型诞生之后，人们往往会用图灵测试去衡量这一LLM的智能程度。 最近，来自UCSD的认知科学系研究人员发现： 在图灵测试中，人们根本无法区分GPT-4与人类！ 论文地址：https://arxiv.org...
-
「大模型」之所短，「知识图谱」之所长
最近一年以来，大语言模型技术突飞猛进，被广泛地认为开启了人工智能研究的新阶段。大语言模型时代的到来，给知识图谱技术也带来了新的机遇与挑战。我们在 5 月份的时候曾经发布过知识图谱与 AIGC 大模型的知识地图，其中包括了文本生成、图像生成等技术。本次分享...
-
告别3D高斯Splatting算法，带神经补偿的频谱剪枝高斯场SUNDAE开源了
本论文作者包括帝国理工学院硕士生杨润一、北航二年级硕士生朱贞欣、北京理工大学二年级硕士生姜洲、北京理工大学四年级本科生叶柏均、中国科学院大学本科大三学生张逸飞、中国电信人工智能研究院多媒体认知学习实验室（EVOL Lab）负责人赵健、清华大学智能产业研究...
-
思维链被推翻！纽约大学新研究：大模型推理步骤或可省略
纽约大学的最新研究对当前流行的思维链（Chain-of-Thought，CoT）技术提出了挑战，该技术原本被认为能够提升大模型的推理能力。研究显示，使用省略号代替具体的推理步骤，模型的推理结果并没有显著差异，这意味着增加计算量而非推理步骤本身可能是提升性能...
-
DenserRadar：基于密集LiDAR点云的4D毫米波雷达点云检测器
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：DenserRadar: A 4D millimeter-wave radar point cloud detector based on dense LiDAR point clouds 论...
-
Llama-3的竞争对手来了——可运行在iPhone上的小体量高性能LLM模型Phi-3
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 简介 熟悉我的文章的读者可能还记得我以前报道《课本就是你所需要的一切》(https://medium.com/@mgunton7/th...
-
西浦、利物浦大学提出：点云数据增强首个全面综述
本论文的第一作者朱钦峰是西交利物浦大学和利物浦大学联合培养的一年级在读博士，其导师为范磊副教授。他的主要研究方向为语义分割、多模态信息融合、3D视觉、高光谱图像和数据增强。 本文是对发表于模式识别领域顶刊Pattern Recognition 2024的...
-
思维链不存在了？纽约大学最新研究：推理步骤可省略
红极一时的思维链技术，可能要被推翻了！ 还在惊讶于大模型居然能够利用思维链分步骤思考？ 还在苦于不会写思维链提示词？ 来自纽约大学的研究人员表示：「没关系的，都一样」， 推理步骤不重要，不想写提示词也可以不写，用省略号代替就行了。 论文地址：https...
-
Flash Attention稳定吗？Meta、哈佛发现其模型权重偏差呈现数量级波动
Meta FAIR 联合哈佛优化大规模机器学习时产生的数据偏差，提供了新的研究框架。 众所周知，大语言模型的训练常常需要数月的时间，使用数百乃至上千个 GPU。以 LLaMA2 70B 模型为例，其训练总共需要 1,720,320 GPU hours。由...
-
图灵巨头现身ICLR，顶会现场疯狂追星LeCun、Bengio！中国团队三大技术趋势引爆AGI新想象
这几天，AI届的盛会——ICLR在维也纳举办。 OpenAI、Meta、谷歌、智谱AI等世界前沿AI科技企业齐聚一堂。 现场名流云集，星光耀眼，走几步就能偶遇一位发过颠覆性paper的大咖。 毫无意外地，ICLR 2024展厅也变成了追星现场。热闹的气氛...
-
太酷了！手机上部署最新AI大模型！只需两步！
在当前的AI革命中，大模型扮演着至关重要的角色，而这背后的基础便是Scaling Law。简而言之，随着数据、参数和计算能力的不断提升，大模型的能力也随之增强，展现出小规模模型所无法比拟的“涌现能力”。越来越多的AI企业纷纷推出开源大模型，按照扩展定律实...
-
原作者带队，LSTM真杀回来了！
20 世纪 90 年代，长短时记忆（LSTM）方法引入了恒定误差选择轮盘和门控的核心思想。三十多年来，LSTM 经受住了时间的考验，并为众多深度学习的成功案例做出了贡献。然而，以可并行自注意力为核心 Transformer 横空出世之后，LSTM 自身所...
-
综述170篇「自监督学习」推荐算法，港大发布SSL4Rec：代码、资料库全面开源！
推荐系统对于应对信息过载挑战至关重要，它们根据用户的个人偏好提供定制化推荐。近年来深度学习技术极大地推动了推荐系统的发展，提升了对用户行为和偏好的洞察力。 然而，由于数据稀疏性的问题，传统的监督学习方法在实际应用中面临挑战，这限制了它们有效学习用户表示的...
-
Agent Hospital：一个先进的虚拟AI医院模拟平台
Agent Hospital是一个创新的虚拟AI医院平台，它通过模拟医院中的所有真实医疗流程，为医疗教育和临床决策提供了一个高效的训练和研究环境。该平台涵盖了从疾病发生到治疗与康复的整个医疗过程，包括分诊、挂号、咨询、检查、诊断、治疗和随访等关键环节。...
-
超强Siri即将到来！苹果10篇重磅AI研究全总结，iOS 18关键一瞥
【新智元导读】一直以来，苹果在大模型、语音助手上的研究不断推陈出新，或许我们能够从中获得iOS18所具备AI能力的关键一瞥。 「Siri太笨，根本无法与ChatGPT竞争」，前苹果工程师John Burkey曾对Siri的评价如此不堪。 不过，诞生于11年...
-
一个小技巧，解锁ChatGPT「预测未来」？
如今，AI进步的速度，已经超出了我们对它用途的理解。 为了防止ChatGPT「失控」，OpenAI定制了一套堪称严苛的「服务条款」，涉及包括法律、医疗/健康、个人安全、权利福祉、赌博放贷等领域。 不过，有一件事并不受影响——讲故事。 最近，贝勒大学的研究...
-
「代理人战争」！微软、OpenAI 、谷歌、Meta用AI Agent疯狂搞钱
【新智元导读】为了搞钱，微软、OpenAI 、谷歌和Meta纷纷瞄准Agent这片蓝海，各顶尖高校也紧随其后。Agent才是商业学术两开花的未来! 大模型发展至今早已火成了一个「概念」。 不管是学术界还是工业界，都要套上一层LLM的皮，方可彰显自己位于浪潮...
-
微软发布AI天气预测模型 能精准预报未来30天天气
微软Start团队近日宣布，他们开发出了一种全新的数据驱动AI天气预测模型，该模型能够准确预测未来30天的天气情况。这一研究成果不仅在预报准确率上取得了显著提升，同时在计算效率上也实现了巨大突破。 论文地址:https://arxiv.org/pdf/2...
-
低成本LLM应用开发利器——开源FrugalGPT框架
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 本文将详细介绍一个LLM驱动型应用程序的成本节约架构FrugalGPT。 大型语言模型为计算机科学开辟了一个新的前沿；然而，它们（截至...
-
AI学会隐藏思维暗中推理！不依赖人类经验解决复杂任务，更黑箱了
AI做数学题，真正的思考居然是暗中“心算”的? 纽约大学团队新研究发现，即使不让AI写步骤，全用无意义的“……”代替，在一些复杂任务上的表现也能大幅提升! 一作Jacab Pfau表示:只要花费算力生成额外token就能带来优势，具体选择了什么token无...
-
苹果推出理解、转化模型ReALM，性能超GPT-4
苹果的研究人员推出了一种创新模型ReALM，可将参考解析问题转化为语言建模问题，能极大提升AI助手处理很多描述复杂或模糊不清的内容。 例如，我们网购时选好了橘子、鸭梨、苹果、橘子汽水、洗发水、短袖、拖鞋等物品，然后告诉AI助手只结算水果。这时传统的AI助手...
-
谷歌DeepMind新方法Gecko，为测试AI图像生成器引入严格新标准
谷歌 DeepMind 最近的研究示了当前我们对文本到图像 AI 模型性能评估的隐藏局限性。在其发布在预印本服务器 ariv 上的研究中，他们引入了一种全新的方法称为 “Gecko”，承诺提供一个更全和可靠的基准，以评估这一蓬勃发展的技术。 研究团队在其...
-
史上最大重建25km²！NeRF-XL：真正有效利用多卡联合训练！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：NeRF-XL: Scaling NeRFs with Multiple GPUs 论文链接：https://research.nvidia.com/labs/toronto-ai/nerfx...
-
单卡跑Llama 70B快过双卡，微软硬生生把FP6搞到了A100里 | 开源
FP8和更低的浮点数量化精度，不再是H100的“专利”了！ 老黄想让大家用INT8/INT4，微软DeepSpeed团队在没有英伟达官方支持的条件下，硬生生在A100上跑起FP6。 测试结果表明，新方法TC-FPx在A100上的FP6量化，速度接近甚至...
-
中国首个Sora级大模型Vidu：文本生成16秒，1080p高清视频
4月27日，在2024中关村论坛-未来人工智能先锋论坛上，清华大学联合生数科技正式发布了，中国首个长时间、高一致性、高动态性视频大模型——Vidu。 据悉，Vidu采用了原创的Diffusion与Transformer融合的架构U-ViT，支持文本生成长达...
-
FisheyeDetNet：首个基于鱼眼相机的目标检测算法
本文经自动驾驶之心公众号授权转载，转载请联系出处。 目标检测在自动驾驶系统当中是一个比较成熟的问题，其中行人检测是最早得以部署算法之一。在多数论文当中已经进行了非常全面的研究。然而，利用鱼眼相机进行环视的近距离的感知相对来说研究较少。由于径向畸变较大，标...
-
吴恩达：多智能体协作是新关键，软件开发等任务将更高效
前不久，斯坦福大学教授吴恩达在演讲中提到了智能体的巨大潜力，这也引起了众多讨论。其中，吴恩达谈到基于 GPT-3.5 构建的智能体工作流在应用中表现比 GPT-4 要好。这表明，将目光局限于大模型不一定可取，智能体或许会比其所用的基础模型更加优秀。 在软...
-
AI信任危机之后，揭秘预训练如何塑造机器的「可信灵魂」
图表 1: 大模型的通用训练流程 [1] 在人工智能的前沿领域，大语言模型（Large Language Models，LLMs）由于其强大的能力正吸引着全球研究者的目光。在 LLMs 的研发流程中，预训练阶段占据着举足轻重的地位，它不仅消耗了大量的计...
-
这就是OpenAI神秘的Q*？斯坦福：语言模型就是Q函数
还记得去年 11 月底爆出来的 Q* 项目吗？这是传说中 OpenAI 正在秘密开展、或将带来颠覆性变革的 AI 项目。如果你想回忆一下，可参看机器之心当时的报道《全网大讨论：引爆 OpenAI 全员乱斗的 Q * 到底是什么？》简而言之，Q* 很可能是...
-
谷歌AI提出MathWriting:整合人工书写和合成数据集等改变手写数学表达式识别
近年来，在线文本识别模型取得了显著进展，但数学表达（ME）识别作为更为复杂的任务仍未得到足够关注。 谷歌研究团队推出了 MathWriting，一个专注于在线手写数学表达的数据集，包含230k 人工编写和400k 合成样本，超越了类似 IM2LATEX-1...
-
加州理工华人用AI颠覆数学证明！提速5倍震惊陶哲轩，80%数学步骤全自动化
Lean Copilot，让陶哲轩等众多数学家赞不绝口的这个形式化数学工具，又有超强进化了？ 就在刚刚，加州理工教授Anima Anandkumar宣布，团队发布了Lean Copilot论文的扩展版本，并且更新了代码库。 图片 论文地址：https:/...
-
超越BEVFusion！DifFUSER：扩散模型杀入自动驾驶多任务（BEV分割+检测双SOTA）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 目前，随着自动驾驶技术的越发成熟以及自动驾驶感知任务需求的日益增多，工业界和学术界非常希望一个理想的感知算法模型，可以同时完成如3D目标检测以及基于BEV空间的语义分...
-
中山大学“梗王”大模型CLoT 靠讲笑话入选顶会CVPR
中山大学HCP实验室联合Sea AI Lab和哈佛大学等单位开展的一项研究，成功地让大型人工智能模型通过讲笑话的方式，探索多模态大模型的创造力，并因此获得了计算机视觉和模式识别领域的顶级会议CVPR的认可。 这项研究的关键在于使用来自日本的“大喜利”（Oo...
-
史上首次，AI超越人类奥赛金牌得主！吴方法加持，30题做出27道破纪录
首位超越国际奥林匹克竞赛金牌得主的AI，刚刚诞生了！ 印度理工学院海得拉巴分校、图宾根AI中心、剑桥大学的研究者发现—— 通过「吴方法」，可以让AI变成和人类数学奥赛银牌得主同样的水平，而「AI数学大师」AlphaGeometry，则直接超越了IMO金牌...
-
激发大语言模型空间推理能力：思维可视化提示
大语言模型（LLMs）在语言理解和各种推理任务中展现出令人印象深刻的性能。然而，它们在人类认知的关键一面——空间推理上，仍然未被充分研究。人类具有通过一种被称为 心灵之眼 的过程创造看不见的物体和行为的心智图像的能力，从而使得对未见世界的想象成为可能。...
-
大模型做时序预测也很强！华人团队激活LLM新能力，超越一众传统模型实现SOTA
大语言模型潜力被激发—— 无需训练大语言模型就能实现高精度时序预测，超越一切传统时序模型。 来自蒙纳士大学、蚂蚁、IBM研究院提出了一种通用框架，结果成功激活大语言模型跨模态处理时序数据的能力。 时序预测有益于城市、能源、交通、遥感等典型复杂系统的决策...
-
每周AI新闻（2024年第11周）Meta公布Llama 3集群细节 | Sora将于年内推出 | 全球首个AI软件工程师发布
这里是陌小北，一个正在研究硅基生命的碳基生命。正在努力成为写代码的里面背诗最多的，背诗的里面最会写段子的，写段子的里面代码写得最好的…厨子。 每周日解读每周AI大事件。 欢迎关注同名公众号【陌北有棵树】，关注AI最新技术与资讯。 大厂动向 M...
-
费米悖论与收益递减，超级人工智能与人类社会将会怎样相互作用
在探索宇宙生命的奥秘时，我们不禁会问：在这浩瀚的宇宙中，为什么我们还没有遇到其他文明的迹象？这个问题被称为费米悖论。而在人工智能领域，随着技术的飞速发展，超级AI——那些在智力上远超人类的机器智能——已不再是科幻小说的构想，而是未来可能迎来的现实。 数学...
-
破解36年前魔咒！Meta推出反向训练大法消除大模型「逆转诅咒」
【新智元导读】大语言模型的「逆转诅咒」，被解开了。近日，来自Meta FAIR的研究人员推出了反向训练大法，让模型从反方向上学到了事实之间的逻辑，终于改进了这个困扰人们已久的问题。 大语言模型的「逆转诅咒」，被解开了! 这个诅咒在去年9月首次被发现，一时间...
-
破除36年前魔咒！Meta推出反向训练大法消除大模型「逆转诅咒」
大语言模型的「逆转诅咒」，被解开了！ 这个诅咒在去年9月首次被发现，一时间引起LeCun、Karpathy、马库斯等一众大佬的惊呼。 因为风光无两、不可一世的大模型竟存在着“阿克琉斯之踵”：一个在「A是B」上训练的语言模型，并不能正确回答出「B是A」。...