-
250行代码从头搭建Llama 3，GitHub一天4.6k星！Karpathy大赞
Llama系列作为为数不多的优质开源LLM，一直受到开发者们的追捧。在Hugging Face社区的文本生成模型中，几乎是「霸榜」的存在。 就在520这天，一位名叫Nishant Aklecha的开发者在推特上宣布了自己的一个开源项目，名为「从头开始实...
-
牛津大学最新 | 近400篇总结！畅谈大语言模型与三维世界最新综述
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 随着大型语言模型（LLM）的发展，它们与3D空间数据（3D LLM）之间的集成取得了快速进展，为理解物理空间和与物理空间交互提供了前所未有的能力。本文全面概述了LLM...
-
复旦团队重大突破登Cell，破纪录复活「冰封」18个月人脑！三体云天明计划成真？
就在刚刚，科学家们成功地复活了冷冻的人类大脑！ 这项技术，是低温技术领域的重大突破，为改进神经系统疾病的研究方法铺平了道路。 本月，复旦大学邵志成博士团队的这篇工作，也正式登上了Cell子刊。 论文地址：https://www.cell.com/cel...
-
替代MLP的KAN，被开源项目扩展到卷积了
本月初，来自 MIT 等机构的研究者提出了一种非常有潜力的 MLP 替代方法 ——KAN。 KAN 在准确性和可解释性方面表现优于 MLP，而且它能以非常少的参数量胜过以更大参数量运行的 MLP。比如，作者表示，他们用 KAN 以更小的网络和更高的自动化...
-
谷歌推出开源工具Model Explorer，助力AI透明度和问责制
随着人工智能模型日益复杂化，理解其内部工作机制的挑战也日益凸显，这对研究人员和工程师来说是一个紧迫的问题。谷歌最新推出的开源工具Model Explorer承诺为这些系统的不透明性带来曙光，有望开启AI透明度和问责制的新时代。 Model Explore...
-
Ilya离职后第一个动作：点赞了这篇论文，网友抢着传看
自Ilya Sutskever官宣离职OpenAI后，他的下一步动作成了大家关注焦点。 甚至有人密切关注着他的一举一动。 这不，Ilya前脚刚刚点赞❤️了一篇新论文—— ——网友们后脚就抢着都看上了： 论文来自MIT，作者提出了一个假说，用一句话总结...
-
CVPR'24 Oral | 一览纯稀疏点云检测器SAFDNet的前世今生！
写在前面&笔者的个人理解 3D点云物体检测对自动驾驶感知至关重要，如何高效地从稀疏点云数据中学习特征表示是3D点云物体检测面临的一个关键挑战。我们在本文中将会介绍团队发表在NeurIPS 2023的HEDNet和CVPR 2024的SAFDNet...
-
不止3D高斯！最新综述一览最先进的3D重建技术
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 基于图像的3D重建是一项具有挑战性的任务，涉及从一组输入图像推断目标或场景的3D形状。基于学习的方法因其直接估计3D形状的能力而受到关注。这篇综述论文的重点是最先进的...
-
告别3D高斯Splatting算法，带神经补偿的频谱剪枝高斯场SUNDAE开源了
本论文作者包括帝国理工学院硕士生杨润一、北航二年级硕士生朱贞欣、北京理工大学二年级硕士生姜洲、北京理工大学四年级本科生叶柏均、中国科学院大学本科大三学生张逸飞、中国电信人工智能研究院多媒体认知学习实验室（EVOL Lab）负责人赵健、清华大学智能产业研究...
-
突发！OpenAI首席科学家Ilya官宣离职，GPT-4负责人接任
今天，OpenAI 联合创始人、首席科学家 Ilya Sutskever 发推宣告离职。 在 OpenAI 工作近 10 年后，我做出了离开的决定。OpenAI 的发展轨迹可以称得上是奇迹，我相信 OpenAI 会在 Sam Altman、G...
-
GPT-4o深夜炸场！AI实时视频通话丝滑如人类，Plus功能免费可用，奥特曼：《她》来了
不开玩笑，电影《她》真的来了。 OpenAI最新旗舰大模型GPT-4o，不仅免费可用，能力更是横跨听、看、说，丝滑流畅毫无延迟，就像在打一个视频电话。 现场直播的效果更是炸裂： 它能感受到你的呼吸节奏，也能用比以前更丰富的语气实时回复，甚至可以做到随时打...
-
美国教授用2岁女儿训AI模型登Science！人类幼崽头戴相机训练全新AI
【新智元导读】为训练AI模型，纽约州立大学的一名教授Brenden Lake，竟让自己不到2岁女儿头戴相机收集数据!要知道，Meta训Llama3直接用了15万亿个token，如果Lake真能让AI模型学习人类幼崽，从有限的输入中学习，那LLM的全球数据荒...
-
力压Transformer？首篇Mamba综述来了！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 Mamba是一种新的选择性结构状态空间模型，在长序列建模任务中表现出色。Mamba通过全局感受野和动态加权，缓解了卷积神经网络的建模约束，并提供了类似于Transfo...
-
Paper Digest | 基于原型学习的实体图谱预训练跨域推荐框架
可以看到，通过映射得到对应item相关的entity后，基于图谱推理流程，我们可以得到许多和映射得到的entity相关的高阶信息，如苹果这个公司有手机产品，而手机这类产品相关的公司有三星等，从而可以潜在的拉近和其他相关实体（如三星生产的手机等）间的关系。...
-
万字长文超全总结Pytorch核心操作！
在深度学习与人工智能领域，PyTorch已成为研究者与开发者手中的利剑，以其灵活高效的特性，不断推动着新技术的边界。对于每一位致力于掌握PyTorch精髓的学习者来说，深入了解其核心操作不仅是提升技能的关键，也是迈向高级应用与创新研究的必经之路。本文精心...
-
网传Ilya Sutskever的推荐清单火了，掌握当前AI 90%
随着生成式 AI 模型掀起新一轮 AI 浪潮，越来越多的行业迎来技术变革。许多行业从业者、基础科学研究者需要快速了解 AI 领域发展现状、掌握必要的基础知识。 如果有一份「机器学习精炼秘笈」，你认为应该涵盖哪些知识？ 近日，一份网传 OpenAI 联合创...
-
Stack Overflow 用户抗议不愿将其知识用于 AI 训练
Stack Overflow 用户正在抗议该问答网站与 OpenAI 的合作，宣布他们宁愿删除自己的帖子并牺牲声誉分数，也不愿让自己的回答被用于训练 ChatGPT。 本周早些时候宣，OpenAI 将能够使用 Stack Overflow 用户在过去15年...
-
理论+实践，带你了解分布式训练
本文分享自华为云社区《大模型LLM之分布式训练》，作者： 码上开花_Lancer。 随着语言模型参数量和所需训练数据量的急速增长，单个机器上有限的资源已无法满足大语言模型训练的要求。需要设计分布式训练（Distributed Training）系统来解决...
-
AlphaFold 3一夜预测地球所有生物分子，谷歌DeepMind颠覆生物学登Nature头版！
时隔3年，AlphaFold 3横空出世，再次掀起AI学术圈巨震！ 初代AlphaFold诞生之后，一直停留在预测「蛋白质」的宇宙中。 今天，升级后的AlphaFold 3能够以前所未有的「原子精度」，预测出所有生物分子的结构和相互作用。 图片 最重要的...
-
综述170篇「自监督学习」推荐算法，港大发布SSL4Rec：代码、资料库全面开源！
推荐系统对于应对信息过载挑战至关重要，它们根据用户的个人偏好提供定制化推荐。近年来深度学习技术极大地推动了推荐系统的发展，提升了对用户行为和偏好的洞察力。 然而，由于数据稀疏性的问题，传统的监督学习方法在实际应用中面临挑战，这限制了它们有效学习用户表示的...
-
据报道，微软正在开发拥有5000亿个参数的MAI-1人工智能模型
据The Information近日报道，微软公司正在开发一个拥有约5000亿个参数的大型语言模型。 据悉，这个在微软内部被称为MAI-1的大型语言模型预计最早将于本月亮相。 OpenAI在2020年中期推出 GPT-3 时，详细说明了该模型的初始版...
-
干翻AI PC!苹果M4芯片首发 新款iPad Pro顶配超2万
在春季新品发布会上，苹果公司展示了其最新技术和产品革新，包括配备M4芯片和双层OLED屏幕的新款iPad Pro，以及Apple Pencil Pro和更大尺寸的iPad Air。 iPad Pro升级亮点 超薄设计:新款iPad Pro以超薄机身亮相...
-
苹果深夜扔出M4核弹，iPad Pro碾压所有AI PC！280亿晶体管3nm工艺称霸地表
不出所料，发布会上，苹果又开大了！ 此次发布会的一系列重磅更新，都是围绕着主角iPad展开。 库克直言：这将是iPad诞生以来的一个里程碑。 新款iPad Pro，轻薄到不可思议，直接让便携性和性能提升到史诗级水平。用苹果的话说就是——我们在打破iPa...
-
爆火后反转？「一夜干掉MLP」的KAN：其实我也是MLP
多层感知器（MLP），也被称为全连接前馈神经网络，是当今深度学习模型的基础构建块。MLP 的重要性无论怎样强调都不为过，因为它们是机器学习中用于逼近非线性函数的默认方法。 但是最近，来自 MIT 等机构的研究者提出了一种非常有潜力的替代方法 ——KAN。...
-
LeCun转发，AI让失语者重新说话！纽约大学发布全新「神经-语音」解码器
脑机接口（BCI）在科研和应用领域的进展在近期屡屡获得广泛的关注，大家通常都对脑机接口的应用前景有着广泛的畅享。 比如，由于神经系统的缺陷造成的失语症不仅严重阻碍患者的日常生活，还可能限制他们的职业发展和社交活动。随着深度学习和脑机接口技术的迅猛发展，...
-
ChatGPT们的幕后先驱，斯坦福教授Manning的四十年NLP生涯
今年 1 月份，2024 年度 IEEE 冯诺伊曼奖项结果正式公布，斯坦福大学语言学和计算机科学教授、AI 学者克里斯托弗・曼宁（Christopher Manning）获奖。 曼宁教授是将深度学习应用于 NLP 领域的早期领军人物，在词向量 GloVe...
-
MLP一夜被干掉！MIT加州理工等革命性KAN破记录，发现数学定理碾压DeepMind
一夜之间，机器学习范式要变天了！ 当今，统治深度学习领域的基础架构便是，多层感知器（MLP）——将激活函数放置在神经元上。 那么，除此之外，我们是否还有新的路线可走？ 就在今天，来自MIT、加州理工、东北大学等机构的团队重磅发布了，全新的神经网络结构...
-
奥特曼本人确认：神秘gpt2不是GPT-4.5！
答案揭晓了！ 「神秘gpt2-chatbot不是GPT-4.5」。 最近，Sam Altman在哈佛大学演讲中，向所有人确认了这不是OpenAI下一代的模型。 还记得几天前，gpt2-chatbot突然在LLM竞技场chat.lmsys.org现身，展现...
-
特斯拉机器人进厂打工，马斯克：手的自由度今年将达到22个！
特斯拉机器人Optimus最新视频出炉，已经可以在厂子里打工了。 正常速度下，它分拣电池（特斯拉的4680电池）是这样的： 官方还放出了20倍速下的样子——在小小的“工位”上，拣啊拣啊拣： 这次放出的视频亮点之一在于Optimus在厂子里完成这项工作...
-
特斯拉Optimus人形机器人进厂打工，娴熟分装电池、自我矫正，还能走更远了
特斯拉人形机器人又解锁了新技能！ 昨日，Tesla Optimus 官方发布了新的 demo 视频，展示了二代 Optimus 人形机器人的最新进展。 这次，Optimus 开始进厂打工了，在特斯拉电池工厂学会了分装电池，并且比以前走得更快更远更稳了。...
-
如何在网络服务中利用人工智能和机器学习
将人工智能技术集成到各种产品中已经成为游戏规则的改变者，特别是在网络服务系统中。人工智能的定义已经扩展到包含编程代码中的启发式和概率，为更高效的数据处理和解决问题的能力铺平了道路。 机器学习(ML 市场正在全球范围内蓬勃发展。2022年，其价值约为19...
-
模型量化与量化在LLM中的应用 ｜ 得物技术
【图片出处：Knowledge Distillation: A survey,2021,p2】 剪枝则是通过靠剪除模型中不重要的权重从而给模型“瘦身”，提高模型的推理效率，为了保证模型的能力，通常剪枝过程也需要伴随着模型基于训练数据的微调。根据剪除权重的...
-
闭环永动机！NeuroNCAP：彻底打通端到端闭环仿真链路，已开源！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 本文提出了一种用于测试自动驾驶（AD）软件系统的多功能基于NeRF的仿真器，其设计重点是传感器真实闭环评估和安全关键场景的创建。仿真器从真实世界的驾驶传感器数据序列中...
-
苹果首款AI平板曝光，新iPad Pro搭载M4芯片
据彭博社Mark Gurman的最新爆料，苹果公司即将在5月份发布新版iPad Pro，这款设备将直接搭载M4芯片，跳过M3版本。M4芯片继续采用台积电3nm工艺，其主要改进在于提升神经网络引擎的性能，这将使得AI功能运行更加流畅。 M4系列芯片可能包括M...
-
苹果高管：Mac是可以买到最好的AI电脑
快科技4月28日消息，苹果Mac产品营销部门Laura Metz在接受采访时表示:Mac是用户可以买到的最好的操作生成式AI的个人电脑产品。” Laura Metz声称，实际上苹果从2020年第一款M系列芯片M1推出的时候，就已经开始AI的部署了，在M1芯...
-
最新综述！万字长文彻底搞懂单目3D车道线检测
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 3D车道检测在自动驾驶中起着至关重要的作用，通过从三维空间中提取道路的结构和交通信息，协助自动驾驶汽车进行合理、安全和舒适的路径规划和运动控制。考虑到传感器成本和视觉数...
-
图灵诺奖得主等大佬齐聚海淀！清华版Sora震撼首发，硬核AI盛会破算力黑洞
中关村论坛举办以来的首个主题日活动：「人工智能主题日」今日开启！ 到场嘉宾，也是星光熠熠，大佬云集，还有着浓浓的国际范儿，与世界顶尖水平接轨。 一共161位嘉宾，近一半是外籍AI大佬和从业者。 而嘉宾阵容也是非常豪华，汇集了国内外30多名院士，还有诺奖、...
-
终局之战！OpenAI Sora大佬专访：AI视频模型仍处在GPT-1时代
【新智元导读】Sora一出，谁与争锋!近日，Sora团队的三位负责人Aditya Ramesh、Tim Brooks和Bill Peebles接受了采访，解读了Sora在模拟现实、预测结果和丰富人类体验等方面带来的变革。 对于视频生成领域，大家一致的看法就...
-
一文解决任何机器学习问题！
前言 数据挖掘大神Abhishek Thakur，很多数据挖掘kaggler对他都非常熟悉，他在 Linkedin 发表了一篇名为Approaching (Almost Any Machine Learning Problem(几乎解决任何机器学习...
-
探讨自回归模型和扩散模型的发展应用
在当前大模型驱动的内容创新浪潮中，人工智能产业正以前所未有的力度拥抱一场由大模型技术策动的科技革新运动。这场革命不仅重塑了人机交互的边界，使其跃升至更高层次的认知协作，而且正在颠覆传统的计算思维与执行模式，催生出全新的计算范式，从而深刻地渗透并革新各行各...
-
量化、剪枝、蒸馏，这些大模型黑话到底说了些啥？
量化、剪枝、蒸馏，如果你经常关注大语言模型，一定会看到这几个词，单看这几个字，我们很难理解它们都干了些什么，但是这几个词对于现阶段的大语言模型发展特别重要。这篇文章就带大家来认识认识它们，理解其中的原理。 模型压缩 量化、剪枝、蒸馏，其实是通用的神经网络...
-
OpenAI Preparedness团队首席Aleksander Madry：机器学习模型的内部计算如何将输入转化为预测？
考虑一个标准的ResNet50模型，该模型经过训练用于图像分类任务。我们是否能够理解这个模型中的卷积滤波器如何将输入图像转换为其预测的标签？或者，GPT-3中的注意力头如何contribute到下一个标记的预测？理解这些模型组件——包括滤波器或头等架构...
-
黄仁勋亲自给OpenAI送货，全球首台DGX H200开箱了
今天，黄仁勋又来送 AI 芯片了，还是超强悍的那种。 OpenAI 联合创始人、总裁 Greg Brockman 发推，晒出了自己、OpenAI CEO 奥特曼与英伟达创始人兼 CEO 黄仁勋的合照。 他表示，老黄亲自为 OpenAI 送来了全球第一台...
-
LLM 安全 | 大语言模型应用安全入门
一、背景 2023年以来，LLM 变成了相当炙手可热的话题，以 ChatGPT 为代表的 LLM 的出现，让人们看到了无限的可能性。ChatGPT能写作，能翻译，能创作诗歌和故事，甚至能一定程度上做一些高度专业化的工作，比如法律服务和医疗诊断咨询。...
-
《这就是ChatGPT》登顶微信读书热搜榜第一名
今日，据微信读书热搜榜显示，《这就是ChatGPT》登顶微信读书热搜榜第一名。 据悉，《这就是 ChatGPT》是一本由 [美] 斯蒂芬・沃尔夫拉姆（Stephen Wolfram）于2023年7月出版的图书，由人民邮电出版社出版。 该书主要介绍了 Op...
-
AI信任危机之后，揭秘预训练如何塑造机器的「可信灵魂」
图表 1: 大模型的通用训练流程 [1] 在人工智能的前沿领域，大语言模型（Large Language Models，LLMs）由于其强大的能力正吸引着全球研究者的目光。在 LLMs 的研发流程中，预训练阶段占据着举足轻重的地位，它不仅消耗了大量的计...
-
人工智能可以帮助识别门牌号吗？
人工智能(AI 是一项进步，使计算机和机器能够复制人类的知识和解决问题的能力。如今，人们正在使用人工智能识别门牌号码。人工智能可以单独或与其他技术相结合来执行任务，如传感器、地理定位、机器人技术，无需人类参与。 人工智能在识别门牌号码方面的作用 在计算...
-
AI成功改写人类DNA，全球首个基因编辑器震撼开源！近5倍蛋白质宇宙LLM全生成
AI，能够重写人类基因组了？ 就在刚刚，初创公司Profluent宣布，完全由AI设计的基因编辑器，已经成功编辑了人类细胞中的DNA。 也就是说，世界上首个使用AI从头设计的分子级精确基因编辑器诞生了。 就像ChatGPT能生成诗歌一样，Proflue...
-
自然语言处理(NLP)的工作原理
本文旨在揭开语言模型的神秘面纱，阐明其处理原始文本数据的基本概念和机制。它涵盖了几种类型的语言模型和大型语言模型，重点关注基于神经网络的模型。 语言模型定义 语言模型专注于生成类似人类的文本的能力。通用语言模型本质上是单词序列的统计模型或概率分布，用于...
-
牛津大学最新！Mickey：3D中的2D图像匹配SOTA！(CVPR'24)
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面 项目链接：https://nianticlabs.github.io/mickey/ 给定两张图像，可以通过建立图像间的对应关系来估计它们之间的相机相对姿态。通常，这些对应关系是二维到二维的...