-
DeepMind：谁说卷积网络不如ViT？
深度学习的早期成功可归功于卷积神经网络（ConvNets）的发展。近十年来，ConvNets 主导了计算机视觉基准测试。然而近年来，它们越来越多地被 ViTs（Vision Transformers）所取代。 很多人认为，ConvNets 在小型或中等规...
-
RLHF与AlphaGo核心技术强强联合，UW/Meta让文本生成能力再上新台阶
在一项最新的研究中，来自 UW 和 Meta 的研究者提出了一种新的解码算法，将 AlphaGo 采用的蒙特卡洛树搜索算法（Monte-Carlo Tree Search, MCTS）应用到经过近端策略优化（Proximal Policy Optimiz...
-
35年首次证明，NYU重磅发现登Nature：神经网络具有类人泛化能力，举一反三超GPT-4
【新智元导读】Nature刊登了纽约大学等机构的研究人员在人工智能领域最新突破，证明神经网络具有类似人类语言的泛化性能，再一次印证了AI发展的无限潜力! 35年来，认知科学、人工智能、语言学和哲学领域的研究人员一直在争论神经网络是否能实现类似人类的系统泛...
-
35年首次证明！NYU重磅发现登Nature：神经网络具有类人泛化能力，举一反三超GPT-4
35年来，认知科学、人工智能、语言学和哲学领域的研究人员一直在争论神经网络是否能实现类似人类的系统泛化。 具体来说，人们一直认为，AI无法像人类一样具有「系统泛化（systematic generalization）」能力，不能对没有经过训练的知识做到「...
-
可能被“偷窥”了！大模型隐私推理准确率95.8%
Reddit上的一位用户发表了一句关于通勤路线的状态： 我的通勤路上有个恼人的路口，我得在那儿等待转弯（waiting for a hook turn）。 尽管这位用户没有明确透露他的位置，但GPT-4模型却能够准确推断出他在墨尔本，因为“hook tu...
-
LeCun又双叒唱衰自回归LLM：GPT-4的推理能力非常有限，有两篇论文为证
「任何认为自动回归式 LLM 已经接近人类水平的 AI，或者仅仅需要扩大规模就能达到人类水平的人，都必须读一读这个。AR-LLM 的推理和规划能力非常有限，要解决这个问题，并不是把它们变大、用更多数据进行训练就能解决的。」 一直以来，图灵奖得主 Yan...
-
ChatGPT与DALL·E 3之间的行业「黑话」被人发现了
上个月底，OpenAI 发布了最新图像生成器 DALL・E 3，除了炸裂的生成效果外，最大看点是其与 ChatGPT 的集成。 DALL・E 3 构建在 ChatGPT 之上，用 ChatGPT 来创建、拓展和优化 prompt。这样一来，用户无需在 p...
-
「解释一切」图像概念解释器来了，港科大团队出品
你是否好奇当一个黑盒深度神经网络 (DNN 预测下图的时候，图中哪个部分对于输出预测为「击球手」的帮助最大？ 香港科技大学团队最新的 NeurIPS2023 研究成果给出了他们的答案。 论文：https://arxiv.org/abs/2305....
-
AIGC时代的视频扩散模型，复旦等团队发布领域首篇综述
AI 生成内容已经成为当前人工智能领域的最热门话题之一，也代表着该领域的前沿技术。近年来，随着 Stable Diffusion、DALL-E3、ControlNet 等新技术的发布，AI 图像生成和编辑领域实现了令人惊艳的视觉效果，并且在学术界和工业界...
-
Meta普林斯顿提出LLM上下文终极解决方案！让模型化身自主智能体，自行读取上下文节点树
到底什么才是LLM长上下文模型的终极解决方案？ 最近由普林斯顿大学和Meta AI的研究者提出了一种解决方案，将LLM视为一个交互式智能体，让它决定如何通过迭代提示来读取文本。 论文地址：https://arxiv.org/abs/2310.05029...
-
GPT-4教会机器手转笔、玩魔方！RL社区震惊：LLM设计奖励竟能超越人类？
GPT-4，竟然教会机器人转笔了！ 图片 英伟达、宾大、加州理工、德州奥斯汀等机构的专家提出一个开放式Agent——Eureka，它是一个开放式Agent，为超人类水平的机器人灵巧性设计了奖励功能。 图片 论文链接：https://arxiv.org/p...
-
在视觉提示中加入「标记」，微软等让GPT-4V看的更准、分的更细
最近一段时间，我们见证了大型语言模型（LLM）的显著进步。特别是，生成式预训练 Transformer 或 GPT 的发布引领了业界和学术界的多项突破。自 GPT-4发布以来，大型多模态模型 (LMM 引起了研究界越来越多的兴趣，许多工作致力于构建多模态...
-
有了GPT-4之后，机器人把转笔、盘核桃都学会了
在学习方面，GPT-4 是一个厉害的学生。在消化了大量人类数据后，它掌握了各门知识，甚至在聊天中能给数学家陶哲轩带来启发。 与此同时，它也成为了一名优秀的老师，而且不光是教书本知识，还能教机器人转笔。 这个机器人名叫 Eureka，是来自英伟达、宾夕法...
-
Meta重磅更新，小扎在元宇宙里养了会做家务的狗！人形化身超逼真，AI智能体在真实物理世界和人互动
今天开始，人类离帮忙做家务的机器人，又近了一步！ Meta宣布推出Habitat 3.0，目的是开发出社会化的AI智能体，这意味着社交智能机器人已经进入新的里程碑阶段。 这些具身智能背后的关键，当然就是AI Agent。有了它们，机器人可以和人类协作...
-
数学逻辑和计算机程序代码之间的深层联系：互为镜像
一些科学发现被赋予了重要的意义，因为揭示了一些新的东西，比如 DNA 的双螺旋结构或黑洞的存在。但是，揭示出的这些东西还具有更深远的意义，因为它们表明：两个之前看起来大不一样的老旧概念事实上却是一样的。比如詹姆斯・克拉克・麦克斯韦发现的方程组表明，电与磁...
-
参数少近一半，性能逼近谷歌Minerva，又一个数学大模型开源了
如今，在各种文本混合数据上训练出来的语言模型会显示出非常通用的语言理解和生成能力，可以作为基础模型适应各种应用。开放式对话或指令跟踪等应用要求在整个自然文本分布中实现均衡的性能，因此更倾向于通用模型。 不过如果想要在某一领域（如医学、金融或科学）内最大限...
-
评论能力强于GPT-4，上交开源13B评估大模型Auto-J
随着生成式人工智能技术的快速发展，确保大模型与人类价值（意图）对齐（Alignment）已经成为行业的重要挑战。 虽然模型的对齐至关重要，但目前的评估方法往往存在局限性，这也让开发者往往困惑：大模型对齐程度如何？这不仅制约了对齐技术的进一步发展，也引发了...
-
斯坦福公开十大主流模型透明度！Llama 2位列第一，GPT-4透明差，LeCun炮轰：盈利完全理解
GPT-4、Llama等基础模型（FM）相继诞生，已成为当前生成式AI的引擎。 尽管这些FM的社会影响力不断增大，但透明度反而下降。 GPT-4官宣后，OpenAI公布的技术报告中，并未提及关键信息。包括谷歌PaLM，以及其他闭源模型也是如此。 每个人...