-
谷歌Gemini大逆转？斯坦福Meta华人证明其推理性能强于GPT-3.5
【新智元导读】谷歌放出的Gemini，在对标GPT的道路上似乎一直处于劣势，Gemini真的比GPT-4弱吗?最近，斯坦福和Meta的学者发文为Gemini正名。 Gemini的推理能力，真的比GPT-4弱吗? 此前，谷歌憋出的重磅复仇神器Gemini P...
-
基础模型+机器人：现在已经走到哪一步了
机器人是一种拥有无尽可能性的技术，尤其是当搭配了智能技术时。近段时间创造了许多变革性应用的大模型有望成为机器人的智慧大脑，帮助机器人感知和理解这个世界并制定决策和进行规划。近日，CMU 的 Yonatan Bisk 和 Google DeepMind...
-
ChatGPT变笨新解释：世界被AI改变，与训练时不同了
对于ChatGPT变笨原因，学术界又有了一种新解释。 加州大学圣克鲁兹分校一项研究指出: 论文重点研究了“任务污染”问题，也就是大模型在训练时期就见识过很多任务示例，给人一种AI拥有零样本或少样本能力的错误印象。 也有学者从另一个角度指出，大模型训练...
-
字节具身智能新成果：用大规模视频数据训练GR-1，复杂任务轻松应对
最近 GPT 模型在 NLP 领域取得了巨大成功。GPT 模型首先在大规模的数据上预训练，然后在特定的下游任务的数据上微调。大规模的预训练能够帮助模型学习可泛化的特征，进而让其轻松迁移到下游的任务上。 但相比自然语言数据，机器人数据是十分稀缺的。而且机器...
-
大模型+机器人，详尽的综述报告来了，多位华人学者参与
大模型的出色能力有目共睹，而如果将它们整合进机器人，则有望让机器人拥有一个更加智能的大脑，为机器人领域带来新的可能性，比如自动驾驶、家用机器人、工业机器人、辅助机器人、医疗机器人、现场机器人和多机器人系统。 预训练的大型语言模型（LLM）、大型视觉 -...
-
华为诺亚的盘古Agent来了，让智能体学会结构化推理
自 AI 诞生以来，开发能够解决和适应复杂工作的多任务智能体（Agent）一直是个重要的目标。 AI 智能体对于许多应用至关重要，研究者通常用强化学习方法通过环境交互来培养智能体的决策技能。基于模型和无模型的深度强化学习方法都已取得了广为人们所知的成就，...
-
「Speaking AI」官网体验入口 文本到语音转换软件app免费下载地址
Speaking AI是一款利用大语言模型技术实现的文本到语音转换工具。它能够自然地进行对话，并实现零样本语音克隆，捕捉用户独特的音调、音高和调节，使得声音克隆听起来更加自然。想要体验Speaking AI的强大功能吗？下面为您提供Speaking AI官...
-
一篇综述，看穿基础模型+机器人的发展路径
机器人是一种拥有无尽可能性的技术，尤其是当搭配了智能技术时。近段时间创造了许多变革性应用的大模型有望成为机器人的智慧大脑，帮助机器人感知和理解这个世界并制定决策和进行规划。 近日，CMU 的 Yonatan Bisk 和 Google DeepMind...
-
我的大模型观：我眼中的LLM
文章目录 大模型是有智能的。 也许，大模型是一场骗局？ 从头训练or微调 我想象中的大模型架构 大厂的大模型 中小厂和个人开发该何去何从？ 今年，大模型火的一塌糊涂。最近几个月paper with code上，前几名的论文几乎都是生成模...
-
走在GPT 4.5前面？3D、视频直接扔进对话框，大模型掌握跨模态推理
给你一首曲子的音频和一件乐器的 3D 模型，然后问你这件乐器能否演奏出这首曲子。你可以通过听觉来辨认这首曲子的音色，看它是钢琴曲还是小提琴曲又或是来自吉他；同时用视觉识别那是件什么乐器。然后你就能得到问题的答案。但语言模型有能力办到这一点吗？ 实际上，...
-
AIGC系列之：CLIP和OpenCLIP
目录 模型背景 CLIP模型介绍 相关资料 原理和方法 Image Encoder Text Encoder 对比学习 预训练 Zero Shot预测 优势和劣势 总结 OpenClip模型介绍 相关资料 原理 结果 用法...
-
UC伯克利DeepMind等联合发布真实世界模拟器，打破虚实边界
真实世界模拟器来啦！ 还在发愁训练出的大模型无法适应真实的物理世界吗？ AI Agent想要进入我们的生活还有多远的距离？ ——UC伯克利、谷歌DeepMind、MIT和阿尔伯塔大学的研究人员告诉你答案。 在NeurlPS 2023上，研究人员将展示他们...
-
GPT-2能监督GPT-4，Ilya带头OpenAI超级对齐首篇论文来了：AI对齐AI取得实证结果
人类无法监督超级人工智能，但人工智能可以。 过去一年，以「预测下一个 Token」为本质的大模型已经横扫人类世界的多项任务，展现了人工智能的巨大潜力。 在近日的一次访谈中，OpenAI 首席科学家 Ilya Sutskever 大胆预言，如果模型能够很好地...
-
腾讯又整活！一句话让图片变动漫主角！
撰稿 | 清竹 出品 | 51CTO技术栈（微信号：blog51cto） 2023年底，AI圈似乎已经被“文生视频”模型攻占了！ 11月底 AI 文生视频工具 Pika 1.0 横空出世、风头一时无两，日前斯坦福大学 AI 科学家李飞飞团队联合谷歌推...
-
当GPT-4V充当机器人大脑，可能你都没AI会规划
GPT-4V 已经能帮我们设计网站代码，控制浏览器，这些应用集中在虚拟数字世界中。假如我们把 GPT-4V 带入现实世界，让它作为控制机器人的大脑，会有什么有趣的结果呢？ 最近，来自清华大学交叉信息研究院的研究者提出「ViLa」算法，实现了让 GPT-4...
-
LLaMA Adapter和LLaMA Adapter V2
LLaMA Adapter论文地址： https://arxiv.org/pdf/2303.16199.pdf LLaMA Adapter V2论文地址： https://arxiv.org/pdf/2304.15010.pdf LLaMA Ada...
-
视觉CV-AIGC一周最新技术精选(2023-11)
PG-Video-LLaVA: Pixel Grounding Large Video-Language Models https://github.com/mbzuai-oryx/Video-LLaVA 将基于图像的大型多模态模型（LMM）扩...
-
吞吐量提升近30倍！田渊栋团队最新论文解决大模型部署难题
大型语言模型 （LLM） 在今年可谓是风光无限。不过惊艳的效果背后是一个巨大的模型以及夸张的硬件资源。 LLM在现实中部署时通常会面临两个难题：昂贵的KV缓存成本，以及对长序列的泛化能力差。 近日，田渊栋团队发表了一篇论文，成功解决以上两个难题，并将推理...
-
Speaking AI官网体验入口 AI语音免费软件app下载
《Speaking AI》是一款利用先进的大语言模型技术实现的文本到语音转换工具，它能够以自然的情感进行对话并实现零样本语音克隆。这款工具可以捕捉用户独特的音调、音高和调节，允许用户以前所未有的方式复制和利用自己的声音。那么，《Speaking AI》在哪...
-
AI颠覆材料学！DeepMind重磅研究登Nature，预测220万晶体结构赢人类800年
陶哲轩一直看好，ChatGPT将颠覆数学证明，而如今，AI在化学领域的潜力同样深不可测。 今天，220万种晶体结构完全被AI预测出来了。 这是什么概念？相当于近800年的知识价值。 谷歌DeepMind开发全新AI工具GNoME，能够预测新材料的稳定性，...
-
一个提示，让Llama 2准确率飙至80.3%？Meta提出全新注意力机制S2A，大幅降低模型幻觉
2023的科技界，可以说是被大模型抢尽了风头（虚假的室温超导除外）。 我们经历了和LLM对话，见证了它们逐渐进入各个领域，甚至开始感受到威胁。 这一切，仅仅发生在一年之内。 当然了，基于大语言模型的原理，它诞生之时就有的一些毛病到现在也没有完全改正。 比...
-
【多模态】3、CLIP | OpenAI 出品使用 4 亿样本训练的图文匹配模型
文章目录 一、背景 二、方法 2.1 使用自然语言来监督训练 2.2 建立一个超大数据集 2.3 选择预训练的方式——对比学习而非预测学习 2.4 模型缩放和选择 三、效果 四、思考 论文：Learning Transferabl...
-
Open Vocabulary Detection 开放世界目标检测竞赛 2023获胜团队方案分享
OVD技术简介 目标检测是计算机视觉领域中的一项核心任务，其主要目标是让计算机能够自动识别图片中目标的类别，并准确标示每个目标的位置。目前，主流的目标检测方法主要针对闭集目标的开发，即在任务开始之前需要对待检测目标进行类别定义，并进行人工数据标注，通...
-
人类考92分的题，GPT-4只能考15分：测试一升级，大模型全都现原形了
AutoGPT 的得分也凉凉。 GPT-4自诞生以来一直是位「优等生」，在各种考试（基准）中都能得高分。但现在，它在一份新的测试中只拿到了15分，而人类能拿92。 这套名叫「GAIA」的测试题由来自 Meta-FAIR、Meta-GenAI、Hugging...
-
【GPT4】微软 GPT-4 测试报告（3）GPT4 的编程能力
欢迎关注【youcans的GPT学习笔记】原创作品，火热更新中微软 GPT-4 测试报告（1）总体介绍微软 GPT-4 测试报告（2）多模态与跨学科能力微软 GPT-4 测试报告（3）GPT4 的编程能力 【GPT4】微软 GPT-4 测试...
-
Distil-Whisper：比Whisper快6倍，体积小50%的语音识别模型
内容来源：@xiaohuggg Distil-Whisper：比Whisper快6倍，体积小50%的语音识别模型 该模型是由Hugging Face团队开发，它在Whisper核心功能的基础上进行了优化和简化，体积缩小了50%。速度提高了6倍。并...
-
LLMs之LLaMA：《LLaMA: Open and Efficient Foundation Language Models》翻译与解读
LLMs之LLaMA：《LLaMA: Open and Efficient Foundation Language Models》翻译与解读 导读：该论文提出了一个开源的大规模语言模型LLaMA，2048个A100-80G训练21天。该...
-
Grounding dino + segment anything + stable diffusion 实现图片编辑
目录 总体介绍 总体流程 模块介绍 目标检测： grounding dino 目标分割：Segment Anything Model (SAM 整体思路 模型结构： 数据引擎 图片绘制 集成 样例 其他问题 附录 总体介绍...
-
GPT-4不会图形推理？“放水”后准确率依然只有33%
GPT-4的图形推理能力，竟然连人类的一半都不到？ 美国圣塔菲研究所的一项研究显示，GPT-4做图形推理题的准确率仅有33%。 而具有多模态能力的GPT-4v表现更糟糕，只能做对25%的题目。 △虚线表示16项任务的平均表现 这项实验结果发表后，迅速在...
-
GitHub Copilot使用指南
GitHub Copilot 是由 GitHub 开发的 AI 编程插件，GitHub Copilot 由 OpenAI Codex 提供支持，OpenAI Codex 是一种由 OpenAI 创建的生成式预训练语言模型，可根据评论和代码的上下文提供上下文...
-
使用 GitHub Copilot 进行 Prompt Engineering 的初学者指南（译）
文章目录 什么是 GitHub Copilot ? GitHub Copilot 可以自己编码吗？ GitHub Copilot 的底层是如何工作的？ 什么是 prompt engineering? 这是 prompt engineering...
-
解决LLaMA、BERT等部署难题：首个4-bit浮点量化LLM来了
大语言模型 (LLM 压缩一直备受关注，后训练量化（Post-training Quantization 是其中一种常用算法，但是现有 PTQ 方法大多数都是 integer 量化，且当比特数低于 8 时，量化后模型的准确率会下降非常多。想较于 In...
-
【NLP】Llama & Alpaca大模型
?大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流? ?个人主页－Sonhhxg_柒的博客_CSDN博客 ? ?欢迎各位→点赞? + 收藏⭐️ + 留言? ?系列专栏 - 机器学习【ML】 自然语言...
-
CVPR 2023 | 去雨去噪去模糊，图像low-level任务，视觉AIGC系列
Learning A Sparse Transformer Network for Effective Image Deraining 基于Transformer的方法在图像去雨任务中取得了显著的性能，因为它们可以对重要的非局部信息进行建模，这对...
-
SpeakingAI官网体验入口 SpeakingAI免费软件怎么下载
Speaking AI是一款利用先进的大语言模型技术打造的文本转语音工具，具备丰富的情感交流能力，可以逼真地模仿任何人的声音。下面就给大家带来Speaking AI免费软件下载地址和介绍，一起来看看吧! 点击前往SpeakingAI官网体验入口 需求人群...
-
研究人员教会GPT-4V使用iPhone并在亚马逊应用程序上购物
在当今智能手机技术不断发展的世界中，对能够导航和与移动应用程序复杂界面进行交互的人工智能的需求不断增加。MM-Navigator通过使用GPT-4V代理来满足这一需求，该代理结合了图像处理和文本推理，使其能够在iPhone上执行购物任务。本文将着重介绍MM...
-
通用异常检测新曙光：华科大等揭秘GPT-4V的全方位异常检测表现
异常检测任务旨在识别明显偏离正常数据分布的异常值，在工业检验、医学诊断、视频监控和欺诈检测等多个领域都发挥了重要作用。传统的异常检测方法主要依赖于描述正常数据分布以进行正异常样本的区分。然而，对于实际的应用而言，异常检测也需要理解数据的高层语义，从而深入...
-
【网安AIGC专题10.11】2 ILF利用人类编写的 自然语言反馈 来训练代码生成模型：自动化反馈生成+多步反馈合并+处理多错误反馈+CODEGEN -M ONO 6.1 B model
Improving Code Generation by Training with Natural Language Feedback 写在最前面 主要工作 启发 背景介绍 应用 现有工作的不足 Motivation动机 方法 ILF...
-
[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora（部分）
文章目录 LLaMA大模型及其衍生模型 1. LLaMA 2. stanford_alpaca 3. ChatDoctor 4. alpaca-lora 5. Chinese-LLaMA-Alpaca 6. BELLE 大模型综述 A Su...
-
让AI模型成为GTA五星玩家，基于视觉的可编程智能体Octopus来了
电子游戏已经成为如今现实世界的模拟舞台，展现出无限可能。以游戏《侠盗猎车手》（GTA）为例，在 GTA 的世界里，玩家可以以第一人称视角，在洛圣都(游戏虚拟城市 当中经历丰富多彩的生活。然而，既然人类玩家能够在洛圣都里尽情遨游完成若干任务，我们是否也能有一...
-
用语言对齐多模态信息，北大腾讯等提出LanguageBind，刷新多个榜单
在现代社会，信息传递和交流不再局限于单一模态。我们生活在一个多模态的世界里，声音、视频、文字和深度图等模态信息相互交织，共同构成了我们丰富的感知体验。这种多模态的信息交互不仅存在于人类社会的沟通中，同样也是机器理解世界所必须面对的挑战。 如何让机器像人类...
-
大模型勇闯洛圣都，加封「GTA五星好市民」！南洋理工、清华等发布视觉可编程智能体Octopus：打游戏、做家务全能干
随着游戏制作技术的不断发展，电子游戏已然成为现实世界的模拟舞台。 以游戏《侠盗猎车手》（GTA）为例，在GTA的世界里，玩家可以以第一人称视角，在洛圣都（游戏虚拟城市）当中经历丰富多彩的生活。 然而，既然人类玩家能够在洛圣都里尽情遨游完成若干任务，我们...
-
带你认识一下多模态对比语言图像预训练CLIP
本文分享自华为云社区《多模态对比语言图像预训练CLIP：打破语言与视觉的界限》，作者：汀丶。 一种基于多模态（图像、文本）对比训练的神经网络。它可以在给定图像的情况下，使用自然语言来预测最相关的文本片段，而无需为特定任务进行优化。CLIP的设计类似于GP...
-
GPT-4完成正确率仅6%！北大等提出首个「多轮、多模态」PPT任务完成基准PPTC
【新智元导读】为了填补LLM在复杂多模态环境中利用复杂工具完成多轮、多模态指令的评估空白，研究人员引入了PowerPoint任务完成（PPTC）基准测试，以评估LLM创建和编辑PPT文档的能力。 最近对大型语言模型（例如ChatGPT和GPT-4）进行的评...
-
AI视野：xAI首个大模型Grok炸场;李开复官宣开源大模型Yi-34B;ChatGPT原型Gizmo新功能曝光;百度网盘引入大模型智能助理
????大模型动态 李开复官宣全球最强开源大模型Yi-34B 一次可处理40万汉字 零一万物发布全球最强的开源大模型Yi-34B，具备超强的语言理解和处理能力，支持处理40万汉字，在中文指标上表现卓越，标志着中国在大模型领域的重大突破。 项目地址:htt...
-
北大具身智能新成果：无需训练，听指令就能灵活走位
北京大学董豪团队具身导航最新成果来了： 无需额外建图和训练，只需说出导航指令，如： Walk forward across the room and walk through the panty followed by the kitchen. Stan...
-
一篇学会大模型浪潮下的时间序列预测
今天跟大家聊一聊大模型在时间序列预测中的应用。随着大模型在NLP领域的发展，越来越多的工作尝试将大模型应用到时间序列预测领域中。这篇文章介绍了大模型应用到时间序列预测的主要方法，并汇总了近期相关的一些工作，帮助大家理解大模型时代时间序列预测的研究方法。...
-
AI「脑补」画面太强了！李飞飞团队新作ZeroNVS，单个视图360度全场景生成
近来，利用3D感知扩散模型训练模型，然后对单个物体进行SDS蒸馏的研究数不胜数。 但是，能够真正做到「场景级」的画面生成，从未实现。 现如今，斯坦福李飞飞和谷歌团队打破了这个记录！ 比如，输入一张从某个角度拍摄的客厅图片，整个客厅的样貌就出来了。 再来...
-
图模型也要大？清华朱文武团队有这样一些观点
在大模型时代，图机器学习面临什么样的机遇和挑战？是否存在，并该如何发展图的大模型？针对这一问题，清华大学朱文武教授团队首次提出图大模型（Large Graph Model）概念，系统总结并梳理了图大模型相关的概念、挑战和应用；进一步围绕动态性和可解释性，...
-
苹果文生图大模型亮相：俄罗斯套娃式扩散，支持1024x1024分辨率
在生成式 AI 时代，扩散模型已经成为图像、视频、3D、音频和文本生成等生成式 AI 应用的流行工具。然而将扩散模型拓展到高分辨率领域仍然面临巨大挑战，这是因为模型必须在每个步骤重新编码所有的高分辨率输入。解决这些挑战需要使用带有注意力块的深层架构，这使...