-
中科院和汪军团队发布 大模型玩星际争霸秀到起飞
面对星际争霸II这一巨大挑战，团队开发了TextStarCraftII——一个全新的交互环境。TextStarCraftII基于python-sc2框架，将游戏中的状态信息和动作空间映射到文本空间。宏观战略动作被转化为LLMAgent能够理解并执行的具体语...
-
堪比Midjourney！上百种风格AI写真丝滑生成，这个开源项目能颠覆照相馆吗？
概览简介 FaceChain 是一个可以用来打造个人数字形象的深度学习模型工具平台。用户仅需要提供最低一张照片即可获得属于自己的个人形象数字替身。结合不同的风格模型和写真模版，可以生成超乎想象空间的个人写真作品。 更有意思的...
-
AI视野：Midjourney开始训练视频模型；文心一言用户破亿；优酷上线“AI搜片”功能；快手开源KwaiAgents系统
???AI新鲜事 Midjourney开始训练视频模型 Midjourney昨晚发布了重要消息，将开始视频模型训练，同时计划下周推出V6版本的重大更新。该更新将在文本处理方面有显著进步，提高内容连贯性和提示准确性。重点改进包括Inpainting功能和全新...
-
大模型被偷家！CNN搞多模态不弱于Transfromer（腾讯&港中文）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 腾讯AI实验室与港中文联合团队提出了一种新的CNN架构，图像识别精度和速度都超过了Transformer架构模型。 切换到点云、音频、视频等其他模态，也无需改变模型结构，简单预处理即可接近甚至超越SO...
-
Llama2推理RTX3090胜过4090，延迟吞吐量占优，但被A800远远甩开
大型语言模型 (LLM 在学界和业界都取得了巨大的进展。但训练和部署 LLM 非常昂贵，需要大量的计算资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的开源框架和方法。然而，不同硬件和软件堆栈的运行时性能可能存在很大差异，这使得选...
-
微软推大模型整合性工具库PromptBench
微软最近推出了一个专门用于评估大语言模型的整合性工具库，名为PromptBench。该工具库提供了一系列工具，包括创建不同类型的提示、进行数据集和模型加载、执行对抗性提示攻击等，以支持研究人员从不同方面对LLMs进行评估和分析。 项目地址:https:/...
-
GPT-4 API曝出重大漏洞 一句prompt就能提取私人信息
近日，GPT-4API曝出了安全漏洞，FAR AI实验室的团队通过微调、函数调用和搜索增强等方式成功越狱了这一先进模型。微调方面，通过15个有害样本和100个良性样本的微调，研究人员发现GPT-4在生成内容时可能会放下安全戒备，包括生成错误信息、提取私人信...
-
快手Agents系统、模型、数据全部开源！
7B 大小的模型也能玩转 AI Agents 了？近期，快手开源了「KwaiAgents」，问它周末滑雪问题，它不但帮你找到场地，连当天的天气都帮你考虑周到了。 大家都知道大语言模型（LLM）通过对语言的建模而掌握了大量知识，并具备一定认知和推理能力。...
-
什么？NeRF还能提升BEV泛化性能！首个BEV跨域开源代码并首次完成Sim2Real！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人总结 鸟瞰图(Bird eye's view, BEV 检测是一种通过融合多个环视摄像头来进行检测的方法。目前算法大部分算法都是在相同数据集训练并且评测，这导致了这些算法过...
-
超越BEVFusion！Lift-Attend-Splat：最新BEV LV融合方案
本文经自动驾驶之心公众号授权转载，转载请联系出处。 论文：Lift-Attend-Splat: Bird’s-eye-view camera-lidar fusion using transformers 链接：https://arxiv.org/pd...
-
AI视野：Pika1.0正式向所有人开放；阿里开源文生3D模型；Midjourney V6涉嫌侵权；谷歌推出新AI SDK
新鲜AI产品点击了解：https://top.aibase.com/ ???AI应用 Pika1.0正式向所有人开放 Pika1.0官方宣布正式向所有人开放网页版本试用资格，每个用户都可免费体验该创意视频制作平台。该版本以文生成视频为特色，提供3秒视频快速...
-
华为诺亚的盘古Agent来了，让智能体学会结构化推理
自 AI 诞生以来，开发能够解决和适应复杂工作的多任务智能体（Agent）一直是个重要的目标。 AI 智能体对于许多应用至关重要，研究者通常用强化学习方法通过环境交互来培养智能体的决策技能。基于模型和无模型的深度强化学习方法都已取得了广为人们所知的成就，...
-
大模型微调非得依赖人类数据吗？DeepMind：用带反馈的自训练更好
如你我所见，大语言模型（LLM）正在改变深度学习的格局，在生成人类质量的文本和解决各种语言任务方面展现出了卓越的能力。虽然业界通过对人类收集的数据进行监督微调进一步提升了在具体任务上的性能，但获取高质量人类数据却面临着重大瓶颈。这对于要解决复杂问题的任务...
-
DrivingGaussian：逼真环视数据，驾驶场景重建SOTA
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes...
-
InsCode Stable Diffusion使用教程（非常详细）从零基础入门到精通，看完这一篇就够了
记录一下如何使用 InsCode Stable Diffusion 进行 AI 绘图以及使用感受。 一、背景介绍 目前市面上比较权威，并能用于工作中的 AI 绘画软件其实就两款。一个叫 Midjourney（简称 MJ），另一个叫 Stable Di...
-
AI视野：必应推出GPT-4Turbo模型；抖音测试“AI搜”功能；小红书内测AI聊天机器人；OpenAI计划新一轮融资
????大模型动态 必应推出GPT-4Turbo模型 微软推出Bing Chat的最新模型，GPT-4Turbo，为用户提供更准确和最新的信息。目前仅限部分用户试用，使用方法需通过检查资格确认。 阿里团队推新AI模型I2VGen-XL 视频合成领域迎来...
-
挑战Transformer的Mamba是什么来头？作者博士论文理清SSM进化路径
在大模型领域，Transformer 凭一己之力撑起了整个江山。但随着模型规模的扩展和需要处理的序列不断变长，Transformer 的局限性也逐渐凸显，比如其自注意力机制的计算量会随着上下文长度的增加呈平方级增长。为了克服这些缺陷，研究者们开发出了很多...
-
一篇综述，看穿基础模型+机器人的发展路径
机器人是一种拥有无尽可能性的技术，尤其是当搭配了智能技术时。近段时间创造了许多变革性应用的大模型有望成为机器人的智慧大脑，帮助机器人感知和理解这个世界并制定决策和进行规划。 近日，CMU 的 Yonatan Bisk 和 Google DeepMind...
-
LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention
Paper name LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention Paper Reading Note Paper URL: htt...
-
李飞飞DeepMind全新「代码链」碾压CoT！大模型用Python代码推理，性能暴涨12%
思维链（CoT），最具开拓性和影响力的提示工程技术之一，能增强LLM在推理决策中的表现。 那么，如果大模型可以在代码中「思考」，会如何呢？ 最近，谷歌DeepMind、斯坦福、UC伯克利团队联手提出了全新技术——「代码链」（CoC）。 论文地址：htt...
-
谷歌被打脸！Gemini Pro被证实和GPT3.5差距不大
谷歌最新发布的Gemini Pro自发布以来备受瞩目，谷歌声称其优于GPT-3.5。然而，CMU的研究通过深入的实验对比，展示了GPT-3.5在多个任务上的全面优势。Gemini Pro虽然在某些任务上稍显不足，但整体表现与GPT-3.5相近，为大模型领域...
-
Point Transformer V3：更简单、更快、更强!
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：Point Transformer V3: Simpler, Faster, Stronger 论文链接：https://arxiv.org/pdf/2312.10035.pdf 代码链接：h...
-
阿里团队推新AI模型I2VGen-XL：单张静止图像就能生成高质量视频
视频合成最近取得了显著的进步，这得益于扩散模型的快速发展。然而，它在语义准确性、清晰度和时空连续性方面仍然存在挑战。它们主要源于文本-视频数据的稀缺性和视频的复杂固有结构，使得模型难以同时确保语义和定性的卓越性。 阿里巴巴、浙江大学和华中科技大学的研究人员...
-
大模型被偷家！腾讯港中文新研究修正认知：CNN搞多模态不弱于Transfromer
在Transformer占据多模态工具半壁江山的时代，大核CNN又“杀了回来”，成为了一匹新的黑马。 腾讯AI实验室与港中文联合团队提出了一种新的CNN架构，图像识别精度和速度都超过了Transformer架构模型。 切换到点云、音频、视频等其他模态，也无...
-
CMU权威对比Gemini，GPT-3和Mistral8×7B！GPT-3.5依旧拿捏Gemini，开源模型差距依然不小
谷歌最近发布的Gemini掀起了不小的波澜。 毕竟，大语言模型领域几乎是OpenAI的GPT一家独大的局面。 不过作为吃瓜群众，当然希望科技公司都卷起来，大模型都打起来！ 所以，作为科技巨无霸谷歌的亲儿子，Gemini自然承受了很高的期待。 虽然Gemi...
-
14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍
就今天的人工智能发展水平来说，文生图、图生视频、图像/视频风格迁移都已经不算什么难事。 生成式 AI 天赋异禀，能够毫不费力地创建或修改内容。尤其是图像编辑，在以十亿规模数据集为基础预训练的文本到图像扩散模型的推动下，经历了重大发展。这股浪潮催生了大量图...
-
击败扩散模型，清华朱军团队基于薛定谔桥的新语音合成系统来了
近日，由清华大学计算机系朱军教授课题组发布的基于薛定谔桥的语音合成系统 [1]，凭借其 「数据到数据」的生成范式，在样本质量和采样速度两方面，均击败了扩散模型的 「噪声到数据」范式。 论文链接：https://arxiv.org/abs/2312.03...
-
测试时领域适应的鲁棒性得以保证，TRIBE在多真实场景下达到SOTA
测试时领域适应（Test-Time Adaptation）的目的是使源域模型适应推理阶段的测试数据，在适应未知的图像损坏领域取得了出色的效果。然而，当前许多方法都缺乏对真实世界场景中测试数据流的考虑，例如： 测试数据流应当是时变分布（而非传统领域适应中...
-
中国团队又获超导重大突破！类LK-99材料展现超导性，可重复可验证
室温超导又有新进展？ 由华南理工大学，中南大学，电子科大的研究人员12月19日在Arxiv上发表论文，宣布他们在新合成材料CSLA上测到了具有显著抗磁性磁滞回线的低场微波吸收，通过不断转动磁场方向可以令这个现象减弱直至消失。 根据团队说法，没有哪种磁性会...
-
史上最快3D数字人生成器：半小时完成训练，渲染仅需16毫秒，苹果出品
之前要两天才能训练好的数字人，现在只用半小时就能完成了！ 到了推理阶段，更是只要16毫秒，就能得到动作流畅、细节到位的场景视频。 而且无需复杂的采样和建模，只要随便拍一段50-100帧的视频就足够了，换算成时间不过几秒钟。 这正是由苹果联合德国马普所推出...
-
【AIGC核心技术剖析】用于高效 3D 内容创建生成（从单视图图像生成高质量的纹理网格）
3D 内容创建的最新进展主要利用通过分数蒸馏抽样 （SDS） 生成的基于优化的 3D 生成。尽管已经显示出有希望的结果，但这些方法通常存在每个样本优化缓慢的问题，限制了它们的实际应用。在本文中，我们提出了DreamGaussian，这是一种新颖的3D内容生...
-
扳回一局！Gemini-Pro多模态能力和GPT-4V不相上下
近期的Gemini-Pro评测报告显示其在多模态领域取得了显著的进展，与GPT-4V不相上下，甚至在某些方面表现更为出色。首先，在多模态专有基准MME上的综合表现中，Gemini-Pro以1933.4的高分超越了GPT-4V，展现出在感知和认知方面的全面优...
-
只需一张图片、一句动作指令，Animate124轻松生成3D视频
近一年来，DreamFusion 引领了一个新潮流，即 3D 静态物体与场景的生成，这在生成技术领域引发了广泛关注。回顾过去一年，我们见证了 3D 静态生成技术在质量和控制性方面的显著进步。技术发展从基于文本的生成起步，逐渐融入单视角图像，进而发展到整合...
-
AI视野：Midjourney V6史诗级升级;ChatGPT新增存档聊天记录功能;阿里DreaMoving开源；百度千帆AppBuilder开放
???AI新鲜事 Midjourney V6史诗级升级，网友惊呼太逼真! 网友在Midjourney V6第二次社区评价中惊叹其逼真神图，光影效果出众，上线倒计时，可能在今明两天内发布。 ChatGPT新增存档聊天记录功能 12月21日，OpenAI在...
-
AI图片编辑神器Anydoor：开启图片编辑的任意门 图片主体随意移动
随着数字时代图像编辑的飞速发展，来自香港大学、阿里巴巴和蚂蚁集团的新成果AnyDoor为图片编辑开辟了一扇全新的时代之门。 这是一项基于扩散技术的创新，具有将目标物体以和谐的方式传送到用户指定位置的神奇能力。与传统模型需要为每个物体调整参数不同，AnyDo...
-
Gemini Pro还不如GPT-3.5，CMU深入对比研究：保证公平透明可重复
谷歌Gemini实力到底如何？卡耐基梅隆大学来了场专业客观第三方比较。 为保证公平，所有模型使用相同的提示和生成参数，并且提供可重复的代码和完全透明的结果。 不会像谷歌官方发布会那样，用CoT@32对比5-shot了。 一句话结果：Gemini Pr...
-
【EMNLP 2023】面向垂直领域的知识预训练语言模型
近日，阿里云人工智能平台PAI与华东师范大学数据科学与工程学院合作在自然语言处理顶级会议EMNLP2023上发表基于双曲空间和对比学习的垂直领域预训练语言模型。通过比较垂直领域和开放领域知识图谱数据结构的不同特性，发现在垂直领域的图谱结构具有全局稀疏，局部...
-
摸底谷歌Gemini：CMU全面测评，Gemini Pro不敌GPT 3.5 Turbo
前段时间，谷歌发布了对标 OpenAI GPT 模型的竞品 ——Gemini。这个大模型共有三个版本 ——Ultra（能力最强）、Pro 和 Nano。研究团队公布的测试结果显示，Ultra 版本在许多任务中优于 GPT4，而 Pro 版本与 GPT-3...
-
CVPR 2023 | 可控文生图/定制化文生图领域论文详解 AI作画增强版
可控文生图/定制化文生图 1、DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation DreamBooth是一种新的文本到图像扩散模型...
-
斯坦福大学研究生开发名为PIGEON的AI模型 仅通过几张照片找到你的位置
斯坦福大学的研究生们开发了一款名为 PIGEON 的应用程序，可以仅仅通过查看 Google 街景图像或其他图像来确定具体位置，其准确率令人印象深刻。 根据预印本论文的数据，PIGEON 可以以92%的准确率预测所拍摄国家，并且在40%的猜测中可以将位置定...
-
PillarNeSt：如何进一步提升基于Pillar的3D目标检测性能？
写在前面 && 笔者的个人理解 目前在自动驾驶领域中，一辆自驾汽车会配备多种传感器，如：激光雷达传感器采集点云数据、相机传感器采集图像数据等。由于激光雷达传感器可以更加准确的获取待检测物体的几何和位置信息，所以基于点云的感知算法模型在快速...
-
深度学习之目标检测中的常用算法
随着深度学习的不断发展，深度卷积神经网络在目标检测领域中的应用愈加广泛，现已被应用于农业、交通和医学等众多领域。 与基于特征的传统手工方法相比，基于深度学习的目标检测方法可以学习低级和高级图像特征，有更好的检测精度和泛化能力。 什么是目标检测？ 目标检测...
-
DALL·E2(unCLIP)、Stable Diffusion、IS、FID要点总结
DALL·E 1 DALL·E 1可以看成是VQ-VAE和文本经过BPE编码得到的embedding AE（Auto Encoder） encoder decoder结构，AE在生成任务时只会模仿不会创造，所有有了后面的VAE VAE(Var...
-
word2vec作者爆料：seq2seq是我的想法、GloVe抄袭技巧，反击来了
随着 NeurIPS 2023 获奖论文的公布，十年前的词嵌入技术 word2vec 可谓是实至名归的获得了时间检验奖。这篇论文「Distributed Representations of Words and Phrases and their Com...
-
用生物脑机制启发持续学习，让智能系统适者生存，清华朱军等团队研究登Nature子刊封面
在开放、高动态和演化环境中的学习能力是生物智能的核心要素之一，也是人类以及大多数动物在「适者生存」的自然选择过程中形成的重要优势。目前传统机器学习范式是在静态和封闭的数据集上学习到一个模型，并假设其应用环境和之前训练数据的属性相同，因而无法适应动态开放环...
-
人工智能有能力彻底改变科学研究
人工智能(AI 是一门涉及计算机科学、数学、心理学、语言学等多个学科的交叉学科，它旨在创造能够模拟或超越人类智能的系统和应用。AI的发展经历了几个阶段，从早期的符号主义、联结主义，到近年来的统计学习、深度学习等，不断地突破了理论和技术的限制，实现了许多令...
-
编码碾压ChatGPT！UIUC清华联手发布7B参数Magicoder，代码数据权重全开源
开源「代码大模型」来了！ UIUC清华团队的研究人员发布了Magicoder，不到7B参数，就能在代码生成领域与顶级代码模型不相上下。 值得一提的是，Magicoder的代码、权重和数据，毫无保留完全开源。 论文地址：https://arxiv.org...
-
Gemini自曝文心一言牵出重大难题，全球陷入高质量数据荒？2024年或将枯竭
谷歌Gemini，又出丑闻了！ 昨天上午，网友们激动地奔走相告：Gemini承认自己是用文心一言训练中文语料的。 国外大模型用中国模型产生的中文语料训练，这听起来就是个段子，结果段子竟然成现实了，简直魔幻。 微博大V「阑夕」夜亲自下场，在Poe网站上实...
-
UIUC清华联手发布全新代码大模型Magicoder 不到7B参数
在代码生成领域，UIUC和清华合作发布了Magicoder，这一全新的大型语言模型仅使用了7B参数，却能与顶级模型媲美，并以全面开源的方式分享了其代码、权重和数据。Magicoder的关键在于采用了OSS-INSTRUCT方法，该方法通过从开源代码中获取灵...
-
研究揭示如何 SEO 优化网站以提升 AI 搜索引擎中的可见性
由普林斯顿大学、佐治亚理工学院、艾伦人工智能研究所和 IIT 德里的研究人员团队进行的最新研究发现了多种提高网站在人工智能（AI）搜索引擎中可见性的方法。研究显示，这些优化方法成功使较小、排名较低的网站的可见性提高了 115%，使它们能够超越通常在搜索结果...