-
谷歌AI提出视觉语言模型PixelLLM:能够进行细粒度定位和视觉语言对齐
谷歌AI研究团队与加州大学圣迭戈分校的研究人员合作，提出了一种名为PixelLLM的智能模型，旨在解决大型语言模型在细粒度定位和视觉-语言对齐方面的挑战。这一模型的提出受到了人类自然行为的启发，尤其是婴儿描述其视觉环境的方式，包括手势、指向和命名。 Pix...
-
基于onnx模型和onnx runtime推理stable diffusion
直接用diffusers的pipeline: import os from diffusers import OnnxStableDiffusionPipeline, OnnxRuntimeModel from diffusers import DDIM...
-
华人团队用大模型实现“读心术”：大脑活动直接变文字
NeurIPS收录的一项新研究，让大模型也学会“读心术”了！ 通过学习脑电波数据，模型成功地把受试者的脑电图信号翻译成了文本。 而且整个过程不需要大型设备，只要一块特制的“头巾”就能实现。 这项成果名为DeWave，能在不通过侵入式设备和MRI的情况下...
-
AI视野：OpenAI灰度测试GPT4.5；Midjourney V6模型下周发布；Gemini自曝中文用文心一言训练；LeCun提出AGI七阶段路线图
???AI新鲜事 openAI灰度测试GPT4.5 近日，OpenAI正在对最新的GPT4.5turbo模型进行灰度测试，该模型在文本生成质量、效率、上下文理解、多模态能力、编程和代码生成、安全性、个性化定制等七个方面都取得显著进展。 Gemini自曝...
-
中国科大等发布SciGuard大模型 建立首个科学风险基准
在中国科大等机构的最新研究中，科学家们发布了一项重要的成果，即SciGuard和SciMT-Safety。这一创新性方法的目标是保护AI for Science模型，以防止其在生物、化学、药物等领域被不当使用。为此，研究团队还建立了首个专注于化学科学领域安...
-
华人团队用大模型实现“读心术”：大脑活动直接变文字 | NeurIPS 2023
NeurIPS收录的一项新研究，让大模型也学会“读心术”了! 通过学习脑电波数据，模型成功地把受试者的脑电图信号翻译成了文本。 而且整个过程不需要大型设备，只要一块特制的“头巾”就能实现。 这项成果名为DeWave，能在不通过侵入式设备和MRI的情况下解...
-
GPT-4V都搞不明白的未来推理有解法了！来自华科大&上科大
多模态大语言模型展现了强大的图像理解和推理能力。 但要让它们基于当前观测来对未来事件进行预测推理仍然非常困难。 即便是当前最强大的GPT-4V（如下图所示），也无法很好地解决这一问题。 △ GPT-4V的错误案例 现在，华科大和上科大团队提出了一个赋予...
-
Stable Diffusion AnimateDiff | 最火文本生成视频插件
AnimateDiff介绍 AnimateDiff采用控制模块来影响Stable Diffusion模型，通过大量短视频剪辑的训练，它能够调整图像生成过程，生成一系列与训练视频剪辑相似的图像。简言之，AnimateDiff通过训练大量短视频来优化图像之间...
-
论文遭首届ICLR拒稿、代码被过度优化，word2vec作者Tomas Mikolov分享背后的故事
几天前，NeurIPS 2023 公布了获奖论文，其中时间检验奖颁给了十年前的 NeurIPS 论文「Distributed Representations of Words and Phrases and their Compositionality」...
-
走在GPT 4.5前面？3D、视频直接扔进对话框，大模型掌握跨模态推理
给你一首曲子的音频和一件乐器的 3D 模型，然后问你这件乐器能否演奏出这首曲子。你可以通过听觉来辨认这首曲子的音色，看它是钢琴曲还是小提琴曲又或是来自吉他；同时用视觉识别那是件什么乐器。然后你就能得到问题的答案。但语言模型有能力办到这一点吗？ 实际上，...
-
源代码is all you need！7B代码小模型同尺寸无敌，性能媲美ChatGPT和谷歌Gemini
Hugging Face 技术负责人 Philipp Schmid 表示：“代码自动补全工具，如 GitHub Copilot，已被超过一百万开发者使用，帮助他们的编码速度提高了 55%。看到像 Magicoder 和 OSS-INSTRUCT 这样的开...
-
哀悼！55岁商汤科技创始人汤晓鸥突然离世，他撑起中国计算机视觉研究半壁江山
沉痛悼念！ 2023年12月15日23时45分，商汤科技创始人汤晓鸥教授因病救治无效不幸离世，终年55岁。 天妒英才，继孙剑博士2年前意外辞世后，中国AI界再失一位领军人物。 计算机视觉的开拓者 毫不夸张地说，汤晓鸥教授是中国计算机视觉的开拓者和探路...
-
AIGC系列之：CLIP和OpenCLIP
目录 模型背景 CLIP模型介绍 相关资料 原理和方法 Image Encoder Text Encoder 对比学习 预训练 Zero Shot预测 优势和劣势 总结 OpenClip模型介绍 相关资料 原理 结果 用法...
-
下一代自动驾驶系统，少不了大模型，系统调研来了
随着大语言模型 (LLM 和视觉基础模型 (VFM 的出现，受益于大模型的多模态人工智能系统有潜力像人类一样全面感知现实世界、做出决策。在最近几个月里，LLM 已经在自动驾驶研究中引起了广泛关注。尽管 LLM 具有巨大潜力，但其在驾驶系统中的关键挑战...
-
论文笔记--Llama 2: Open Foundation and Fine-Tuned Chat Models
论文笔记--Llama 2: Open Foundation and Fine-Tuned Chat Models 1. 文章简介 2. 文章概括 3 文章重点技术 3.1 预训练Pretraining 3.1.1 预训练细节 3.1.2...
-
AI首次攻克难倒陶哲轩数学难题，DeepMind里程碑算法登Nature！LLM搜代码自我进化
上限集问题，是困扰数学家们多年的开放性问题。 著名数学家陶哲轩，就曾将上限集问题描述为自己最喜欢的开放性问题。 陶哲轩博客 而大语言模型，竟然在这个问题上做出了新发现。 今天，Google DeepMind、威斯康星大学麦迪逊分校和里昂大学的研究人员联...
-
UC伯克利DeepMind等联合发布真实世界模拟器，打破虚实边界
真实世界模拟器来啦！ 还在发愁训练出的大模型无法适应真实的物理世界吗？ AI Agent想要进入我们的生活还有多远的距离？ ——UC伯克利、谷歌DeepMind、MIT和阿尔伯塔大学的研究人员告诉你答案。 在NeurlPS 2023上，研究人员将展示他们...
-
AI视野：OpenAI否认即将发布GPT-4.5；Stability AI推出新会员模式；DomoAI支持视频一键转动漫；阿里I2VGen-XL模型代码公布
???AI新鲜事 OpenAI否认即将发布GPT-4.5 OpenAI CEO Sam Altman在Reddit上辟谣称公司未计划发布GPT-4.5，否认最新语言模型的泄露，截图显示为虚假信息。 OpenAI新研究:GPT-2能监督GPT-4 研究发现...
-
扩散模型训练太难？来看看Meta AI最新提出的KNN-Diffusion
原文链接：https://www.techbeat.net/article-info?id=4323 作者：seven_ 最近AIGC社区中有趣的工作可谓是层出不穷，这都得益于扩散模型（Diffusion Models）的成功，扩散模型作为生成式AI...
-
AI视野：谷歌Gemini Pro开放；文心一言插件商城上线；谷歌图像生成模型Imagen2发布；阿里推虚拟试穿技术Outfit Anyone
???AI新鲜事 谷歌Gemini Pro开放 谷歌Gemini Pro大模型在研究基准测试中表现优异，支持32K上下文窗口的文本输入和生成功能，向Vertex AI云计算客户和AI Studio开发人员开放，提供多种功能和SDK，为构建AI应用程序提供更...
-
24 LLM错误代码补全：机器学习顶会NeurIPS‘23 智能体评估：自行构建数据集Buggy-HumanEval、Buggy-FixEval+错误代码补全+修复模型【网安AIGC专题11.22】
Large Language Models of Code Fail at Completing Code with Potential Bugs 写在最前面 论文名片 对于命名实体识别、关系抽取任务的启发 课堂讨论 实验 自己构建的数据集...
-
LLM生成3D场景，无限延伸！斯坦福华人提出3D动画生成框架，一句话一幅图创造无限3D世界
斯坦福华人退学博士开发的Pika，让AI技术和艺术迸发出了绚丽的火花。 最近，又有斯坦福的华人研究人员提出的新的框架——WonderJourney， 可以用一句话或者一张图，自动生成一系列3D场景的连续画面，效果炫酷！ 图片 用一张爱丽丝奇境漫游的图片，...
-
首个「创造式任务」基准来了！北大清华联手发布Creative Agents：专为想象力而生！
近年来，许多研究通过训练服从自然语言指令的智能体，让智能体具有了解决各种开放式任务的能力。 例如，SayCan[1]利用语言模型实现了根据语言描述解决各种室内机器人任务的智能体，Steve-1[2]训练端到端的策略实现了能够在《我的世界》（Minecra...
-
一张图or文字生成无限3D世界！斯坦福吴佳俊团队新作，让网友直呼“难以置信”
斯坦福吴佳俊团队打造AI版“爱丽丝梦游仙境”巨作！ 仅用一张图or一段文字就能沿相机轨迹生成无限连贯3D场景： 只需输入一段古诗词，诗中场景立刻映入眼帘： 而且还是来回式的，可以再倒回去的那种： 同一起点可以进入不同场景： 真实场景也可以，其中的...
-
邢波团队提出全开源倡议LLM360 让大模型实现真正的透明
开源模型在人工智能领域展现强大活力，但闭源策略限制了LLM（大型语言模型）的发展。邢波团队提出的LLM360全面开源倡议旨在解决这一问题。该框架明确了包括训练数据、代码、模型检查点和性能指标在内的各方面细节，为当前和未来的开源模型树立了透明度的样本。 论...
-
随意指定CLIP关注区域！上交复旦等发布Alpha-CLIP：同时保持全图+局部检测能力
CLIP是目前最流行的视觉基座模型，其应用场景包括但不限于： 与LLM大语言模型结合成为视觉多模态大模型； 作为图像生成(Stable Diffusion 、点云生成(Point-E 的condition model，实现image-to-3D； 用于...
-
面向 Stable Diffusion 的自动 Prompt 工程算法 BeautifulPrompt
近日，阿里云人工智能平台PAI与华南理工大学朱金辉教授团队合作在自然语言处理顶级会议EMNLP2023上发表了BeautifulPrompt的深度生成模型，可以从简单的图片描述中生成高质量的提示词，从而使文生图模型能够生成更美观的图像。BeautifulP...
-
首个GPT-4驱动的人形机器人！无需编程+零样本学习，还可根据口头反馈调整行为
让GPT-4操纵人形机器人，事先不做任何编程or训练，能搞成啥样儿？ 答案是：太 猎 奇 了！ 这不，要求机器人表演“在昏暗电影院里狂炫爆米花，却突然发现吃的是隔壁陌生人的?”。 在GPT-4的操纵下，机器人笑容凝固，“尴尬”得摇头扶额后仰： 但在尴尬...
-
AI视野：Midjourney正式上线Alpha网页版；OpenAI恢复会员注册；腾讯发布视频生成模型AnimateZero；微软发布小语言模型AI Phi-2
???AI应用 Midjourney正式上线Alpha网页版!支持已生成图片设置参数回填 Midjourney Alpha全新升级，生成用户界面更便捷，成功生成1万张图片即可获得权限，可视化图像参数支持点击回填到提示词输入框，提升生成体验。 截图自归藏...
-
一张照片、一段声音秒生超逼真视频！南大等提出全新框架，口型动作精准还原
一段音频+一张照片，瞬间照片里的人就能开始讲话了。 生成的讲话动画不但口型和音频能够无缝对齐，面部表情和头部姿势都非常自然而且有表现力。 而且支持的图像风格也非常的多样，除了一般的照片，卡通图片，证件照等生成的效果都非常自然。 再加上多语言的支持，瞬间照...
-
微软提出变色龙框架，让模型自带工具箱开挂，数学推理任务准确率98%
教大模型调用工具，已经是AI圈关注度最高的话题之一了。 这不，又有一项研究登上最新NeurIPS 2023—— 它是一个叫做Chameleon（变色龙）的框架，号称能将大语言模型直接变成魔法师的工具箱，来自微软与加州大学洛杉矶分校（UCLA）。 相比其它...
-
全方位、无死角的开源，邢波团队LLM360让大模型实现真正的透明
开源模型正展现着它们蓬勃的生命力，不仅数量激增，性能更是愈发优秀。图灵奖获得者 Yann LeCun 也发出了这样的感叹：「开源人工智能模型正走在超越专有模型的路上。」 专有模型在技术性能和创新能力上展现了非凡的力量，但是它们不开源的性质成为 LLM 发...
-
用RLHF 2%的算力让LLM停止有害输出，字节提出LLM遗忘学习
随着大型语言模型（LLM）的发展，从业者面临更多挑战。如何避免 LLM 产生有害回复？如何快速删除训练数据中的版权保护内容？如何减少 LLM 幻觉（hallucinations，即错误事实）? 如何在数据政策更改后快速迭代 LLM？这些问题在人工智能法律...
-
RayDF：实时渲染！基于射线的三维重建新方法
本文经自动驾驶之心公众号授权转载，转载请联系出处。 图片 论文链接：https://arxiv.org/pdf/2310.19629 代码链接：https://github.com/vLAR-group/RayDF 主页：https://vlar-gro...
-
训练自己的Llama 2！大模型微调技术介绍
训练自己的Llama 2！大模型微调技术介绍 趋动云 趋动云是面向 AI 算法工程师的开发平台，为工程师提供模型开发、模型训练、数据和代码管理等功能。 近期有不少粉丝问算力君，趋动云是否支持大模型的训练？当然支持！ 最近大火的Llama...
-
Meta AI 推出可重新调整光线的高保真头像生成方法 可用于制作动画生成新颖的表情
在 Meta AI 的一项开创性研究中，研究人员成功解决了动态3D 头像的高保真重新调整光线的挑战。传统方法在实时应用中捕捉面部表情的细节常常需要进行改进，尤其是对于捕捉亚毫米级细节的要求。Meta AI 的研究团队针对这一挑战提出了 “可重新调整光线的高...
-
表格数学推理准确率达98.78%！UCLA推出全新「变色龙推理框架」
在自然语言处理任务中取得显著成就的大型语言模型（LLMs）尽管表现出色，但在实时信息获取、外部工具利用和精确数学推理方面仍显不足。 为了应对这些挑战，来自UCLA等机构的研究人员打造了全新的Chameleon框架，其独特的即插即用模型融合了多种工具，包括...
-
阿里又整活儿：一张人脸一句话就能跳《擦玻璃》，服装背景随意换！
继AnimateAnyone之后，阿里又一项“舞蹈整活儿”论文火了—— 这一次，只需一张脸部照片、一句话描述，就能让你在任何地方跳舞！ 例如下面这段《擦玻璃》的舞蹈视频： 图片 你所需要做的就是“投喂”一张人像，以及一段prompt： 一个女孩，微笑着，...
-
当GPT-4V充当机器人大脑，可能你都没AI会规划
GPT-4V 已经能帮我们设计网站代码，控制浏览器，这些应用集中在虚拟数字世界中。假如我们把 GPT-4V 带入现实世界，让它作为控制机器人的大脑，会有什么有趣的结果呢？ 最近，来自清华大学交叉信息研究院的研究者提出「ViLa」算法，实现了让 GPT-4...
-
LLM之Prompt（二）：清华提出Prompt 对齐优化技术BPO
论文题目：《Black-Box Prompt Optimization: Aligning Large Language Models without Model Training》 论文链接：https://arxiv.org/abs/2311.041...
-
像调鸡尾酒一样调制多技能大模型，智源等机构发布LM-Cocktail模型治理策略
随着大模型技术的发展与落地，「模型治理」已经成为了目前受到重点关注的命题。只不过，在实践中，研究者往往感受到多重挑战。 一方面，为了高其在目标任务的性能表现，研究者会收集和构建目标任务数据集并对大语言模型（LLM）进行微调，但这种方式通常会导致除目标任务...
-
【AIGC】Stable Diffusion原理快速上手，模型结构、关键组件、训练预测方式
【AIGC】Stable Diffusion的建模思想、训练预测方式快速 在这篇博客中，将会用机器学习入门级描述，来介绍Stable Diffusion的关键原理。目前，网络上的使用教程非常多，本篇中不会介绍如何部署、使用或者微调SD模型。也会尽量精简...
-
HumanGaussian开源：基于Gaussian Splatting，高质量 3D 人体生成新框架
在 3D 生成领域，根据文本提示创建高质量的 3D 人体外观和几何形状对虚拟试穿、沉浸式远程呈现等应用有深远的意义。传统方法需要经历一系列人工制作的过程，如 3D 人体模型回归、绑定、蒙皮、纹理贴图和驱动等。为了自动化 3D 内容生成，此前的一些典型工作...
-
最强“全开源”多模态分割一切大模型APE
APE 是一种全开源的多模态分割模型，其独特之处在于采用了独立建模每个类别名实例的方法。以往的方法通常将多个类别名联结成一个单独的 Prompt，但 APE 通过对每个类别名或描述短语进行独立建模，可以学习到不同实例之间的差异。此外，APE 还通过压缩 W...
-
FaceChain V2，Human AIGC开源应用平台
一、概览简介： facechain是一个可以用来打造个人数字形象的深度学习模型工具平台。用户仅需要提供最低一张照片即可获得属于自己的个人形象数字替身。结合不同的风格模型和写真模版，可以生成超乎想象空间的个人写真作品。更有意思的是，facecha...
-
Pika 1.0首测秒杀Gen-2！网友抢先体验电影级炸裂效果，背后技术细节首公开
Pika 1.0正式上线后，拿到内测资格的网友们已经玩疯了！ 有人用它生成了一个姜黄色头发女孩和她的姜黄色猫的短片。 以往，因为一致性的难题，用AI视频很难做出优秀的动漫作品。但是Pika 1.0，实在是太给人惊喜了！ 更令人震惊的是，作者表示，这是10...
-
首个开源MoE大模型发布！7Bx8个专家，离GPT-4最近的一集
“取消今晚所有计划！”，许多AI开发者决定不睡了。 只因首个开源MoE大模型刚刚由Mistral AI发布。 MoE架构全称专家混合（Mixture-of-Experts），也就是传闻中GPT-4采用的方案，可以说这是开源大模型离GPT-4最近的一集...
-
北大等发布最新AI智能体Jarvis-1，制霸「我的世界」
智能体研究又取得了新成绩！ 最近，来自北大、北邮、UCLA和BIGAI的研究团队联合发表了一篇论文，介绍了一个叫做Jarvis-1的智能体。 论文地址：https://arxiv.org/pdf/2311.05997.pdf 从论文标题来看，Jarvi...
-
首个精通3D任务的具身通才智能体：感知、推理、规划、行动统统拿下
想要迈向通用人工智能，必须要构建一个能够理解人类生活的真实世界，并掌握丰富技能的具身通用智能体。 今年以来，以 GPT-4 (V [1]、LLaVA [2]、PALM-E [3] 等为代表的多模态大语言模型（Multi-modal Large Langu...
-
AIGC周报｜周鸿祎：不会用GPT的人未来将被淘汰；蔡崇信：不用过于担心AI未来会取代人类；AI翻唱或涉多项侵权行为
AIGC（AI Generated Content）即人工智能生成内容。近期爆火的 AI 聊天机器人 ChatGPT，以及 Dall·E 2、Stable Diffusion 等文生图模型，都属于 AIGC 的典型案例，它们通过借鉴现有的、人类创造的内容来...