-
Meta最新SAM2模型开源直接封神
2024年7月29日，Meta在官网发布SAM2开源消息：segment-anything-2 开源地址：https://github.com/facebookresearch/segment-anything-2 paper：sam-2-seg...
-
AIGC-视频生成-AnimateDiff-基于T2I模型的动态生成论文详细解读
AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning 代码:https://github.com/guoyww/a...
-
MiraData: A Large-Scale Video Dataset with Long Durations and Structured Captions
Paper name MiraData: A Large-Scale Video Dataset with Long Durations and Structured Captions Paper Reading Note Paper URL: ht...
-
每日AIGC最新进展(45)：字节跳动开源大规模text-to-video数据集OpenVid-1M、浙江大学提出锚定条件控制视频生成GVDIFF、Meta AI研究院提出文生3D大模型3DGen
Diffusion Models专栏文章汇总：入门与实战 OpenVid-1M: A Large-Scale High-Quality Dataset for Text-to-video Generation https://nju-pcalab....
-
每日AIGC最新进展(30)：阿卜杜拉国王大学提出旋转视角视频生成Vivid-ZOO、浙江大学提出4D场景编辑Instruct 4D-to-4D、西安交大提出3D重建大规模数据集OpenMateria
Diffusion Models专栏文章汇总：入门与实战 Vivid-ZOO: Multi-View Video Generation with Diffusion Model 本文提出了一种名为Vivid-ZOO的新型扩散模型，用于从文本...
-
国产开源Sora上新：全面支持国产AI算力，可用ReVideo视频编辑，北大-兔展团队出品
北大-兔展联合发起的Sora开源复现计划Open-Sora-Plan，今起可以生成最长约21秒的视频了! 生成的视频水平，如下展示。先看这个长一点的，9.2s: 当然了，老规矩，这一次的所有数据、代码和模型，继续开源。 目前，Open-Sora-Plan在...
-
基于因果推断的推荐系统：回顾和前瞻
本次分享的主题为基于因果推断的推荐系统，回顾过去的相关工作，并提出本方向的未来展望。 为什么在推荐系统中需要使用因果推断技术？现有的研究工作用因果推断来解决三类问题（参见 Gao et al.的 TOIS 2023 论文 Causal Inference...
-
MagicTime官网体验入口 AI生成延时视频软件使用地址
MagicTime是一种基于文本描述生成高质量变化视频的模型。它通过学习时间流逝视频中的物理知识，实现了高度逼真的变化过程模拟。该模型包括MagicAdapter、Dynamic Frames Extraction和Magic Text-Encoder三个...
-
4G显存玩转AI绘画！Stable Diffusion WebUI Forge来了！
经常使用Stable Diffusion WebUI的同学可能都被显存的问题困扰过，其运行时需要巨大的显存空间，跑着跑着显存可能就爆了，不得不重新启动。不过现在这个问题解决了，因为Stable Diffusion WebUI Forge来了。 Forge...
-
Stable Diffusion——Animate Diff一键AI图像转视频
前言 AnimateDiff 是一个实用框架，可以对文本生成图像模型进行动画处理，无需进行特定模型调整，即可为大多数现有的个性化文本转图像模型提供动画化能力。而Animatediff 已更新至 2.0 版本和3.0两个版本，相较于 1.0 版本，2.0...
-
CNN、Transformer、Uniformer之外，我们终于有了更高效的视频理解技术
视频理解的核心目标在于对时空表示的把握，这存在两个巨大挑战：短视频片段存在大量时空冗余和复杂的时空依赖关系。尽管曾经占主导地位的三维卷积神经网络 (CNN 和视频 Transformer 通过利用局部卷积或长距离注意力有效地应对其中之一的挑战，但它们在...
-
Etna体验入口 人工智能AI视频生成模型免费在线使用地址
Etna是一款基于人工智能技术的视频生成模型，采用了Diffusion架构，并结合了时空卷积和注意力层，使其能够处理视频数据并理解时间连续性，从而生成具有时间维度的视频内容。该模型在大型视频数据集上进行训练，使用了深度学习技术策略，包括大规模训练、超参数优...
-
看了30000小时视频，谷歌模型发现不同于Sora的新方法，可与虚拟世界沉浸交互，向世界模型再进一步
撰稿丨今日晴 出品 | 51CTO技术栈（微信号：blog51cto） 当下，生成式AI的高速发展让人们已经逐渐习惯了各种可以生成文本、图像、音频乃至视频的AI工具。 而最近谷歌DeepMind推出的Genie模型则实现了一种完全不同的功能，它能将图像转...
-
AI视频又炸了！照片+声音变视频，阿里让Sora女主唱歌小李子说RAP
Sora之后，居然还有新的AI视频模型，能惊艳得大家狂转狂赞！ 图片 有了它，《狂飙》大反派高启强化身罗翔，都能给大伙儿普法啦（狗头）。 这就是阿里最新推出的基于音频驱动的肖像视频生成框架，EMO（Emote Portrait Alive）。 有了它，...
-
谷歌发布基础世界模型：11B参数，能生成可交互虚拟世界
Sora 问世才不到两个星期，谷歌的世界模型也来了，能力看起来更强大：它生成的虚拟世界「自主可控」。 刚刚，谷歌定义了生成式 AI 的全新范式 —— 生成式交互环境（Genie，Generative Interactive Environments）。G...
-
AI绘画专栏之Comfyui之AnimateDiffLCM更快效果更佳工作流分享
AnimateLCM能够在很少的步骤中生成高质量的视频。相比直接在原始视频数据集上应用一致性学习，该项目提出了一种解耦的一致性学习策略，分别对图像生成的基础知识和运动生成的基础知识进行提炼。这种策略提高了训练效率并提升了生成视频的视觉质量。 那么关于两个...
-
精炼爆炸性新闻！OpenAI发布革命性AI视频生成模型Sora：实现长达60秒的高清视频创作「附AIGC行业系统搭建」
在人工智能领域，每一次技术革新都引领着未来的发展方向。OpenAI，作为全球领先的人工智能研究机构，再次证明了其在推动AI技术革新方面的领导地位。近日，OpenAI宣布推出了一款革命性的AI视频生成模型——Sora，这一大胆的创新举措，无疑将AI视频生成技...
-
GitHub热榜第一：百万token上下文，还能生成视频，UC伯克利出品
今日GitHub热榜榜首，是最新的开源世界模型。 上下文窗口长度达到了100万token，持平了谷歌同时推出的王炸Gemini 1.5，伯克利出品。 强大的模型，命名也是简单粗暴——没有任何额外点缀，直接就叫LargeWorldModel（LWM）。...
-
人工智能大时代——AIGC综述
生成式AI分类 模型按照输入输出的数据类型分类，目前主要包括9类。 有趣的是，在这些已发布大模型的背后，只有六个组织（OpenAI, Google, DeepMind, Meta, runway, Nvidia）参与部署了这些最先进的模型。...
-
过去两周，六个最有可能改变AI进程的发布！
编译 ｜言征 过去两周，新的人工智能更新不断涌现，异常疯狂。我们决定整理最近发布的六大框架和模型。 1、ActAnywhere：主题感知视频背景生成 图片 Adobe Research和斯坦福大学推出了Act Anywhere，这是一种生成模型，解决了电...
-
迈向分割的大一统！OMG-Seg：一个模型搞定所有分割任务
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者个人思考 图像分割已经从单任务分割走到了语义分割、实例分割、全景分割三种分割任务的统一；大模型以及多模态的发展又带来了文本和图像统一，使得跨模态端到端成为可能；追求更高级、更全面...
-
【AIGC】AnimateDiff:无需定制化微调的动画化个性化的文生图模型
前言 Animatediff是一个有效的框架将文本到图像模型扩展到动画生成器中，无需针对特定模型进行调整。只要在大型视频数据集中学习到运动先验知识。AnimateDiff就可以插入到个性化的文生图模型中，与Civitai和Huggingface的文生图...
-
ActAnywhere体验入口 AI自动视频背景生成工具在线使用地址
ActAnywhere是一个用于自动生成与前景主体运动和外观相符的视频背景的生成模型。该任务涉及合成与前景主体运动和外观相一致的背景，同时也符合艺术家的创作意图。ActAnywhere利用大规模视频扩散模型的力量，并专门定制用于此任务。ActAnywher...
-
Pika、Gen-2、ModelScope、SEINE……AI视频生成哪家强？这个框架一测便知
AI 视频生成，是最近最热门的领域之一。各个高校实验室、互联网巨头 AI Lab、创业公司纷纷加入了 AI 视频生成的赛道。Pika、Gen-2、Show-1、VideoCrafter、ModelScope、SEINE、LaVie、VideoLDM 等视...
-
Video-LLaMA 论文精读
Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding video-LLaMA 一种用于视频理解的指令调整视听语言模型 引言 ...
-
AIGC之Image2Video（一）| Animate Anyone：从静态图像生成动态视频，可将任意图像角色动画化
近日，阿里发布了Animate Anyone，只需一张人物照片，结合骨骼动画，就能生成人体动画视频。 项目地址：https://humanaigc.github.io/animate-anyone/ 论文地址：https://ar...
-
何为交互感知？全面回顾自动驾驶中的社会交互动态模型与决策前沿！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 交互感知自动驾驶（IAAD）是一个迅速发展的研究领域，专注于开发能够与人类道路使用者安全、高效交互的自动驾驶车辆。这是一项具有挑战性的任务，因为它要求自动驾驶车辆能够理...
-
无需文本标注，TF-T2V把AI量产视频的成本打下来了！华科阿里等联合打造
在过去短短两年内，随着诸如LAION-5B 等大规模图文数据集的开放，Stable Diffusion、DALL-E2、ControlNet、Composer ，效果惊人的图片生成方法层出不穷。图片生成领域可谓狂飙突进。 然而，与图片生成相比，视频生成仍存...
-
清华大学研发 LLM4VG 基准：用于评估 LLM 视频时序定位性能
12 月 29 日消息，大语言模型（LLM）的触角已经从单纯的自然语言处理，扩展到文本、音频、视频等多模态领域，而其中一项关键就是视频时序定位（Video Grounding，VG）。 VG 任务的目的基于给定查询（一句描述），然后在目标视频段中定位...
-
Video-LLaMA An Instruction-tuned Audio-Visual Language Model for Video Understanding 用于视频理解的指令调谐视听语言
1.摘要 我们提出了一个多模态框架Video-LLaMA1，它使大型语言模型(LLM 能够理解视频中的视觉和听觉内容。视频-来自冻结的预训练视频和音频编码器和冻结的LLM的美洲驼引导跨模式训练。不像以前的工作，补充线性最小二乘法只处理视觉或听觉信号...
-
AI图片编辑神器Anydoor：开启图片编辑的任意门 图片主体随意移动
随着数字时代图像编辑的飞速发展，来自香港大学、阿里巴巴和蚂蚁集团的新成果AnyDoor为图片编辑开辟了一扇全新的时代之门。 这是一项基于扩散技术的创新，具有将目标物体以和谐的方式传送到用户指定位置的神奇能力。与传统模型需要为每个物体调整参数不同，AnyDo...
-
谁能更好地检测深度伪造？人还是机器？
译者 | 陈峻 审校 | 重楼 不知您是否听说过深度伪造（Deepfakes）这种欺诈应用？由它产生的各种虚假信息已威胁到了人类社会的方方面面。随着人工智能技术的进步，我们亟待提升识别虚假内容的能力。那么在实际检测假新闻可信度等用例时，到底是人类还是机器...
-
腾讯又整活！一句话让图片变动漫主角！
撰稿 | 清竹 出品 | 51CTO技术栈（微信号：blog51cto） 2023年底，AI圈似乎已经被“文生视频”模型攻占了！ 11月底 AI 文生视频工具 Pika 1.0 横空出世、风头一时无两，日前斯坦福大学 AI 科学家李飞飞团队联合谷歌推...
-
【Video-LLaMA】增强LLM对视频内容的理解
Paper:《Video-LLaMA : An Instruction-tuned Audio-Visual Language Model for Video Understanding》 Authors: Hang Zhang, Xin Li, Lid...
-
阿里又整活儿：一张人脸一句话就能跳《擦玻璃》，服装背景随意换！
继AnimateAnyone之后，阿里又一项“舞蹈整活儿”论文火了—— 这一次，只需一张脸部照片、一句话描述，就能让你在任何地方跳舞！ 例如下面这段《擦玻璃》的舞蹈视频： 图片 你所需要做的就是“投喂”一张人像，以及一段prompt： 一个女孩，微笑着，...
-
视频生成: 基于Stable Diffusion的微调方法
chatGPT带来了几个月的AIGC热度，文本图像生成模型大行其道，但AI在视频生成任务上尚没有较好的开源仓库，并受限于“缺那么几百块A100"的资源问题，大多数人无法展开视频生成的研究。好在目前有不少针对视频生成的相关paper，也有不少开源实现...
-
Stable Video Diffusion问世！3D合成功能引关注，网友：进步太快
Stable Diffusion官方终于对视频下手了—— 发布生成式视频模型Stable Video Diffusion（SVD）。 Stability AI官方博客显示，全新SVD支持文本到视频、图像到视频生成： 并且还支持物体从单一视角到多视角的...
-
Stable Video Diffusion来了，代码权重已上线
AI 画图的著名公司 Stability AI，终于入局 AI 生成视频了。 本周二，基于 Stable Diffusion 的视频生成模型 Stable Video Diffusion 来了，AI 社区马上开始了热议。 很多人都表示「我们终于等到了」...
-
语言作“纽带”，拳打脚踢各模态，超越Imagebind
北大联合腾讯打造了一个多模态15边形战士！ 以语言为中心，“拳打脚踢”视频、音频、深度、红外理解等各模态。 具体来说，研究人员提出了一个叫做LanguageBind的多模态预训练框架。 用语言作为与其它模态之间的纽带，冻结语言编码器，然后用对比学习方法...
-
用语言对齐多模态信息，北大腾讯等提出LanguageBind，刷新多个榜单
在现代社会，信息传递和交流不再局限于单一模态。我们生活在一个多模态的世界里，声音、视频、文字和深度图等模态信息相互交织，共同构成了我们丰富的感知体验。这种多模态的信息交互不仅存在于人类社会的沟通中，同样也是机器理解世界所必须面对的挑战。 如何让机器像人类...
-
AIGC时代的视频扩散模型，复旦等团队发布领域首篇综述
AI 生成内容已经成为当前人工智能领域的最热门话题之一，也代表着该领域的前沿技术。近年来，随着 Stable Diffusion、DALL-E3、ControlNet 等新技术的发布，AI 图像生成和编辑领域实现了令人惊艳的视觉效果，并且在学术界和工业界...