-
超越Sora！AI视频模型StreamingT2V可生成120秒超长视频
近日，UT奥斯丁等机构提出的StreamingT2V技术引发了广泛关注，将AI视频生成推向了新的高度。这项技术突破了以往视频长度的限制，实现了生成高度一致且长度可扩展的视频。 StreamingT2V技术的核心构架包括条件注意力模块（CAM）和外观保持模...
-
突破性的百万级视频和语言世界模型：Large World Model~
本文经自动驾驶之心公众号授权转载，转载请联系出处。 在探索如何让AI更好地理解世界方面，最近的一项突破性研究引起了广泛关注。来自加州大学伯克利分校的研究团队发布了“Large World Model, LWM”，能够同时处理百万级长度的视频和语言序列，...
-
CNN、Transformer、Uniformer之外，我们终于有了更高效的视频理解技术
视频理解的核心目标在于对时空表示的把握，这存在两个巨大挑战：短视频片段存在大量时空冗余和复杂的时空依赖关系。尽管曾经占主导地位的三维卷积神经网络 (CNN 和视频 Transformer 通过利用局部卷积或长距离注意力有效地应对其中之一的挑战，但它们在...
-
当慢综艺遇上AI，《我们仨》找到新的爆款密码
《我们仨》这档综艺，属于未播先火的范畴。 《我们仨》是由湖南卫视王恬工作室制作，湖南卫视、芒果TV出品的一档AI旅行探索节目。 在听说郭麒麟、毛不易、魏大勋要一起做一档综艺时，观众们便忍不住期待起来。毕竟作为综艺界备受欢迎的“三巨头”，他们“插科打诨”与“...
-
全球首个类Sora开源复现方案来了！全面公开所有训练细节和模型权重
全球首个开源的类Sora架构视频生成模型，来了！ 整个训练流程，包括数据处理、所有训练细节和模型权重，全部开放。 这就是刚刚发布的Open-Sora 1.0。 它带来的实际效果如下，能生成繁华都市夜景中的车水马龙。 还能用航拍视角，展现悬崖海岸边，海水...
-
AI图像平台Fotor推出一站式AI长视频平台Clipfly
近日，图像编辑平台Fotor正式拓展视频领域，推出名为Clipfly的全新一站式AI长视频平台。Clipfly集成了AI视频生成、增强和编辑等多种功能，用户可在该平台完成从构思到最终视频输出的整个流程。 Fotor创始人兼CEO段江表示，凭借公司在图像AI...
-
今日AI：苹果大模型MM1入场；Sora训练数据来源竟来自这；全球最快AI芯片WSE-3发布；阿里邀请AI参加数学竞赛
欢迎来到【今日AI】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ???AI新鲜事 苹果大模型MM1...
-
AI公司生数科技完成新一轮数亿元融资 聚焦原生多模态赛道
生数科技是一家成立于2023年的公司，专注于多模态大模型的研发，包括图像、3D 和视频等多种原生多模态大模型。他们的团队来自清华大学人工智能研究院和其他科技公司，拥有深厚的技术背景。 该公司最近完成了一轮数亿元的融资，将主要用于多模态基础大模型的研发、产品...
-
用AI短视频「反哺」长视频理解，腾讯MovieLLM框架瞄准电影级连续帧生成
在视频理解这一领域，尽管多模态模型在短视频分析上取得了突破性进展，展现出了较强的理解能力，但当它们面对电影级别的长视频时，却显得力不从心。因而，长视频的分析与理解，特别是对于长达数小时电影内容的理解，成为了当前的一个巨大挑战。 究其原因，导致模型理解长视...
-
AI绘画专栏之 终于来了！4步 webui使用Stableforge实现SVD文生视频
以前我们分享的SVD不管是文生视频还是长视频还是图生视频，都是在Comfyui中实现的，但是大多数的用户还是在webui中使用的，那么forge它来了，A111点赞的实现SVD的整合方式。 与原始 WebUI（用于 1024px 的 SDXL 推理）相比...
-
Meta打造巨型AI模型 为视频推荐引擎注入新活力
互联网巨头Meta正致力于开发一款超大规模的人工智能系统，旨在为其旗下的视频推荐引擎注入新的活力，从而提升用户体验。 Facebook的负责人汤姆·埃利森透露，这款巨型人工智能推荐模型是Meta到2026年技术路线图的关键组成部分。该模型不仅能为类似于Ti...
-
MovieLLM官网体验入口 AI视频创作综合框架详细介绍
MovieLLM是一个创新框架，旨在为长视频创建合成的、高质量的数据。该框架利用GPT- 4 和文本到图像模型的力量，生成详细的脚本和相应的视觉内容。 点击前往MovieLLM官网体验入口 谁可以从MovieLLM中受益？ MovieLLM适用于需要进行...
-
Meta正构建巨型AI模型，支持旗下所有产品的视频推荐引擎
3月7日消息，美国时间周三，Meta公司一位高管透露，公司正在对人工智能进行重大投资，旨在打造一个先进的系统，能够支持Facebook等旗下各个平台视频的推荐引擎。 Meta旗下负责Facebook平台的汤姆·艾里森（Tom Alison）透露，这个项...
-
NUWA-XL官网体验入口 微软视频创作AI编辑工具在线使用地址
NUWA-XL是微软开发的前沿多模态生成模型，能够根据提供的脚本以“粗到细”的过程生成极长视频。该模型能够产生高质量、多样化且有趣的视频剪辑，并具有真实的镜头变化。 点击前往NUWA-XL官网体验入口 谁可以从NUWA-XL中受益？ NUWA-XL适用于...
-
北大发起复现Sora，框架已搭！袁粒田永鸿领衔，AnimateDiff大神响应
重磅： 北大团队联合兔展发起了一项Sora复现计划——Open Sora。 框架、实现细节已出： 初始团队一共13人： 带队的是北大信息工程学院助理教授、博导袁粒和北大计算机学院教授、博导田永鸿等人。 为什么发起这项计划？ 因为资源有限，团队希望集结...
-
国内公司有望做出Sora吗？这支清华系大模型团队给出了希望
2023 年年底，很多人都预测，未来一年将是视频生成快速发展的一年。但出人意料的是，农历春节刚过，OpenAI 就扔出了一个重磅炸弹 —— 能生成 1 分钟流畅、逼真视频的 Sora。它的出现让很多研究者担心：国内外 AI 技术的差距是不是又拉大了？ 根...
-
Gemini 1.5实测：我看Sora一眼假；还有更多惊艳功能
谷歌の“反击”来了！ Gemini被Sora抢走的风头，现在有抢回来的势头了。 在最新实测中，Gemini 1.5能分析Sora视频是否AI生成。 是直接给出当中关键因素的那种。 比如这个经典的猫猫视频，Gemini 1.5直言： 它的眼睛和毛都看起来都...
-
精炼爆炸性新闻！OpenAI发布革命性AI视频生成模型Sora：实现长达60秒的高清视频创作「附AIGC行业系统搭建」
在人工智能领域，每一次技术革新都引领着未来的发展方向。OpenAI，作为全球领先的人工智能研究机构，再次证明了其在推动AI技术革新方面的领导地位。近日，OpenAI宣布推出了一款革命性的AI视频生成模型——Sora，这一大胆的创新举措，无疑将AI视频生成技...
-
Meta、谷歌、特斯拉，竞争对手联合起来吐槽OpenAI！Sora不懂物理世界，它只是GPT3！
编辑 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） 上周，OpenAI的第一个视频生成模型Sora在互联网上疯传。然而，与此同时，来自竞争对手公司的一批人工智能专家和研究人员迅速剖析和批评了Sora的Transformer模型，引...
-
100万token，一次能分析1小时YouTube视频，「大世界模型」火了
最近几天，我们接连被谷歌的多模态模型 Gemini 1.5 以及 OpenAI 的视频生成模型 Sora 所震撼到，前者可以处理的上下文窗口达百万级别，而后者生成的视频能够理解运动中的物理世界，被很多人称为「世界模型」。然而，这些刷屏无数的模型真的能很好...
-
Sora刷屏背后：企业AI视频的爆发需求，与100元的付费意愿
Sora的发布成为这几天刷屏级内容。这几年，每年春节前后海外都有一个让业界惊掉下巴的重大产品发布，尤其GPT和Sora。这个能够根据文本描述，生成长达60秒连贯流畅的视频的新产品，正好切中了当下业界超高的视频需求。不过在大调研中，企业愿意为此付出的费用也在...
-
AIGC音视频工具分析和未来创新机会思考
编者按：相较于前两年，2023年音视频行业的使用量增长缓慢，整个音视频行业遇到瓶颈。音视频的行业从业者面临着相互竞争、不得不“卷”的状态。我们需要进行怎样的创新，才能从这种“卷”的状态中脱离出来？LiveVideoStack 2023上海站邀请到了P...
-
Pika：AIGC新秀，视频生成产业或迎来GPT时刻
今天分享的AIGC系列深度研究报告：《Pika：AIGC新秀，视频生成产业或迎来GPT时刻》。 （报告出品方：中泰证券） 报告共计：11页 Pika：专注Text to Video生成场景，支持3D和动漫 ◼ Pika成立于2023年5月，是一...
-
首个环视世界模型DrivingDiffusion: BEV数据和仿真新思路！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 笔者的一些个人思考 在自动驾驶领域，随着BEV-based子任务/端到端方案的发展，高质量的多视图训练数据和相应的仿真场景构建愈发重要。针对当下任务的痛点，“高质量”可以解耦成三个方面： 不同维度...
-
LLaMA模型指令微调 字节跳动多模态视频大模型 Valley 论文详解
Valley: Video Assistant with Large Language model Enhanced abilitY 大家好，我是卷了又没卷，薛定谔的卷的AI算法工程师「陈城南」~ 担任某大厂的算法工程师，带来最新的前沿AI知识和工具...
-
Stable Diffusion动画版上线！十五种风格预设，支持文本图像视频多种输入方式
Stable Diffusion也能生成视频了！ 你没听错，Stability AI推出了一款新的文本生成动画工具包Stable Animation SDK，可支持文本、文本+初始图像、文本+视频多种输入方式。 使用者可以调用包括Stable...
-
AIGC内容分享(二十)：「AI视频生成」技术核心基础知识和模型应用
目录 何为AI视频？ 一、技术发展概况 二、代表模型及应用 三、仍存在许多技术难点 何为AI视频？ 「AI视频」通常指的是由人工智能（AI）技术生成或处理的视频。这可能包括使用深度学习、计算机视觉和其他相关技术来改善视频的质...
-
Video-LLaMA 论文精读
Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding video-LLaMA 一种用于视频理解的指令调整视听语言模型 引言 ...
-
英文视频添加中英双语字幕（基于Whisper语音识别和Google翻译）
第一步：安装配置环境，这一步重要介绍安装的环境依赖，可以看完第二章再来看一遍 （1）Whisper环境配置 可以参考以下博客的内容讲显卡驱动，CUDA和cudnn的安装比较详细，我建议能用GPU加速就尽量使用，Whisper速度有点慢如何在你的电脑...
-
AIGC中的视觉生成文献整理
文章目录 文件夹文献总览 图像生成技术 视频生成技术 Video Generation with Text Condition Video Generation with other Conditions Video Editing 生成模...
-
AIGC｜一文梳理「AI视频生成」技术核心基础知识和模型应用
大家好，我是猫先生，AI技术爱好者与深耕者！！ 2022年是AIGC（生成式AI）元年！从这一年开始，可谓是百家争鸣，各种技术层出不穷，再次迸发出AI的活力。从DALL·E 2、Stable Diffusion、Midjourney等文生图应用点燃了大众...
-
AIGC之Image2Video（一）| Animate Anyone：从静态图像生成动态视频，可将任意图像角色动画化
近日，阿里发布了Animate Anyone，只需一张人物照片，结合骨骼动画，就能生成人体动画视频。 项目地址：https://humanaigc.github.io/animate-anyone/ 论文地址：https://ar...
-
再薅！Pika全球开放使用；字节版GPTs免费不限量；大模型应用知识地图；MoE深度好文；2024年AIGC发展轨迹；李飞飞最新自传 | ShowMeAI日报
?日报&周刊合集 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦！ ? 终于！AI视频生成平台 Pika 面向所有用户开放网页端 https://twitter.com/pika_labs Pika...
-
AI解读视频张口就来？这种「幻觉」难题Vista-LLaMA给解决了
近年来，大型语言模型如 GPT、GLM 和 LLaMA 等在自然语言处理领域取得了显著进展，基于深度学习技术能够理解和生成复杂的文本内容。然而，将这些能力扩展到视频内容理解领域则是一个全新的挑战 —— 视频不仅包含丰富多变的视觉信息，还涉及时间序列的动态...
-
AI视野：必应推出GPT-4Turbo模型；抖音测试“AI搜”功能；小红书内测AI聊天机器人；OpenAI计划新一轮融资
????大模型动态 必应推出GPT-4Turbo模型 微软推出Bing Chat的最新模型，GPT-4Turbo，为用户提供更准确和最新的信息。目前仅限部分用户试用，使用方法需通过检查资格确认。 阿里团队推新AI模型I2VGen-XL 视频合成领域迎来...
-
我们尝试用AI创作了一条圣诞动画（附ChatGPT+Pika等制作流程全记录）
最近，AI视频生成领域可以说是迎来了一波小爆发，前有明星产品Runway Gen2，后有黑马Pika1.0爆火，随着越来越多的玩家和产品涌入AI视频赛道，视频创作的门槛似乎越来越低了。 例如，今年圣诞节就有不少网友用Pika1.0整活，生成了各种脑洞大开的...
-
Video-LLaMA An Instruction-tuned Audio-Visual Language Model for Video Understanding 用于视频理解的指令调谐视听语言
1.摘要 我们提出了一个多模态框架Video-LLaMA1，它使大型语言模型(LLM 能够理解视频中的视觉和听觉内容。视频-来自冻结的预训练视频和音频编码器和冻结的LLM的美洲驼引导跨模式训练。不像以前的工作，补充线性最小二乘法只处理视觉或听觉信号...
-
无脑018——win11部署whisper，语音转文字
1.conda创建环境 conda create -n whisper python==3.9 conda activate whisper 安装pytorch pip install torch==1.8.1+cu101 torchvisio...
-
长视频自动化摘要笔记完整工作流；腾讯云发布AIGC全链路内容安全解决方案
? AI新闻 ? 腾讯云发布AIGC全链路内容安全解决方案，助力企业护航生成式人工智能健康发展 摘要：腾讯云公布MaaS能力全景图，提供AIGC全链路内容安全解决方案，覆盖从模型训练到内容生成再到事后运营全过程的内容安全建设。解决方案包含审校、安全...
-
【Video-LLaMA】增强LLM对视频内容的理解
Paper:《Video-LLaMA : An Instruction-tuned Audio-Visual Language Model for Video Understanding》 Authors: Hang Zhang, Xin Li, Lid...
-
大模型太卷，AI应用就好做吗？
2022年底，ChatGPT推出后迅速在社交媒体上走红，很快，月活用户突破1亿，成为史上增长最快的消费者应用。 不久后，国内也掀起了一场轰轰烈烈的大模型竞赛，下场的企业越来越多，都在扬言要赶超ChatGPT。 一年过去，大模型没让参赛者看到盈利的曙光，资本...
-
抖音跳舞不用真人出镜，一张照片就能生成高质量视频！字节新技术连抱抱脸CTO都下场体验了
看！现在正有四位小姐姐在你面前大秀热舞： 以为是某些主播在短视频平台发布的作品？ No，No，No。 真实答案是：假的，生成的，而且还是只靠了一张图的那种！ 真实的打开方式是这样的： 这就是来自新加坡国立大学和字节跳动最新的一项研究，名叫Magic...
-
Pic Copilot官方体验入口 AI电商图片生成软件分享
阿里推出的Pic Copilot是一款可以根据文本或图像生成视频的人工智能工具。它的功能和另一款AI视频生成工具RunwayML的Gen-2模型类似，但是有些方面可能更优秀。Pic Copilot可以用于创作短视频、动画、广告等内容，具有很高的创意性和实用...
-
规模小、效率高：DeepMind推出多模态解决方案Mirasol 3B
多模态学习面临的主要挑战之一是需要融合文本、音频、视频等异构的模态，多模态模型需要组合不同来源的信号。然而，这些模态具有不同的特征，很难通过单一模型来组合。例如，视频和文本具有不同的采样率。 最近，来自 Google DeepMind 的研究团队将多模态...
-
Momento官网体验入口 AI视频剪辑工具免费软件app下载
《Momento》是一个使用AI技术的在线视频剪辑工具，它可以快速制作有趣的短视频。通过智能识别视频中的关键精彩剪辑点、自动剪辑、添加字幕和特效等AI能力，该工具大大提高了视频制作的效率，使用户无需进行复杂的手动剪辑就能输出高质量的短视频。那么，《Mome...
-
视频生成新突破：PixelDance，轻松呈现复杂动作与炫酷特效
最近，除了大语言模型继续持续刷屏，视频生成技术也取得了重大进展，多家公司相继发布了新模型。 首先，作为最早探索视频生成领域的领头羊之一，Runway 升级了其 Gen-2 模型，带来了电影级别的高清晰度，令人瞩目，并称视频生成的一致性得到了重大改进。 但...
-
谷歌发布 Mirasol：30 亿参数，将多模态理解扩展到长视频
11 月 16 日消息，谷歌公司近日发布新闻稿，介绍了小型人工智能模型 Mirasol，可以回答有关视频的问题并创造新的记录。 AI 模型目前很难处理不同的数据流，如果要让 AI 理解视频，需要整合视频、音频和文本等不同模态的信息，这大大增加了难度。...
-
AI视野：微软推自主研发AI芯片Maia100；WPS AI开启公测；OPPO发布安第斯大模型AndesGPT；DeepMind发布新模型Mirasol3B
???AI新鲜事 微软正式宣布其首款人工智能芯片 Maia100 微软宣布推出首款自主研发的AI芯片Maia100，旨在训练大型语言模型，并推出基于Arm架构的通用计算芯片Cobalt100，以优化云计算工作负载。 金山办公WPS AI开启公测，小米14...
-
微软用GPT-4V解读长视频 MM-Vid能看懂电影还能讲给盲人听
近期，微软Azure AI发布了MM-Vid，这是一项结合GPT-4V与专用工具的创新，致力于解读长视频并为视障人士提供更好的体验。 目前，人工智能在长视频理解领域所面临的复杂挑战，包括分析多个片段、提取不同信息源、实时处理动态环境等。而MM-Vid的工作...
-
微软用GPT-4V解读视频，看懂电影还能讲给盲人听，1小时不是问题
世界各地的人们每天都会创造大量视频，包括用户直播的内容、短视频、电影、体育比赛、广告等等。 视频是一种多功能媒介，可以通过文本、视觉和音频等多种模态传递信息和内容。如果可以开发出能学习多模态数据的方法，就能帮助人们设计出具备强大能力的认知机器 —— 它不...