vqa - AIGC资讯

Meta发布Llama 3.2，Llama 终于能看见了！

Llama家族再添新成员，多模态能力终于到来！ Meta刚刚发布了Llama 3.2模型系列，包括多模态视觉模型和小型文本模型，共计10个开放权重模型。这次更新不仅带来了期待已久的视觉能力，还为移动设备和边缘计算提供了更多选择。多模态Llam...

生成式AI 2024-10-04 AIGC

145阅读

DataWhale多模态赛事Task1

赛事链接：https://tianchi.aliyun.com/competition/entrance/532251/introduction?spm=a2c22.12281925.0.0.2f307137p8qZmp 赛事描述：在当下大数据、大模型时...

生成式AI 2024-08-31 AIGC

168阅读

阿里重磅开源Qwen2-VL：能理解超20分钟视频，媲美GPT-4o！

阿里巴巴开源了最新视觉多模态模型Qwen2-VL，根据测试数据显示，其72B模型在大部分指标超过了OpenAI的GPT-4o，Anthropic的Claude3.5-Sonnet等著名闭源模型，成为目前最强多模态模型之一。 Qwen2-VL支持中文、英文、...

生成式AI 2024-08-30 AIGC

166阅读

Chameleon：Meta推出的图文混合多模态开源模型

目录引言一、Chameleon模型概述 1、早期融合和基于token的混合模态模型 1）早期融合的优势 2）基于token的方法 2、端到端训练二、技术挑战与解决方案 1、优化稳定性问题 2、扩展性问题 3、架构创新 4、训练技...

大数据 2024-08-16 AIGC

237阅读

Nature曝惊人内幕：论文被天价卖出喂AI！出版商狂赚上亿，作者0收入

Nature的一篇文章透露:你发过的paper，很可能已经被拿去训练模型了!有的出版商靠卖数据，已经狂赚2300万美元。然而辛辛苦苦码论文的作者们，却拿不到一分钱，这合理吗? 全球数据告急，怎么办? 论文来凑! 最近，Nature的一篇文章向我们揭露了这样...

生成式AI 2024-08-15 AIGC

247阅读

长上下文能力只是吹牛？最强GPT-4o正确率仅55.8%，开源模型不如瞎蒙

【新智元导读】当今的LLM已经号称能够支持百万级别的上下文长度，这对于模型的能力来说，意义重大。但近日的两项独立研究表明，它们可能只是在吹牛，LLM实际上并不能理解这么长的内容。大数字一向吸引眼球。千亿参数、万卡集群，——还有各大厂商一直在卷的超长上下...

大数据 2024-07-23 AIGC

206阅读

【持续更新中！图像-文本对数据集汇总】Stable Diffusion 3 重磅开源，超全图像生成必备训练数据集、教程汇总

Stability AI 已经正式开源 Stable Diffusion 3（简称 SD3）！SD3 是一个图像生成模型，只要给定一段描述性的文字，就能够创造出与之匹配的视觉作品。下图就是由 SD3 生成的图像。 * prompt 史诗...

AIGC 2024-06-19 AIGC

238阅读

AI日报｜微软推出Copilot+PC，通义主模型大幅降价，文心两大模型全面免费...

文章推荐 AI晚报｜GPT-4o最新语音交互模式即将上线，微软Build 2024开发者大会即将开幕... AI Agent深度解析：潜力与挑战并存的智能新世界 GPT-4o重磅发布，第一时间用户测评，OpenAI也存在夸张宣传？微软让Windo...

大数据 2024-05-29 AIGC

188阅读

模块化重构LLaVA，替换组件只需添加1-2个文件，开源TinyLLaVA Factory来了

TinyLLaVA 项目由清华大学电子系多媒体信号与智能信息处理实验室 (MSIIP 吴及教授团队和北京航空航天大学人工智能学院黄雷老师团队联袂打造。清华大学 MSIIP 实验室长期致力于智慧医疗、自然语言处理与知识发现、多模态等研究领域。北航团队长期...

人工智能 2024-05-27 AIGC

170阅读

OmniDrive: 一个关于大模型与3D驾驶任务对齐的框架

本文经自动驾驶之心公众号授权转载，转载请联系出处。从一个新颖的3D MLLM架构开始，该架构使用稀疏查询将视觉表示提升和压缩到3D，然后将其输入LLM。题目：OmniDrive: A Holistic LLM-Agent Framework for...

人工智能 2024-05-06 AIGC

238阅读

挑战拯救痴心“舔狗”，我和大模型都尽力了

天降猛男，大模型化身为 “痴情男大”，等待人类玩家的拯救。一款名为 “拯救舔狗” 的大模型原生小游戏出现了。游戏规则很简单:如果玩家在几轮对话内说服 “他” 放弃追求对他并无青睐的女神，就算挑战成功。听起来并不难，然而游戏源于生活，模型人设是痴情属...

生成式AI 2024-04-24 AIGC

216阅读

轻松拿捏4K高清图像理解！这个多模态大模型自动分析网页海报内容，打工人简直不要太方便

一个可以自动分析PDF、网页、海报、Excel图表内容的大模型，对于打工人来说简直不要太方便。上海AI Lab，香港中文大学等研究机构提出的InternLM-XComposer2-4KHD（简写为IXC2-4KHD）模型让这成为了现实。相比于其他多模...

大数据 2024-04-22 AIGC

211阅读

VQAScore官网体验入口 AI文本到视觉生成评估工具使用地址

VQAScore是一种新的评估指标，旨在更好地评估复杂的文本到视觉生成效果。这一指标结合了CLIP-FlanT5 模型，能够在文本到图像/视频/3D生成评估中实现最佳性能，是评估和优化文本到视觉生成模型的强大工具。同时，VQAScore引入了GenAI-B...

人工智能 2024-04-11 AIGC

227阅读

陈巍：LLaMA-2的多模态版本架构与训练详解（收录于GPT-4/ChatGPT技术与产业分析）

陈巍：2023年9月，Meta的研究人员推出了AnyMAL（任意模态增强语言模型，Any-Modality Augmented Language Model）。该模型能够理解多种模态信号并生成文本回应，即多模态输入，单模态输出。输入的模态可包括图像、视频、...

AIGC 2024-04-10 AIGC

225阅读

智能百科 | 多模态人工智能及其应用

多模态人工智能概述多模态人工智能是一种人工智能技术，其能够处理和理解多种类型的输入数据，例如文本、图像、语音和视频等。与传统的单一模态人工智能相比，多模态人工智能能够更全面地理解和处理信息，因为其能够同时考虑多种输入源的信息。多模态人工智能通常利用...

大数据 2024-04-08 AIGC

475阅读

Mini-Gemini:简单有效的AI框架，增强多模态视觉语言模型

近期，中国香港中文大学和 SmartMore 的研究人员推出了一种名为 Mini-Gemini 的新颖框架，通过增强多模态输入处理来推动 VLMs 的发展。Mini-Gemini 采用了双编码器系统和一种新颖的补丁信息挖掘技术，结合一个特别策划的高质量数据...

大数据 2024-04-01 AIGC

242阅读

剑桥团队开源：赋能多模态大模型RAG应用，首个预训练通用多模态后期交互知识检索器

论文链接：https://arxiv.org/abs/2402.08327 DEMO 链接：https://u60544-b8d4-53eaa55d.westx.seetacloud.com:8443/ 项目主页链接：https://preflm...

AIGC 2024-03-25 AIGC

299阅读

通用文档理解新SOTA，多模态大模型TextMonkey来了

最近，华中科技大学和金山的研究人员在多模态大模型 Monkey [1]（Li et al., CVPR2024）工作的基础上提出 TextMonkey。在多个场景文本和文档的测试基准中，TextMonkey 处于国际领先地位，有潜力带来办公自动化、智慧教...

人工智能 2024-03-25 AIGC

298阅读

自适应剪枝让多模态大模型加速2-3倍，哈工大等推出SmartTrim

基于 Transformer 结构的视觉语言大模型（VLM）在各种下游的视觉语言任务上取得了巨大成功，但由于其较长的输入序列和较多的参数，导致其相应的计算开销地提升，阻碍了在实际环境中进一步部署。为了追求更为高效的推理速度，前人提出了一些针对 VLM 的...

大数据 2024-03-18 AIGC

258阅读

苹果大模型MM1杀入场：300亿参数、多模态、MoE架构，超半数作者是华人

今年以来，苹果显然已经加大了对生成式人工智能（GenAI）的重视和投入。此前在 2024 苹果股东大会上，苹果 CEO 蒂姆・库克表示，今年将在 GenAI 领域实现重大进展。此外，苹果宣布放弃 10 年之久的造车项目之后，一部分造车团队成员也开始转向...

大数据 2024-03-15 AIGC

226阅读

谷歌发布最新「读屏」AI！PaLM 2-S自动生成数据，多项理解任务刷新SOTA

【新智元导读】谷歌在语言和声控计算机界面的漫长道路上又迈出了重要一步。最新ScreenAI视觉语言模型，能够完成各种屏幕QA问答、总结摘要等任务。每个人想要的大模型，是真·智能的那种...... 这不，谷歌团队就做出来了一个强大的「读屏」AI。研究人员...

生成式AI 2024-03-05 AIGC

244阅读

给AI Agent完整的一生！港大NYU谢赛宁等最新智能体研究：虚拟即现实

【新智元导读】近日，来自香港大学的Jihan Yang和纽约大学的谢赛宁等人发表了新的成果，将真实世界的地图、街景等各种信息融入Agent所在的虚拟世界，为智能体的未来赋予了无限可能。怎样能构建更强大的AI Agent? 答案是给他们一个完整而真实的世界...

大数据 2024-03-03 AIGC

235阅读

谷歌发布基础世界模型：11B参数，能生成可交互虚拟世界

Sora 问世才不到两个星期，谷歌的世界模型也来了，能力看起来更强大：它生成的虚拟世界「自主可控」。刚刚，谷歌定义了生成式 AI 的全新范式 —— 生成式交互环境（Genie，Generative Interactive Environments）。G...

生成式AI 2024-02-27 AIGC

250阅读

谷歌AI推出ScreenAI：用于UI和信息图解读的视觉语言模型

划重点: ⭐️ Google AI 团队提出了 ScreenAI，这是一个视觉语言模型，可以全面理解 UI 和信息图。 ⭐️ ScreenAI 在多个任务上表现出色，包括图形问答（QA），元素注释，摘要生成等。 ⭐️ 该团队发布了三个新数据集，为未来研究提...

生成式AI 2024-02-21 AIGC

232阅读

大模型真能解决一切吗？关于知识驱动自动驾驶的一些思考

本文经自动驾驶之心公众号授权转载，转载请联系出处。上个星期受邀在外面做了一次关于「知识驱动自动驾驶」的讲座，刚好借这个机会把之前我和团队的一些学术上的思考整理凝练了一下。感觉里面一些内容还是挺值得拿出来分享&讨论的，所以开这么个帖子把其中一些关...

AIGC 2024-02-05 AIGC

297阅读

GPT-4V只能排第二！华科大等发布多模态大模型新基准：五大任务14个模型全面测评

近期，多模态大模型（LMMs）在视觉语言任务方面展示了令人印象深刻的能力。然而，由于多模态大模型的回答具有开放性，如何准确评估多模态大模型各个方面的性能成为一个迫切需要解决的问题。目前，一些方法采用GPT对答案进行评分，但存在着不准确和主观性的问题。另...

大数据 2024-02-02 AIGC

295阅读

赶超Gemini Pro，提升推理、OCR能力的LLaVA-1.6太强了

去年 4 月，威斯康星大学麦迪逊分校、微软研究院和哥伦比亚大学研究者共同发布了 LLaVA（Large Language and Vision Assistant）。尽管 LLaVA 是用一个小的多模态指令数据集训练的，却在一些样本上展示了与 GPT-4...

大数据 2024-02-01 AIGC

244阅读

最强开源多模态生成模型MM-Interleaved：首创特征同步器

想象一下，AI 不仅会聊天，还长了「眼睛」，能看懂图片，甚至还会通过画画来表达自己！这意味着，你可以和它们谈天说地，分享图片或视频，它们也同样能用图文并茂的方式回应你。最近，上海人工智能实验室联合香港中文大学多媒体实验室（MMLab）、清华大学、商汤科...

AIGC 2024-02-01 AIGC

249阅读

把图像视为外语，快手、北大多模态大模型媲美DALLE-3

当前的大型语言模型如 GPT、LLaMA 等在自然语言处理领域取得了显著进展，能够理解和生成复杂的文本内容。但你是否想过，如果能够将大语言模型这强大的理解和生成能力迁移到多模态数据上，就可以轻松理解海量的图像与视频，并辅助创作图文并茂的内容。近期，来自快...

大数据 2024-01-30 AIGC

241阅读

年轻人的第一个多模态大模型：1080Ti轻松运行，已开源在线可玩

一款名为Vary-toy的“年轻人的第一个多模态大模型”来了！模型大小不到2B，消费级显卡可训练，GTX1080ti 8G的老显卡轻松运行。想将一份文档图片转换成Markdown格式？以往需要文本识别、布局检测和排序、公式表格处理、文本清洗等多个步骤...

生成式AI 2024-01-29 AIGC

270阅读

AIGC时代智能绘画开启视觉新时代

大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客...

人工智能 2024-01-26 AIGC

261阅读

阿里云发布多模态大模型Qwen-VL-Max版本性能比肩GPT-4V

阿里云公布了多模态大模型的最新研究成果，继Plus版本之后，再次推出Max版本。 Qwen-VL-Max模型在视觉推理方面展现出卓越的能力，可以理解并分析复杂的图片信息，包括识人、答题、创作和写代码等任务。此外，该模型还具备视觉定位功能，可根据画面指定区域...

AIGC 2024-01-26 AIGC

213阅读

万字总结 | 2023大模型与自动驾驶论文走马观花

本文经自动驾驶之心公众号授权转载，转载请联系出处。 2023年已经匆匆过去大半，不知各位自动驾驶小伙伴今年的工作生活情况是否顺利呢？高阶ADAS方案量产了吗？新的文章和实验进展又是否顺利呢？今天给大家总结了2023年前后的一些自动驾驶结合大模型的开创性...

生成式AI 2024-01-24 AIGC

256阅读

4个令人惊艳的ChatGPT项目，开源了！AIGC也太猛了...

大家好啊～自从 ChatGPT、Stable Diffusion 发布以来，各种相关开源项目百花齐放，着实让人应接不暇。今天，我将着重挑选几个优质的开源项目，对我们的日常工作、学习生活，都会有很大的帮助。今天整理分享给大家，希望对你有所帮助。...

大数据 2024-01-22 AIGC

252阅读

GPT-4V惨败！CV大神谢赛宁新作：V*重磅「视觉搜索」算法让LLM理解力逼近人类

Sam Altman最近在世界经济论坛上发言，称达到人类级别的AI很快就会降临。但是，正如LeCun一直以来所言，如今的AI连猫狗都不如。现在看来的确如此。 GPT-4V、LLaVA等多模态模型图像理解力足以让人惊叹。但是，它们并非真的能够做的面面俱到。...

大数据 2024-01-21 AIGC

245阅读

免费商用 Meta 发布开源大语言模型 Llama 2

Meta 和微软深度合作，正式推出下一代开源大语言模型 Llama 2，并宣布免费提供给研究和商业使用。 Llama 2 论文地址：Llama 2: Open Foundation and Fine-Tuned Chat Models 据介...

大数据 2024-01-19 AIGC

256阅读

即插即用，完美兼容：SD社区的图生视频插件I2V-Adapter来了

图像到视频生成（I2V）任务旨在将静态图像转化为动态视频，这是计算机视觉领域的一大挑战。其难点在于从单张图像中提取并生成时间维度的动态信息，同时确保图像内容的真实性和视觉上的连贯性。大多数现有的 I2V 方法依赖于复杂的模型架构和大量的训练数据来实现这一...

生成式AI 2024-01-15 AIGC

233阅读

AI自动写代码：GitHub copilot插件在Idea的安装和使用教程

GitHub Copilot 是微软与OpenAI共同推出的一款AI编程工具，基于GitHub及其他网站的源代码，根据上文提示为程序员自动编写下文代码，可以极大地提高编写代码的效率。先看看ChatGpt是怎么回答Copilot的功能特点：给大家简单...

人工智能 2024-01-14 AIGC

1100阅读

驾驭AI绘画：《AI魔法绘画》带你秒变顶级画手！

大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...

大数据 2024-01-13 AIGC

285阅读

AIGC之论文笔记DALL-E

文章目录 Zero-Shot Text-to-Image Generation 一. 简介二. 方法 2.1. 第一阶段：Learning the visual codebook 2.1.1 回顾VQ-VAE 2.1.2...

生成式AI 2024-01-13 AIGC

283阅读

2023年度盘点：AIGC、AGI、GhatGPT、人工智能大模型必读书单

2023年度盘点智能大模型必读书单概述好书推荐 01 《ChatGPT 驱动软件开发》 02 《ChatGPT原理与实战》 03 《神经网络与深度学习》 04 《AIGC重塑教育》 05 《通用人工智能》写在末尾：...

大数据 2024-01-07 AIGC

246阅读

GPT-4V开源平替！清华浙大领衔，LLaVA、CogAgent等开源视觉模型大爆发

如今，GPT-4 Vision在语言理解和视觉处理方面展现出了非凡的能力。然而，如果想在不影响性能的前提下，寻求具有成本效益的替代方案，开源方案就蕴藏着无限可能。国外的一位开发者Youssef Hosni为大家奉上了三种GPT-4V的开源替代方案，可...

AIGC 2024-01-03 AIGC

266阅读

大模型+机器人，详尽的综述报告来了，多位华人学者参与

大模型的出色能力有目共睹，而如果将它们整合进机器人，则有望让机器人拥有一个更加智能的大脑，为机器人领域带来新的可能性，比如自动驾驶、家用机器人、工业机器人、辅助机器人、医疗机器人、现场机器人和多机器人系统。预训练的大型语言模型（LLM）、大型视觉 -...

AIGC 2023-12-27 AIGC

266阅读

【Ai篇】10 款AI聊天机器人\AI绘画免费使用

【Ai篇】10 款AI聊天机器人\\AI绘画免费使用 1、GPT机器人 GPT机器人是一款免费的AI聊天机器人和AI绘画软件，AI聊天机器人支持GPT-4，而且支持AI绘画，可通过文本描述进行AI绘画创作，软件免费开放使用，无需注册登录，目前支持安卓，...

AIGC 2023-12-24 AIGC

523阅读

ChatGPT的2023：开创人工智能的新纪元

12月16日，The Verge 根据获取的内部文件和 Lark（飞书）聊天记录报道称，字节跳动曾秘密使用 OpenAI 的模型输出文本来训练自己的大语言模型。即便中止使用 GPT 生成文本之后，代号为 Project...

人工智能 2023-12-19 AIGC

219阅读

越来越像人类的AI，提前过起「圣诞节」

ChatGPT，居然会偷懒? 在许多文学作品的描述中，AI都是不知疲倦、不用休息，可以007工作的超级工具，而强大的人工智能甚至可以像人类一样自主思考、拥有情感。虽然目前的AI模型，还远不及科幻电影中的强人工智能，但是表现也远超以前的“人工智障”。有意思...

生成式AI 2023-12-19 AIGC

221阅读

走在GPT 4.5前面？3D、视频直接扔进对话框，大模型掌握跨模态推理

给你一首曲子的音频和一件乐器的 3D 模型，然后问你这件乐器能否演奏出这首曲子。你可以通过听觉来辨认这首曲子的音色，看它是钢琴曲还是小提琴曲又或是来自吉他；同时用视觉识别那是件什么乐器。然后你就能得到问题的答案。但语言模型有能力办到这一点吗？实际上，...

大数据 2023-12-17 AIGC

229阅读

Google Gemini Pro版怎么申请好用的AI助手分享

Google Gemini Pro 是 Google 最新推出的人工智能模型，它可以处理多种类型的任务，包括文本、图像、视频、音频和代码。它是 Gemini 系列模型中的中等规模版本，拥有13.5亿个参数。它的性能在多个基准测试中超过了 OpenAI 的...

生成式AI 2023-12-14 AIGC

227阅读

【多模态】5、BLIP | 统一理解与生成任务为图像生成更高质量的文本描述

文章目录一、背景二、方法 2.1 模型结构 2.2 Pre-training Objectives 2.3 CapFilt 三、效果 3.1 训练细节 3.2 CapFilt 的效果 3.3 样本多样性是文本合成器的关键 3.4 参数...

AIGC 2023-12-09 AIGC

435阅读

新AI框架DreamSync:结合图像理解模型的反馈改善文本到图像合成

来自南加州大学、华盛顿大学、巴伊兰大学和谷歌研究团队的研究人员推出了DreamSync，这是一种新型人工智能框架，致力于解决扩散型文本到图像（T2I）模型中对齐和审美吸引力的问题，而无需进行人工标注、修改模型架构或使用强化学习。 DreamSync的方法是...

生成式AI 2023-12-06 AIGC

255阅读