-
长上下文能力只是吹牛？最强GPT-4o正确率仅55.8%，开源模型不如瞎蒙
【新智元导读】当今的LLM已经号称能够支持百万级别的上下文长度，这对于模型的能力来说，意义重大。但近日的两项独立研究表明，它们可能只是在吹牛，LLM实际上并不能理解这么长的内容。 大数字一向吸引眼球。 千亿参数、万卡集群，——还有各大厂商一直在卷的超长上下...
-
探索多模态智能边界：Visual-Chinese-LLaMA-Alpaca 开源项目解析与应用指南
探索多模态智能边界：Visual-Chinese-LLaMA-Alpaca 开源项目解析与应用指南 在人工智能领域，多模态学习正逐渐成为研究热点，它旨在融合视觉和语言信息，构建能够理解和生成跨模态内容的智能体。Visual-Chinese-LLaMA...
-
【持续更新中！图像-文本对数据集汇总】Stable Diffusion 3 重磅开源，超全图像生成必备训练数据集、教程汇总
Stability AI 已经正式开源 Stable Diffusion 3（简称 SD3）！SD3 是一个图像生成模型，只要给定一段描述性的文字，就能够创造出与之匹配的视觉作品。下图就是由 SD3 生成的图像。 * prompt 史诗...
-
【AIGC调研系列】LLaVA++整合Phi-3和Llama-3能够实现什么
LLaVA++能够为Phi-3和Llama-3带来的主要好处包括： 视觉处理能力的增强：通过整合Phi-3和Llama-3模型，创建了具备视觉处理能力的Phi-3-V和Llama-3-V版本，这意味着这些模型现在能够理解和生成与图像相关的内容[1]。...
-
Midjourney从入门到实战：Midjourney制作电影级镜头体验(附prompts)_ai绘画制作的电影视觉特效
🔥Midjourney是目前主流的一款AI生成图像工具，它风格多样，细节丰富，创作自由，涵盖文生图、图生图、图图结合等模式。对于艺术创作者来说，它可以扩展能力、提高效率，增加创意；对于大众爱好者来说，没有任何美术基础也可以进行艺术创作！本专栏详细介绍了Mi...
-
【AIGC调研系列】CogVLM2:第二代视觉大模型
CogVLM2是智谱AI推出的新一代多模态大模型，继承并优化了上一代模型的经典架构。CogVLM2采用了一个拥有50亿参数的强大视觉编码器，并创新性地在大语言模型中整合了一个70亿参数的视觉专家模块[1]。这一设计使得CogVLM2在视觉和语言理解方面实现...
-
Meta发布类GPT-4o多模态模型Chameleon
Meta最近发布了一个名为Chameleon的多模态模型，它在多模态模型发展中设立了新的标杆。Chameleon是一个早期融合的基于token的混合模态模型家族，能够理解并生成任意顺序的图像和文本。它通过一个统一的Transformer架构，使用文本、图像...
-
Meta首发「变色龙」挑战GPT-4o，34B参数引领多模态革命！10万亿token训练刷新SOTA
GPT-4o的横空出世，再次创立了一个多模态模型发展的新范式！ 为什么这么说？ OpenAI将其称为「首个『原生』多模态」模型，意味着GPT-4o与以往所有的模型，都不尽相同。 传统的多模态基础模型，通常为每种模态采用特定的「编码器」或「解码器」，将不...
-
又被 OpenAI 截胡，Google推出开源视觉语言模型：PaliGemma
前言 该模型结合了 SigLIP 视觉模型和 Gemma 语言模型，这两种模型都是开放组件，使得PaliGemma在处理视觉与语言结合的任务上表现出色。 PaliGemma的使用场景包括图像字幕、图像标签和视觉问答等。这些应用场景利用了PaliGemm...
-
微软让MoE长出多个头，大幅提升专家激活率
混合专家（MoE）是个好方法，支持着现在一些非常优秀的大模型，比如谷歌家的 Gemini 1.5 以及备受关注的 Mixtral 8x7B。 稀疏混合专家（SMoE）可在不显著增加训练和推理成本的前提下提升模型的能力。比如 Mixtral 8×7B 就是...
-
OmniDrive: 一个关于大模型与3D驾驶任务对齐的框架
本文经自动驾驶之心公众号授权转载，转载请联系出处。 从一个新颖的3D MLLM架构开始，该架构使用稀疏查询将视觉表示提升和压缩到3D，然后将其输入LLM。 题目：OmniDrive: A Holistic LLM-Agent Framework for...
-
写真视频击败Sora？人大自研全新多模态大模型Awaker 1.0震撼登场
在人工智能领域，人大系初创公司智子引擎近日发布了一款名为Awaker1.0的全新多模态大模型，标志着向通用人工智能（AGI）迈出了重要一步。该模型在写真视频效果上超越了Sora，展现了其在视觉生成方面的卓越能力。 4月27日，在中关村论坛的通用人工智能平...
-
轻松拿捏4K高清图像理解！这个多模态大模型自动分析网页海报内容，打工人简直不要太方便
一个可以自动分析PDF、网页、海报、Excel图表内容的大模型，对于打工人来说简直不要太方便。 上海AI Lab，香港中文大学等研究机构提出的InternLM-XComposer2-4KHD（简写为IXC2-4KHD）模型让这成为了现实。 相比于其他多模...
-
剑桥团队开源：赋能多模态大模型RAG应用，首个预训练通用多模态后期交互知识检索器
论文链接：https://arxiv.org/abs/2402.08327 DEMO 链接：https://u60544-b8d4-53eaa55d.westx.seetacloud.com:8443/ 项目主页链接：https://preflm...
-
通用文档理解新SOTA，多模态大模型TextMonkey来了
最近，华中科技大学和金山的研究人员在多模态大模型 Monkey [1]（Li et al., CVPR2024）工作的基础上提出 TextMonkey。在多个场景文本和文档的测试基准中，TextMonkey 处于国际领先地位，有潜力带来办公自动化、智慧教...
-
港大开发V-IRL平台：将真实世界地图纳入虚拟环境 给AI Agent完整的一生！
近日，港大和NYU的研究团队合作开发了一个名为V-IRL的平台，该平台将真实世界的地图、街景等丰富信息融入到虚拟环境中，为AI Agent提供了更真实和完整的生活体验。 这项研究的核心在于构建一个可扩展的平台，利用地理信息和街景图像等API将AI智能体嵌入...
-
给AI Agent完整的一生！港大NYU谢赛宁等最新智能体研究：虚拟即现实
【新智元导读】近日，来自香港大学的Jihan Yang和纽约大学的谢赛宁等人发表了新的成果，将真实世界的地图、街景等各种信息融入Agent所在的虚拟世界，为智能体的未来赋予了无限可能。 怎样能构建更强大的AI Agent? 答案是给他们一个完整而真实的世界...
-
Midjourney V6有多厉害，看完这27张图你就明白了！
一些结论 当前V6版本仍处于Alpha测试阶段：这意味着产品的某些方面可能会发生变化。 更准确地遵循提示指令：V6在遵循用户的提示指令方面更为准确，特别是对于较长的提示指令。 模型更加连贯：新版本的模型在生成图像时展现出更高的一致性和连...
-
最强开源多模态生成模型MM-Interleaved：首创特征同步器
想象一下，AI 不仅会聊天，还长了「眼睛」，能看懂图片，甚至还会通过画画来表达自己！这意味着，你可以和它们谈天说地，分享图片或视频，它们也同样能用图文并茂的方式回应你。 最近，上海人工智能实验室联合香港中文大学多媒体实验室（MMLab）、清华大学、商汤科...
-
把图像视为外语，快手、北大多模态大模型媲美DALLE-3
当前的大型语言模型如 GPT、LLaMA 等在自然语言处理领域取得了显著进展，能够理解和生成复杂的文本内容。但你是否想过，如果能够将大语言模型这强大的理解和生成能力迁移到多模态数据上，就可以轻松理解海量的图像与视频，并辅助创作图文并茂的内容。近期，来自快...
-
年轻人的第一个多模态大模型：1080Ti轻松运行，已开源在线可玩
一款名为Vary-toy的“年轻人的第一个多模态大模型”来了！ 模型大小不到2B，消费级显卡可训练，GTX1080ti 8G的老显卡轻松运行。 想将一份文档图片转换成Markdown格式？以往需要文本识别、布局检测和排序、公式表格处理、文本清洗等多个步骤...
-
通义千问视觉语言模型Qwen-VL在线体验入口 阿里云AI在线使用入口
Qwen-VL是阿里云推出的通用型视觉语言模型，具备强大的视觉理解和多模态推理能力。采用 Transformer 结构，以 7B 参数规模进行预训练，支持 448x448 分辨率，能够端到端处理图像与文本的多模态输入与输出。Qwen-VL在多个视觉基准测试...
-
机器人领域首个开源视觉-语言操作大模型，RoboFlamingo框架激发开源VLMs更大潜能
近年来，大模型的研究正在加速推进，它逐渐在各类任务上展现出多模态的理解和时间空间上的推理能力。机器人的各类具身操作任务天然就对语言指令理解、场景感知和时空规划等能力有着很高的要求，这自然引申出一个问题：能不能充分利用大模型能力，将其迁移到机器人领域，直接...
-
【AIGC】大模型协作系统 HuggingGPT 深度解析
欢迎关注【youcans的 AIGC 学习笔记】原创作品 【AIGC】大模型协作系统 HuggingGPT 深度解析 1. 摘要 2. 前言 3. HugginGPT 大模型协作系统 3.1 任务规划 3.2 模型选择 3.3 任务执行...
-
VCoder官网体验入口 AI图像语义理解app软件免费下载地址
VCoder是一个适配器，通过辅助感知模式作为控制输入，来提高多模态大型语言模型在对象级视觉任务上的性能。VCoder LLaVA是基于LLaVA-1. 5 构建的，不对LLaVA-1. 5 的参数进行微调，因此在通用的问答基准测试中的性能与LLaVA-1...
-
文心一言4 测评
文章目录 中文语句理解 “我一把把把把住了” “别别别的” 藏头诗 文案策划 组会汇报文档 视频文案 课程大纲设计 C++考点设计 人工智能引论 生活场景 旅游计划 代码生成与分析 样例1：python多进程程序 样例2：数据处理...
-
GPT-4V都搞不明白的未来推理有解法了！来自华科大&上科大
多模态大语言模型展现了强大的图像理解和推理能力。 但要让它们基于当前观测来对未来事件进行预测推理仍然非常困难。 即便是当前最强大的GPT-4V（如下图所示），也无法很好地解决这一问题。 △ GPT-4V的错误案例 现在，华科大和上科大团队提出了一个赋予...
-
华科大发布AI大模型猴子：部分超越GPT-4
快科技12月12日消息，华中科技大学官方发文称，该校软件学院一团队发布了多模态大模型Monkey”。 该模型擅长图像描述和视觉问答，能够实现对世界的观察”，对图片进行深入问答交流和精确描述。 官方介绍称，在18个数据集上的实验中，华科大Monkey模型表...
-
新AI框架DreamSync:结合图像理解模型的反馈 改善文本到图像合成
来自南加州大学、华盛顿大学、巴伊兰大学和谷歌研究团队的研究人员推出了DreamSync，这是一种新型人工智能框架，致力于解决扩散型文本到图像（T2I）模型中对齐和审美吸引力的问题，而无需进行人工标注、修改模型架构或使用强化学习。 DreamSync的方法是...
-
字节跳动与中科大联手提出多模态文档大模型DocPedia
字节跳动与中国科学技术大学合作研发的多模态文档大模型DocPedia已成功突破了分辨率的极限，达到了2560×2560的高分辨率。这一成果是通过研究团队采用了一种新的方法，解决了现有模型在解析高分辨文档图像方面的不足。 在此研究中，提出了DocPedia，...
-
突破分辨率极限，字节联合中科大提出多模态文档大模型
现在连文档都有大模型了，还是高分辨率、多模态的那种! 不仅能准确识别出图像里的信息，还能结合用户需求调用自己的知识库来回答问题。 比如，看到图中马里奥的界面，直接就回答出了这是任天堂公司的作品。 这款模型由字节跳动和中国科学技术大学合作研究，于2023年...
-
独立开发者案例：每周4h月入数万刀；国家数据局与时代红利；创业前先买个域名；工程师成长最重要的是什么 | ShowMeAI周刊
这是ShowMeAI周刊的第6期。聚焦AI领域本周热点，及其在各圈层泛起的涟漪；关注AI技术进步，并提供我们的商业洞察。欢迎关注与订阅！?日报合辑 ⌛ 独立开发者案例：每周只工作4小时，独立开发者打造月入数万美金的歌词网站 创业一定需要...
-
Visual chatgpt多模态大模型的前菜
刚开始感觉这就是一篇工程类文章，把各种的模型做了整合，把最近很热的两个方向chatgpt和文本生成图、图文提问整合在一起。看完文章发现自己太自傲了，绝对轻视了微软亚研院大佬们的实力。 表面看起来这是一个用chatgpt做意图理解、对话管理，然后用...
-
【AIGC】ChatGPT能上传文件了，文档图片数据集秒理解，代码一键执行
文章目录 前言 正文 Python支持的ChatGPT都能干 应用场景 文档理解和摘要 图片分析和描述 数据集处理和分析 文件搜索和检索 任务协作和知识共享 总结 写在最后 前言 在过去的几年中，人工智能技术取得了巨大的进展，...
-
探寻人工智能前沿 迎接AIGC时代——CSIG企业行（附一些好玩的创新点）
上周我有幸参加了由中国图像图形学会和合合信息共同举办的CSIG企业行活动。 这次活动邀请了多位来自图像描述与视觉问答、图文公式识别、自然语言处理、生成式视觉等领域的学者，他们分享了各自的研究成果和经验，并与现场观众进行了深入的交流和探讨。干货多多...
-
带你认识一下多模态对比语言图像预训练CLIP
本文分享自华为云社区《多模态对比语言图像预训练CLIP：打破语言与视觉的界限》，作者：汀丶。 一种基于多模态（图像、文本）对比训练的神经网络。它可以在给定图像的情况下，使用自然语言来预测最相关的文本片段，而无需为特定任务进行优化。CLIP的设计类似于GP...
-
GPT-4V搞不明白勾股定理！最新基准测试错误率竟高达90%
近日，马里兰大学发布了一项重要研究，针对GPT-4V视觉模型进行了首个专为其设计的基准测试，名为HallusionBench。这项研究揭示了令人震惊的发现，即GPT-4V的错误率高达90%。这一错误率包括对基本数学原理的误用，比如将勾股定理错误应用于非直角...
-
GPT-4V连小学生都不如？最新基准测试错误率竟高达90%：红绿灯认错、勾股定理也不会
GPT-4被吹的神乎其神，作为具备视觉能力的GPT-4版本——GPT-4V，也被大众寄于了厚望。 但如果告诉你，初中生都知道的勾股定理，只适用于直角三角形。 然而GPT-4V却自信将其用于钝角三角形中计算斜边长度。还有更离谱的，GPT-4V直接犯了致命的...
-
波士顿动力机器狗变“导游”：接入ChatGPT对答如流
快科技10月27日消息，全球顶级机器人开发商波士顿动力（Boston Dynamics）在官网宣布，通过将ChatGPT、Spot以及其他AI模型相结合，开发了一种会说话的导游机器狗。 据了解，为了让Spot开口说话，波士顿动力公司使用了OpenAI的Ch...
-
波士顿动力推出 AI 集成的机器人狗 Spot：打造未来互动导游
波士顿动力公司近日推出了其新一代机器人狗 Spot，这是一种配备了聊天机器人技术的智能导游机器人。Spot 不仅能走动和交谈，还能以其独特的英国口音为游客提供场所导游服务。通过与 ChatGPT 及其他开源大型语言模型（LLMs）的集成，Spot 能够精准...
-
波士顿动力机器狗能开口聊天了！ChatGPT加持，对话机智妙语连珠
好家伙，波士顿动力机器狗，现在能直接开口说话了。 并且不同于Siri的“人工智障”，ChatGPT加持的狗，聊起天来那叫一个妙语连珠。 比如随口说一句：“我口渴了。” 它会直接给你领到咖啡柜台前，并回答： 我们这里有小吃店和咖啡机。这是我们的人类同事寻找...
-
将ChatGPT与物理机器人结合，波士顿动力开发了一只怪物！
10月27日，全球顶级机器人开发商波士顿动力（Boston Dynamics）在官网展示了一项新的研究，通过将ChatGPT、Spot以及其他AI模型相结合，开发了一种会说话的导游机器狗。 据悉，该机器狗能够根据文字、语音提示与人类进行交谈，同时提供了视觉...