-
【AIGC调研系列】InternVL开源多模态模型与GPT-4V的性能对比
InternVL和GPT-4V都是多模态模型，但它们在性能、参数量以及应用领域上有所不同。 InternVL是一个开源的多模态模型，其参数量为60亿，覆盖了图像/视频分类、检索等关键任务，并在32个视觉-语言基准测试中展现了卓越性能[2]。InternV...
-
Mobile-Agent-v2：让AI学会自动刷手机
Mobile-Agent-v2是一个先进的AI系统，旨在通过自动化操作和视觉感知技术，实现对移动设备的全面控制。这一系统能够模拟真人的各种交互行为，如点击、滑动和输入等，从而自动化地完成一系列复杂的任务。 以下是Mobile-Agent-v2能够实现的一...
-
清华「天眸芯」登Nature封面：全球首款类脑互补视觉芯片
在开放世界中，智能系统不仅要处理庞大的数据量，还需要应对各种「长尾问题」，如自动驾驶中面临的突发危险、出入隧道的剧烈光线变化、夜间强闪光干扰等。在这类任务上，传统视觉感知芯片由于受到「功耗墙」和「带宽墙」的限制，往往面临失真、失效或高延迟的问题，严重影响...
-
港大字节提出多模态大模型新范式，模拟人类先感知后认知，精确定位图中物体
当前，多模态大模型 （MLLM）在多项视觉任务上展现出了强大的认知理解能力。 然而大部分多模态大模型局限于单向的图像理解，难以将理解的内容映射回图像上。 比如，模型能轻易说出图中有哪些物体，但无法将物体在图中准确标识出来。 定位能力的缺失直接限制了多模态...
-
GPT-4o再秀神操作，“复现”OpenAI总裁讲课，网友当真了
OpenAI总裁兼联合创始人Greg再次大秀GPT-4o操作，结果网友直接缅怀DALL-E。 图片 直接看效果。 图片 文本拼写达到惊人的一致！手部细节、光照全都有，甚至后背上的Logo也完全正确。 有网友表示：恍惚间还以为真的是本人在讲课。 图片 也有...
-
OpenAI 首次推出 GPT-4o“全能”模型，干翻所有语音助手
OpenAI 在本周一(2024年5月13号 推出了一款名为 GPT-4o 的新旗舰级生成式AI模型。这里的“o”代表“全能”，因为这款模型能够处理文本、语音和视频三种不同的输入。在未来几周内，GPT-4o 将逐步应用于公司针对开发者和消费者的各类产品。...
-
OpenAI春季发布会：这是“Moss”的诞生，我们人类究竟该何去何从
今天，OpenAI又又又又开发布会了。 在大众心里，现在也基本上都知道，奥特曼是一个贼能PR的人。 每一次的PR的时间点，都拿捏的极其到位，精准的狙击其他厂商。比如说上一次Sora，其实你会发现从头到尾就是一个PR的举动，2月16号发的，特么的快3个月了，...
-
14 项任务测下来，GPT4V、Gemini等多模态大模型竟都没什么视觉感知能力？
2023-2024年，以 GPT-4V、Gemini、Claude、LLaVA 为代表的多模态大模型（Multimodal LLMs）已经在文本和图像等多模态内容处理方面表现出了空前的能力，成为技术新浪潮。 然而，对于这些模型的评测多集中于语言上的任务，...
-
激发大语言模型空间推理能力：思维可视化提示
大语言模型（LLMs）在语言理解和各种推理任务中展现出令人印象深刻的性能。然而，它们在人类认知的关键一面——空间推理上，仍然未被充分研究。人类具有通过一种被称为 心灵之眼 的过程创造看不见的物体和行为的心智图像的能力，从而使得对未见世界的想象成为可能。...
-
腾讯机器人研究登顶刊！能帮程序员安显示器，像真人一样协同干活
国产机器人新突破： 两只各自独立的机械臂，已经可以丝滑地打配合了！ 不信你看这双手拧瓶盖： 拧完再端起杯子倒水： 活灵活现，如真人。 呐，还能搭把手帮程序员安装好显示屏： 甚至接过“同事”手里的大箱子： 可以说是各种几何和物理特性的物体都能稳稳h...
-
谷歌推出通用AI代理：能自动执行600多种动作，游玩复杂3D游戏
谷歌DeepMind的研究人员推出了一种面向3D环境的通用AI代理——SIMA。 SIMA无需访问游戏的源代码，也不需要定制的API。只需要输入图像和用户提供的简单自然语言文本指令，SIMA就能像人类玩家一样执行走路、跑步、建造、打开地图等各种游戏中的操作...
-
无需提示词，Stability AI 演示 MindEye：目标想什么就能生成什么
3 月 21 日消息，AI 浪潮席卷而来，此前不少人认为“提示词工程师”会成为新兴工种，而 MindEye 的问世表明，这个岗位或许没有存在的价值了。 此前不少人认为，未来 AI 时代并不在于某个模型是否强大，而是在于人类是否能够更高效利用这些 AI...
-
实时加SOTA一飞冲天！FastOcc：推理更快、部署友好Occ算法来啦！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 在自动驾驶系统当中，感知任务是整个自驾系统中至关重要的组成部分。感知任务的主要目标是使自动驾驶车辆能够理解和感知周围的环境元素，如行驶在路上的车辆、路旁的行人、行驶过...
-
Pika放大招：今天起，视频和音效可以“一锅出”了！
就在刚刚，Pika发布了一项新功能： 很抱歉我们之前一直处于静音状态。 今天起，大家可以给视频无缝生成音效了——Sound Effects！ 生成的方式有两种： 要么给一句Prompt，描述你想要的声音； 要么直接让Pika根据视频内容自动生成。...
-
Think2Drive：首个用于自动驾驶的基于模型的RL方法（上海交大）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 在CARLA v2中以专家级的熟练程度运行。 题目：Think2Drive: Efficient Reinforcement Learning by Thinking in Latent World...
-
苹果展示 AI 新模型 MGIE，可一句话精修图片
2 月 8 日消息，相比较微软的风生水起，苹果公司在 AI 领域的布局显得低调很多，但这并不意味着苹果在该领域就没有丝毫建树。苹果公司近日发布了名为“MGIE”的新型开源人工智能模型，它可以根据自然语言指令编辑图像。 图源：VentureBeat 与...
-
挖掘BEV潜力的边界！DA-BEV：无监督BEV SOTA新方案！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 今天和大家探讨3D视觉感知领域中的一个特定问题：针对纯视觉的鸟瞰图（BEV）的无监督领Domain Adaptation（Unsupervised Domain Ad...
-
罕见！苹果开源图片编辑神器MGIE，要上iPhone?
拍张照片，输入文字指令，手机就开始自动修图？ 这一神奇功能，来自苹果刚刚开源的图片编辑神器「MGIE」。 把背景中的人移除 在桌子上添加披萨 最近一段时间，AI 在图片编辑这一应用上取得了不小的进展。一方面，在 LLM 的基础上，多模态大模型（MLL...
-
iPhone动嘴10秒P图！UCSB苹果全华人团队发布多模态MGIE，官宣开源人人可玩
几天前，库克在苹果电话会上证实，「今年晚些时候会发布生成式AI」。 ChatGPT掀起全球热潮之后，苹果也在悄悄发力AI，曾曝出的大模型框架Ajax、AppleGPT等AI工具让业界充满了期待。 6月举办的WWDC上，这家曾霸占全球市值第一公司，将会宣布...
-
阿里北交大实习生论文火了！MobileAgent 可模拟人类玩转手机，网友：加速剁手、吃土！
编辑 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） “太酷了，以后就靠AI帮我加速剁手吃土了。”近日一款名为MobileAgent的移动智能代理引起了圈内人的注意。 一个惊艳之处在于，这款Agent为“手机+GPT4”结合，做出...
-
Mobile-Agent: 具有视觉感知 可以像人类样操作手机的自主多模态AI代理
Mobile-Agent是一款具有视觉感知的自主多模式移动设备代理，由北京交通大学联合阿里巴巴团队共同开发。简单的说，Mobile-Agent相当于一个可以模拟人类操作手机的自主多模态AI代理。 该代理采用纯视觉解决方案，独立于XML和系统元数据，不需要...
-
Mobile-Agent官网体验入口 自主多模移动设备AI在线使用地址
Mobile-Agent是一款自主多模移动设备代理，采用先进的多模大语言模型（MLLM）技术。该代理利用视觉感知工具准确识别和定位应用程序前端界面的视觉和文字元素，实现了自主规划和分解复杂操作任务，通过逐步操作导航移动应用程序。与以往依赖应用程序的XML文...
-
纯文本模型训出「视觉」表征！MIT最新研究：语言模型用代码就能作画
只会「看书」的大语言模型，有现实世界的视觉感知力吗？通过对字符串之间的关系进行建模，关于视觉世界，语言模型到底能学会什么？ 最近，麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）的研究人员对语言模型的视觉能力进行了系统的评估，从简单形状、物体...
-
智能车的「ChatGPT时刻」，还有多远？
要说今年“科技春晚”CES上最吸引眼球的是什么，智能车当属其一。 毕竟大模型一上车，智能座舱都卷成酱婶了： 让车上的数字助手帮忙记录约饭日程，Ta能直接帮你把餐厅也给预定了。 △骁龙座舱平台效果展示 规划路线这种事儿也变得充满巧思，数字助手会根据你的习...
-
智能车的「ChatGPT时刻」，还有多远？| 模力时代
要说今年“科技春晚”CES上最吸引眼球的是什么，智能车当属其一。 毕竟大模型一上车，智能座舱都卷成酱婶了: 让车上的数字助手帮忙记录约饭日程，Ta能直接帮你把餐厅也给预定了。 △骁龙座舱平台效果展示 规划路线这种事儿也变得充满巧思，数字助手会根据你的习...
-
AI视野：Stability AI发布代码模型Stable Code3B；书生·浦语2.0正式开源；阿里推新项目MotionShop；Win11新增AI生成图像功能
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ????大模型动态 Stabili...
-
扩散模型图像理解力刷新SOTA！字节复旦团队提出全新「元提示」策略
Text-to-image（T2I）扩散模型在生成高清晰度图像方面显示出了卓越的能力，这一成就得益于其在大规模图像-文本对上的预训练。 这引发了一个自然的问题：扩散模型是否可以用于解决视觉感知任务？ 近期，来自字节跳动和复旦大学的技术团队提出了一种简单...
-
国内多所高校共建开源社区LAMM，加入多模态语言模型大家庭的时候到了
ChatGPT问世以来，大语言模型（LLM）实现了跳跃式发展，基于自然语言进行人机交互的AI范式得到广泛运用。然而，人类与世界的交互中不仅有文本，其他诸如图片、深度等模态也同样重要。然而，目前的多模态大语言模型（MLLM）研究大多数闭源，对高校和大多数研...
-
何为交互感知？全面回顾自动驾驶中的社会交互动态模型与决策前沿！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 交互感知自动驾驶（IAAD）是一个迅速发展的研究领域，专注于开发能够与人类道路使用者安全、高效交互的自动驾驶车辆。这是一项具有挑战性的任务，因为它要求自动驾驶车辆能够理...
-
什么？NeRF还能提升BEV泛化性能！首个BEV跨域开源代码并首次完成Sim2Real！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人总结 鸟瞰图(Bird eye's view, BEV 检测是一种通过融合多个环视摄像头来进行检测的方法。目前算法大部分算法都是在相同数据集训练并且评测，这导致了这些算法过...
-
OCR终结了？旷视提出支持文档级OCR的多模态大模型，支持中英文，已开源！
想将一份文档图片转换成Markdown格式？ 以往这一任务需要文本识别、布局检测和排序、公式表格处理、文本清洗等多个步骤—— 这一次，只需一句话命令，多模态大模型Vary直接端到端输出结果： 图片 无论是中英文的大段文字： 图片 还是包含了公式的文档图片...
-
扳回一局！Gemini-Pro多模态能力和GPT-4V不相上下
近期的Gemini-Pro评测报告显示其在多模态领域取得了显著的进展，与GPT-4V不相上下，甚至在某些方面表现更为出色。首先，在多模态专有基准MME上的综合表现中，Gemini-Pro以1933.4的高分超越了GPT-4V，展现出在感知和认知方面的全面优...
-
数字图像处理的图像操作
图像操作在计算机视觉和图像处理中发挥着至关重要的作用。这些操作对于诸如预处理、增强图像质量和启用高级算法等任务至关重要。在计算机视觉中，诸如调整大小、裁剪、调整亮度/对比度/伽玛和几何变换等操作是基础的。它们允许进行高效的计算、提取感兴趣区域、规范化图像...
-
0微调搞定160个测试集！最强多模态分割一切大模型来了，架构参数全开源
用多模态大模型来做语义分割，效果有多好？ 一张图+文字输入想分割的物体，大模型几秒钟就能识别并搞定！ 只需输入想分割的对象如“擎天柱”，单个目标立刻就能被精准识别、快速切割： 多个物体也是手到擒来，像是指定天空、水、树、草、女孩、龙猫（Chinchil...
-
大模型版“5年高考3年模拟”来了！6141道数学题，还是多模态的那种
大模型的“5年高考3年模拟”数学题来了，还是加强强强版！ 微软、加州大学洛杉矶分校（UCLA）、华盛顿大学（UW）联合打造全新多模态数学推理基准数据集。 名为“MathVista”。 涵盖各种题型共6141个问题，来源于28个现有的多模态数据集和3个新标...
-
R-CNN作者Ross Girshick离职，何恺明、谢赛宁回归学界，Meta CV走出了多少大神
FAIR 又一位大佬级研究科学家「出走了」，这次是 R-CNN 作者 Ross Girshick。 近日，Meta 首席科学家 Yann LeCun 发推宣布，Ross Girshick 将离开 FAIR，加入艾伦人工智能研究所（AI2）。此前离职的还...
-
AIGC图像分辨率太低？快来试试像素感知扩散超分模型，你想要的细节都在这里
FaceChain写真开源项目插播： 最新 FaceChain支持多人合照写真、上百种单人写真风格，项目信息汇总：ModelScope 魔搭社区 。 github开源直达（觉得有趣的点个star哈。）：GitHub - mo...
-
北大具身智能新成果：无需训练，听指令就能灵活走位
北京大学董豪团队具身导航最新成果来了： 无需额外建图和训练，只需说出导航指令，如： Walk forward across the room and walk through the panty followed by the kitchen. Stan...