-
Distil-Whisper：比Whisper快6倍，体积小50%的语音识别模型
内容来源：@xiaohuggg Distil-Whisper：比Whisper快6倍，体积小50%的语音识别模型 该模型是由Hugging Face团队开发，它在Whisper核心功能的基础上进行了优化和简化，体积缩小了50%。速度提高了6倍。并...
-
Grounding dino + segment anything + stable diffusion 实现图片编辑
目录 总体介绍 总体流程 模块介绍 目标检测： grounding dino 目标分割：Segment Anything Model (SAM 整体思路 模型结构： 数据引擎 图片绘制 集成 样例 其他问题 附录 总体介绍...
-
揭秘百度文心一言大模型：设计、应用与实战
导言 在当今的深度学习领域，大型预训练模型如GPT、BERT等已经取得了显著的进展。而百度公司的文心一言大模型，作为一款基于Transformer结构的巨型模型，也在自然语言处理领域产生了重大影响。本文将详细介绍文心一言大模型的设计原理、特点以及应用场...
-
「无需配对数据」就能学习！浙大等提出连接多模态对比表征C-MCR
多模态对比表示（multi-modal contrastive representation, MCR）的目标是将不同模态的输入编码到一个语义对齐的共享空间中。 随着视觉-语言领域中CLIP模型的巨大成功，更多模态上的对比表征开始涌现出来，并在诸多下游任...
-
什么是 AIGC，只能用于 AI 绘画吗？
2023 年，像是技术井喷的一年，在上半年的时间里，尤其是人工智能领域，大模型 ChatGPT 的爆火，随之让普罗大众了解到 AIGC（Artificial Intelligence Generated Content，生成式人工智能），但对于 AIGC...
-
Insight量子位智库 ✪ AIGC/Al生成内容产业展望报告
AIGC全称为 Al-Generated Content，指基于生成对抗网络GAN、大型预训练模型等人工智能技术，通过已有数据寻找规律，并通过适当的泛化能力生成相关内容的技术。与之相类似的概念还包括Synthetic media，合成式媒体，主要指基...
-
CVPR 2023 | 去雨去噪去模糊，图像low-level任务，视觉AIGC系列
Learning A Sparse Transformer Network for Effective Image Deraining 基于Transformer的方法在图像去雨任务中取得了显著的性能，因为它们可以对重要的非局部信息进行建模，这对...
-
一招分辨刷榜作弊大模型，博士小哥开源AI数学“照妖镜”
如今很多大模型都声称擅长数学，谁有真才实学？谁是靠背测试题“作弊”的？ 有人在今年刚刚公布题目的匈牙利全国数学期末考试上做了一把全面测试。 很多模型一下子就“现原形”了。 先看绿色部分，这些大模型在经典数学测试集GSM8k和全新卷子上取得的成绩差不多，...
-
实时文生图速度提升5-10倍，清华LCM/LCM-LoRA爆火，浏览超百万
文生图、图生图已经不是什么新鲜事。但在使用这些工具的过程中，我们发现它们通常运行缓慢，导致我们要等一段时间才能拿到生成结果。 但最近，一种名叫「LCM」的模型改变了这种情况，它甚至能做到实时的连续生图。 图源：https://twitter.com/...
-
北大全新「机械手」算法：辅助花式抓杯子，GTX 1650实现150fps推断
手是人类与世界交互的重要部分，手的缺失（如上肢残障）会大大影响人类的正常生活。 北京大学董豪团队通过将扩散模型和强化学习结合，使机械手能根据人手腕部的移动轨迹，自适应的抓取物体的不同部位，满足人类多样化的抓取需求，目前该工作已被NeurIPS 2023接...
-
基于LLaMA却改张量名，李开复公司大模型引争议，官方回应来了
前段时间，开源大模型领域迎来了一个新的模型 —— 上下文窗口大小突破 200k，能一次处理 40 万汉字的「Yi」。 这个大模型由创新工场董事长兼 CE0 李开复创立的大模型公司「零一万物」构建，包括了 Yi-6B 和 Yi-34B 两个版本。 根据 H...
-
微软AI研究提出AI模型HMD-NeMo：可基于部分手部动作准确生成全身动作
在混合现实场景中，生成准确和真实的全身虚拟角色动作一直是一个持久性的挑战。传统解决方案通常使用头戴式设备（HMDs），依赖有限的输入信号，如头部和手部的6自由度(DoF 。然而，最近的进展在从头部和手部信号生成全身动作方面取得了令人印象深刻的表现。然而，它...
-
通用异常检测新曙光：华科大等揭秘GPT-4V的全方位异常检测表现
异常检测任务旨在识别明显偏离正常数据分布的异常值，在工业检验、医学诊断、视频监控和欺诈检测等多个领域都发挥了重要作用。传统的异常检测方法主要依赖于描述正常数据分布以进行正异常样本的区分。然而，对于实际的应用而言，异常检测也需要理解数据的高层语义，从而深入...
-
AIGC实战——卷积神经网络(Convolutional Neural Network, CNN)
AIGC实战——卷积神经网络 0. 前言 1. 卷积神经网络 1.1 卷积层 1.2 叠加卷积层 1.3 检查模型 2. 批归一化 2.1 协变量漂移 2.2 使用批归一化进行训练 2.3 使用批归一化进行预测 3. Dropout 4...
-
让AI模型成为GTA五星玩家，基于视觉的可编程智能体Octopus来了
电子游戏已经成为如今现实世界的模拟舞台，展现出无限可能。以游戏《侠盗猎车手》（GTA）为例，在 GTA 的世界里，玩家可以以第一人称视角，在洛圣都(游戏虚拟城市 当中经历丰富多彩的生活。然而，既然人类玩家能够在洛圣都里尽情遨游完成若干任务，我们是否也能有一...
-
李飞飞团队新作：脑控机器人做家务，让脑机接口具备少样本学习能力
未来也许只需动动念头，就能让机器人帮你做好家务。斯坦福大学的吴佳俊和李飞飞团队近日提出的 NOIR 系统能让用户通过非侵入式脑电图装置控制机器人完成日常任务。 NOIR 能将你的脑电图信号解码为机器人技能库。它现在已能完成例如烹饪寿喜烧、熨衣服、磨奶酪、...
-
UniPAD：通用自动驾驶预训练模式！各类感知任务都可支持
本文经自动驾驶之心公众号授权转载，转载请联系出处。 最近，新论文推陈出新的速度着实太快有点读不过来的感觉。可以看到的是，语言视觉多模态大模型融合已经是业界共识了，UniPad 这篇文章就比较有代表性，多模态的输入，类世界模型的预训练基座模型，同时又方便扩...
-
用语言对齐多模态信息，北大腾讯等提出LanguageBind，刷新多个榜单
在现代社会，信息传递和交流不再局限于单一模态。我们生活在一个多模态的世界里，声音、视频、文字和深度图等模态信息相互交织，共同构成了我们丰富的感知体验。这种多模态的信息交互不仅存在于人类社会的沟通中，同样也是机器理解世界所必须面对的挑战。 如何让机器像人类...
-
大模型勇闯洛圣都，加封「GTA五星好市民」！南洋理工、清华等发布视觉可编程智能体Octopus：打游戏、做家务全能干
随着游戏制作技术的不断发展，电子游戏已然成为现实世界的模拟舞台。 以游戏《侠盗猎车手》（GTA）为例，在GTA的世界里，玩家可以以第一人称视角，在洛圣都（游戏虚拟城市）当中经历丰富多彩的生活。 然而，既然人类玩家能够在洛圣都里尽情遨游完成若干任务，我们...
-
知识图谱与大模型相结合的3种方法，1+1>2
本文分享自华为云社区《知识图谱与大模型结合方法概述》，作者： DevAI 。 《Unifying Large Language Models and Knowledge Graphs: A Roadmap》总结了大语言模型和知识图谱融合的三种路线：1）K...
-
语音识别技术发展的驱动力：语音数据的采集和处理
语音识别技术是一项基于人工智能的技术，通过计算机对人的语音进行分析和处理，将语音转化成文字，以此达到自动化处理的目的。语音识别技术的应用广泛，包括智能助手、语音导航、语音搜索、电话自动语音应答等等。但是要实现高质量的语音识别，一个非常重要的因素就是语音数据...
-
马毅、沈向洋联手，首届CPAL开奖！16人获新星奖，华人学者占据半壁江山
就在昨天，首届CPAL简约学术会议，正式公布了新星奖获奖者名单！ CPAL专注于解决机器学习、信号处理、优化等领域中普遍存在的简约、低维结构问题，并探索低维结构在智能硬件与系统、交叉科学和工程等新兴方向的应用。 创办这个会议的出发点，就是将其设计为一个...
-
让大模型自主探索开放世界，北大&智源提出训练框架LLaMA-Rider
大语言模型因其强大而通用的语言生成、理解能力，展现出了成为通用智能体的潜力。与此同时，在开放式的环境中探索、学习则是通用智能体的重要能力之一。因此，大语言模型如何适配开放世界是一个重要的研究问题。 北京大学和北京智源人工智能研究院的团队针对这个问题提出了...
-
北大&智源提出训练框架LLaMA-Rider 让大模型自主探索开放世界
北京大学和北京智源人工智能研究院的团队提出了名为LLaMA-Rider的训练框架，旨在让大型语言模型在开放世界中具备自主探索和学习任务的能力。这个框架通过反馈-修改机制来实现主动探索，使模型在环境中接收反馈信息，不断调整决策，从而逐渐适应开放环境。 项目...
-
交叉验证太重要了！
首先需要搞明白，为什么需要交叉验证？ 交叉验证是机器学习和统计学中常用的一种技术，用于评估预测模型的性能和泛化能力，特别是在数据有限或评估模型对新的未见数据的泛化能力时，交叉验证非常有价值。 那么具体在什么情况下会使用交叉验证呢？ 模型性能评估：交叉...
-
谷歌DeepMind力证：GPT-4终局是人类智慧总和！Transformer模型无法超越训练数据进行泛化
Transformer模型是否能够超越预训练数据范围，泛化出新的认知和能力，一直是学界争议已久的问题。 最近谷歌DeepMind的3位研究研究人员认为，要求模型在超出预训练数据范围之外泛化出解决新问题的能力，几乎是不可能的。 LLM的终局就是人类智慧总和...
-
北大具身智能新成果：无需训练，听指令就能灵活走位
北京大学董豪团队具身导航最新成果来了： 无需额外建图和训练，只需说出导航指令，如： Walk forward across the room and walk through the panty followed by the kitchen. Stan...
-
什么是机器学习中的正则化？
1. 引言 在机器学习领域中，相关模型可能会在训练过程中变得过拟合和欠拟合。为了防止这种情况的发生，我们在机器学习中使用正则化操作来适当地让模型拟合在我们的测试集上。一般来说，正则化操作通过降低过拟合和欠拟合的可能性来帮助大家获得最佳模型。 在本文...
-
大模型: 模型大了难在哪里？
大家好，我是Tim。 自从GPT模型诞生以来，其参数规模就在不停的扩大。但模型并非简单的直接变大，需要在数据、调度、并行计算、算法和机器资源上做相应的改变。 今天就来总结下，什么是大模型，模型变大的难在哪里以及对于CV/NLP或者搜推广场景上有什么应对策...
-
机器学习|PyTorch简明教程下篇
接着上篇《PyTorch简明教程上篇》，继续学习多层感知机，卷积神经网络和LSTMNet。 1、多层感知机 多层感知机通过在网络中加入一个或多个隐藏层来克服线性模型的限制，是一个简单的神经网络，也是深度学习的重要基础，具体图如下： import num...
-
Nuscenes最新SOTA | DynamicBEV超越PETRv2/BEVDepth！
1. 论文信息 2. 引言 这篇论文介绍了一种新的3D object detection方法，这对于自动驾驶、机器人技术和监控等应用至关重要。传统的3D object detection方法使用鸟瞰视角（BEV）方法，将3D场景简化为2D表示。然而，常...
-
独家 | GPT-4、Midjourney之外，谭平创业团队要造一个3D基础模型
前段时间，OpenAI 发布了文生图模型 DALL・E3，生成效果非常惊艳。比如，你可以让它一次画出几十个物体，然后再要求它把这些物体全部放到一个冲浪者的背上: 可以看到，DALL・E3不仅画出了足量的物体，就连冲浪者面对重压时的神情都刻画了出来。 但细心...
-
GPT-4、Midjourney之外，谭平创业团队要造一个3D基础模型
前段时间，OpenAI 发布了文生图模型 DALL・E 3，生成效果非常惊艳。比如，你可以让它一次画出几十个物体，然后再要求它把这些物体全部放到一个冲浪者的背上： 可以看到，DALL・E 3 不仅画出了足量的物体，就连冲浪者面对重压时的神情都刻画了...
-
像搭乐高一样做数学定理证明题，GPT-3.5证明成功率达新SOTA
背景 作为长链条严格推理的典范，数学推理被认为是衡量语言模型推理能力的重要基准，GSM8K 和 MATH 等数学文字问题（math word problem）数据集被广泛应用于语言模型的测评和比较中。事实上，数学作为一项科学研究并不仅仅包括计算具体实例，...
-
小模型如何比肩大模型，北理工发布明德大模型MindLLM，小模型潜力巨大
大型语言模型 (LLMs 在各种自然语言任务中展现出了卓越的性能，但是由于训练和推理大参数量模型需要大量的计算资源，导致高昂的成本，将大语言模型应用在专业领域中仍存在诸多现实问题。因此，北理团队先从轻量级别模型入手，最大程度发挥数据和模型的优势，立足更...
-
港大等发布GraphGPT：1/50微调参数，准确率提升10倍！无需超长token，LLM也能读懂图结构
图神经网络（Graph Neural Networks）已经成为分析和学习图结构数据的强大框架，推动了社交网络分析、推荐系统和生物网络分析等多个领域的进步。 图神经网络的主要优势在于它们能够捕获图数据中固有的结构信息和依赖关系。利用消息传递和聚合机制，图...
-
吃“有毒”数据，大模型反而更听话了！来自港科大&华为诺亚方舟实验室
现在，大模型也学会“吃一堑，长一智”了。 来自香港科技大学和华为诺亚方舟实验室的最新研究发现： 相比于一味规避“有毒”数据，以毒攻毒，干脆给大模型喂点错误文本，再让模型剖析、反思出错的原因，反而能够让模型真正理解“错在哪儿了”，进而避免胡说八道。 具体...
-
35年首次证明，NYU重磅发现登Nature：神经网络具有类人泛化能力，举一反三超GPT-4
【新智元导读】Nature刊登了纽约大学等机构的研究人员在人工智能领域最新突破，证明神经网络具有类似人类语言的泛化性能，再一次印证了AI发展的无限潜力! 35年来，认知科学、人工智能、语言学和哲学领域的研究人员一直在争论神经网络是否能实现类似人类的系统泛...
-
35年首次证明！NYU重磅发现登Nature：神经网络具有类人泛化能力，举一反三超GPT-4
35年来，认知科学、人工智能、语言学和哲学领域的研究人员一直在争论神经网络是否能实现类似人类的系统泛化。 具体来说，人们一直认为，AI无法像人类一样具有「系统泛化（systematic generalization）」能力，不能对没有经过训练的知识做到「...
-
Nature：神经网络“举一反三”能力甚至超人类
神经网络具有类似人的“举一反三”能力，甚至超过人类水平？？？ 最近刊于Nature的一篇论文表示找到了证据。 “举一反三”的能力更专业点叫做系统性泛化能力。像小孩子一样，一旦学会了如何“跳”，他们就可以理解如何“向后跳”、“绕锥体跳过两次”。 要知道...
-
数据分析和机器学习的11个高级可视化图表介绍
可视化是一种强大的工具，用于以直观和可理解的方式传达复杂的数据模式和关系。它们在数据分析中发挥着至关重要的作用，提供了通常难以从原始数据或传统数字表示中辨别出来的见解。 可视化对于理解复杂的数据模式和关系至关重要，我们将介绍11个最重要和必须知道的图表，...
-
在视觉提示中加入「标记」，微软等让GPT-4V看的更准、分的更细
最近一段时间，我们见证了大型语言模型（LLM）的显著进步。特别是，生成式预训练 Transformer 或 GPT 的发布引领了业界和学术界的多项突破。自 GPT-4发布以来，大型多模态模型 (LMM 引起了研究界越来越多的兴趣，许多工作致力于构建多模态...