-
华为天才少年谢凌曦：关于视觉识别领域发展的个人观点！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 最近，我参加了几个高强度的学术活动，包括CCF计算机视觉专委会的闭门研讨会和VALSE线下大会。经过与其他学者的交流，我产生了许多想法，千头万绪，便希望把它们整理下来，供自己和同行们参考。当然，受限于...
-
近屿智能成功获得A轮资金，其首创的AIGC工程师与产品经理学习路径图引起业界广泛关注。
2024年1月，上海近屿智能科技有限公司（简称近屿智能）宣布其A轮融资圆满成功，智望资本作为领投方，金沙江创投也进行了追加投资。这一轮融资的成功，标志着近屿智能在AIGC技术领域的领先地位获得了业界的广泛认可，并反映了投资者对其技术实力和未来增长潜力的充分...
-
微软在AI领域是不是大而不倒？
在2023年11月OpenAI的剧变中，联合创始人兼CEO奥特曼被解雇并重新聘用，微软CEO纳德拉接受了采访，分享了他对这一事件的两点看法，以及人工智能如何在企业中渗透。 纳德拉在谈到微软在人工智能领域的存在时表示：“我们对自己的能力非常有信心，我们拥...
-
AIGC元年大模型发展现状手册
零、AIGC大模型概览 AIGC大模型在人工智能领域取得了重大突破，涵盖了LLM大模型、多模态大模型、图像生成大模型以及视频生成大模型等四种类型。这些模型不仅拓宽了人工智能的应用范围，也提升了其处理复杂任务的能力。a. LLM大模型通过深度学习和自然语...
-
谷歌AI推出新型评分器Cappy 助力多任务语言模型性能提升
在最新的研究论文中，谷歌研究人员引入了一种名为Cappy的预训练评分器模型，旨在增强和超越大型多任务语言模型的性能。这项研究旨在解决大型语言模型（LLM）所面临的挑战，其中包括高昂的计算资源成本和效率低下的训练和推理过程。 目前，多任务法学硕士如T0、F...
-
小红书多模态团队建立新「扩散模型」：解码脑电波，高清还原人眼所见
近些年，研究人员们对探索大脑如何解读视觉信息，并试图还原出原始图像一直孜孜不倦。去年一篇被 CVPR 录用的论文，通过扩散模型重建视觉影像，给出了非常炸裂的效果—— AI 不光通过脑电波知道你看到了什么，并且帮你画了出来。 第一行：人眼所见画面，第二...
-
NVIDIA大语言模型落地的全流程解析
包括三部分内容： 第一部分是关于 NeMo Framework。NeMo Framework 是 NVIDIA 大语言模型的全栈解决方案，它通过不同组件完成生成式 AI 各个环节的任务，包括数据预处理、分布式训练、模型微调、模型推理加速及部署（Ten...
-
无需训练，Fast-DetectGPT让文本检测速度提升340倍
大语言模型如 ChatGPT 和 GPT-4 在各个领域对人们的生产和生活带来便利，但其误用也引发了关于虚假新闻、恶意产品评论和剽窃等问题的担忧。本文提出了一种新的文本检测方法 ——Fast-DetectGPT，无需训练，直接使用开源小语言模型检测各种大...
-
什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？
选择使用哪种大模型，如Bert、LLaMA或ChatGLM，取决于具体的应用场景和需求。下面是一些指导原则： Bert模型：Bert是一种预训练的语言模型，适用于各种自然语言处理任务，如文本分类、命名实体识别、语义相似度计算等。如果你的任务是通用的文...
-
大模型增速远超摩尔定律！MIT最新研究：人类快要喂不饱AI了
我们人类可能要养不起AI了！ 近日，来自MIT FutureTech的研究人员发表了一项关于大模型能力增长速度的研究， 结果表明：LLM的能力大约每8个月就会翻一倍，速度远超摩尔定律！ 论文地址：https://arxiv.org/pdf/2403.0...
-
巧解「数据稀缺」问题！清华开源GPD：用扩散模型生成神经网络参数
传统的时空预测模型通常需要大量数据支持才能取得良好效果。 然而，由于城市发展水平不均衡和数据收集政策的差异，许多城市和地区的时空数据（如交通和人群流动数据）受到了限制。在这种情况下，模型在数据稀缺情况下的可迁移性变得尤为重要。 现有研究主要利用数据丰富的...
-
AI大模型控制红绿灯，港科大（广州）智慧交通新成果已开源
大模型“上路”，干起了交通信号控制（TSC）的活～ 模型名为LightGPT，以排队及不同区段快要接近信号灯的车辆对路口交通状况分析，进而确定最好的信号灯配置。 该模型由香港科技大学（广州）的研究团队提出，其背后关键是一个名为LLMLight的框架。...
-
别等OpenAI了，全球首个类Sora抢先开源！所有训练细节/模型权重全公开，成本仅1万美元
不久前OpenAI Sora以其惊人的视频生成效果迅速走红，在一众文生视频模型中突出重围，成为全球瞩目的焦点。 继2周前推出成本直降46%的Sora训练推理复现流程后，Colossal-AI团队全面开源全球首个类Sora架构视频生成模型「Open-Sor...
-
全球首个类Sora开源复现方案来了！全面公开所有训练细节和模型权重
全球首个开源的类Sora架构视频生成模型，来了！ 整个训练流程，包括数据处理、所有训练细节和模型权重，全部开放。 这就是刚刚发布的Open-Sora 1.0。 它带来的实际效果如下，能生成繁华都市夜景中的车水马龙。 还能用航拍视角，展现悬崖海岸边，海水...
-
迄今最大！马斯克AI大模型Grok开源：参数量达3140亿
快科技3月18日消息，据媒体报道，马斯克的AI创企xAI正式宣布其大语言模型Grok-1已实现开源，并向公众开放下载。 据了解，Grok-1是一款基于混合专家系统（Mixture-of-Experts，MoE）技术构建的大语言模型，拥有3140亿参数，远超...
-
自适应剪枝让多模态大模型加速2-3倍，哈工大等推出SmartTrim
基于 Transformer 结构的视觉语言大模型（VLM）在各种下游的视觉语言任务上取得了巨大成功，但由于其较长的输入序列和较多的参数，导致其相应的计算开销地提升，阻碍了在实际环境中进一步部署。为了追求更为高效的推理速度，前人提出了一些针对 VLM 的...
-
没等来OpenAI，等来了Open-Sora全面开源
不久前 OpenAI Sora 以其惊人的视频生成效果迅速走红，在一众文生视频模型中突出重围，成为全球瞩目的焦点。继 2 周前推出成本直降 46% 的 Sora 训练推理复现流程后，Colossal-AI 团队全面开源全球首个类 Sora 架构视频生成模...
-
超详细！AIGC面试系列 大模型基础(1)
关于我 从2022年末开始接触AIGC，便一直紧跟最近技术与实践落地。期间参与copilot项目研发，落地了多个垂类AIGC大模型应用，熟悉各种AIGC相关技术如Agent，Langchain，chatdoc，向量数据库等。 关于本系列 请你认真看完...
-
大模型学习笔记（一）：部署ChatGLM模型以及stable-diffusion模型
大模型学习笔记（一）：部署ChatGLM模型以及stable-diffusion模型 注册算力平台（驱动云平台） 1.平台注册 2.查看算力 3.进入平台中心 部署ChatGLM3-6B模型 1.创建项目 2.配置环境 设置镜像源、克隆...
-
仅需200M参数，零样本性能超越有监督！谷歌发布时序预测基础模型TimesFM
时间序列预测在零售、金融、制造业、医疗保健和自然科学等各个领域无处不在：比如说在零售场景下中，「提高需求预测准确性」可以有显著降低库存成本并增加收入。 深度学习（DL）模型基本上垄断了「多变量时间序列预测」任务，在各个竞赛、现实应用中的表现都非常好。 与...
-
谷歌通用AI智能体发布，3D游戏玩法要变天了
谷歌DeepMind号称打造出了首个能在广泛3D虚拟环境和视频游戏中遵循自然语言指令的通用AI智能体。 名为SIMA，不是NPC，是可以成为玩家拍档，帮忙干活打杂的那种。 比如，在《模拟山羊3》（Goat Simulator 3）中当司机开开车： 在...
-
苹果大模型MM1入场：参数达到300亿 超半数作者是华人
苹果公司最新发布了一款名为MM1的大型多模态基础模型，拥有300亿参数，采用了MoE架构，并且超过一半的作者是华人。该模型在多模态领域具有重要意义，可能预示着苹果未来推出与此相关的产品。 今年以来，苹果明显加大了对生成式人工智能（GenAI）领域的投入，这...
-
苹果大模型MM1杀入场：300亿参数、多模态、MoE架构，超半数作者是华人
今年以来，苹果显然已经加大了对生成式人工智能（GenAI）的重视和投入。此前在 2024 苹果股东大会上，苹果 CEO 蒂姆・库克表示，今年将在 GenAI 领域实现重大进展。此外，苹果宣布放弃 10 年之久的造车项目之后，一部分造车团队成员也开始转向...
-
首次攻克「图基础模型」三大难题！港大开源OpenGraph：零样本学习适配多种下游任
图学习（Graph Learning）技术能够对复杂的关系数据进行挖掘和学习，在推荐系统、社交网络分析、引用网络和交通网络等多个领域都显示出了巨大的应用价值。 图神经网络（Graph Neural Networks, GNNs）基于迭代的消息传递机制，能...
-
Stable Diffusion——文生图界面参数讲解与提示词使用技巧
Clip终止层数 什么是Clip CLIP（Contrastive Language-Image Pretraining）是由OpenAI于2021年开发的一种语言图像对比预训练模型。其独特之处在于，CLIP模型中的图像和文本嵌入共享相同的潜在...
-
OpenAI大模型上身机器人，原速演示炸场！
OpenAI大模型加持的机器人，深夜来袭！ 名曰Figure 01，它能听会说，动作灵活。 能和人类描述眼前看到的一切： 我在桌子上看到了一个红色的苹果，沥水架上面还有几个盘子和一个杯子；然后你站在附近，手放在桌子上。 图片 听到人类说“想吃东西”，就...
-
【深度学习】风格迁移，转换，Stable Diffusion，FreeStyle : Free Lunch for Text-guided Style Transfer using Diffusion
论文：https://arxiv.org/abs/2401.15636 代码：https://github.com/FreeStyleFreeLunch/FreeStyle 介绍 生成扩散模型的快速发展极大地推进了风格迁移领域的发展。然而，大多数当...
-
文生图的最新进展：从一致性模型CMs、LCM、SDXL到Stable Diffusion3、SDXL-Lightning
前言 很明显，OpenAI的首个视频生成模型sora极大程度的提高了大家对文生图、文生视频的热情，也极大的扩展了大家对AIGC的想象力 第一部分(选读 一致性模型Consistency Model 注，本文第一部分最早写在23年11月份的这篇文...
-
LLaMA-2-7B数学能力上限已达97.7%？Xwin-Math利用合成数据解锁潜力
合成数据持续解锁大模型的数学推理潜力！ 数学问题解决能力一直被视为衡量语言模型智能水平的重要指标。通常只有规模极大的模型或经过大量数学相关预训练的模型才能有机会在数学问题上表现出色。 近日，一项由 Swin-Transformer 团队打造，来自西安交通...
-
能说会看会行动，OpenAI机器人，一出手就是王炸
「借助 OpenAI 的能力，Figure 01 现在可以与人全面对话了！」 本周三，半个硅谷都在投的明星机器人创业公司 Figure，发布了全新 OpenAI 大模型加持的机器人 demo。 这家公司在 3 月 1 日刚刚宣布获得 OpenAI 等公...
-
Stable Diffusion ———LDM、SD 1.0, 1.5, 2.0、SDXL、SDXL-Turbo等版本之间关系现原理详解
一、简介 2021年5月，OpenAI发表了《扩散模型超越GANs》的文章，标志着扩散模型（Diffusion Models，DM）在图像生成领域开始超越传统的GAN模型，进一步推动了DM的应用。 然而，早期的DM直接作用于像素空间，这意味着要优化一...
-
【AIGC调研系列】StarCoder2模型与其他模型对比的优势和劣势
StarCoder2模型的优势主要包括： 性能：StarCoder2模型具备性能优势，旨在为代码生成、编辑和推理任务提供强大的支持[6]。 透明度：该系列模型希望成为代码生成领域的新标准，提高了模型的透明度和可访问性[1][4][11]。 成本效...
-
AI 图片橡皮擦来了！概念半透膜模型SPM实现精准擦除特定内容，还能改头换面
清华大学与阿里安全联合发布了概念半透膜模型（SPM），这一模型能够在 Diffusion 架构的 AI 作图模型中，精准、可控地擦除各类具象或抽象概念。 该模型的推出解决了传统 AI 作图模型存在的生成涉黄、侵权等危险概念的问题，实现了对特定概念的精确擦除...
-
LLM将成历史？开源bGPT或颠覆深度学习范式：直接模拟二进制，开启模拟数字世界新纪元！
微软亚洲研究院推出的最新成果bGPT，这种基于字节的Transformer模型，为我们探索数字世界开辟了新的大门。 与传统的基于词表的语言模型不同，bGPT的独特之处在于其对原始二进制数据的直接处理能力，不受特定格式或任务的限制，其目标是全面模拟数字世界...
-
万字带你了解ChatGLM
本文分享自华为云社区《【云驻共创】华为云之昇思MindSpore大模型专题（第二期）-第一课：ChatGLM》，作者： 愚公搬代码。 前言 1.昇思MindSpore 昇思MindSpore是华为公司推出的一款全场景AI计算框架。它提供了自动...
-
AIGC:语音克隆模型Bert-VITS2-2.3部署与实战
1 VITS2模型 1.1 摘要 单阶段文本到语音模型最近被积极研究，其结果优于两阶段管道系统。以往的单阶段模型虽然取得了较大的进展，但在间歇性非自然性、计算效率、对音素转换依赖性强等方面仍有改进的空间。本文提出VITS2，一种单阶段的文本到语音模型...
-
Apollo开源轻量级多语言医疗 LLM：助力将医疗 AI 民主化推广至60亿人口
医疗人工智能（AI）技术正在迅速发展，旨在利用大型语言模型(LLMs 的巨大潜力彻底改变医疗保健交付方式。这些技术进步承诺提高诊断准确性，个性化治疗方案，并解锁全面医学知识的获取，从根本上改变患者护理。将 AI 整合到医疗保健中旨在提高医疗服务的效率和精确...
-
Sora是『神笔马良』还是AI怪物？首篇综述一探乾坤！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 Sora是一种文本到视频生成的人工智能模型，由OpenAI于2024年2月发布。该模型经过训练，能够从文本指令中生成逼真或想象的场景视频，并显示出在模拟物理世界方面的潜...
-
AIGC实战——GPT(Generative Pre-trained Transformer)
AIGC实战——GPT 0. 前言 1. GPT 简介 2. 葡萄酒评论数据集 3. 注意力机制 3.1 查询、键和值 3.2 多头注意力 3.3 因果掩码 4. Transformer 4.1 Transformer 块 4.2 位置编...
-
如何本地部署Stable Diffusion：详细步骤与指南
Stable Diffusion作为一种前沿的深度学习图像生成技术，在艺术创作、设计、科学可视化等领域展现出巨大的潜力。若您希望在自己的本地环境中部署Stable Diffusion，以下是一份详细的步骤与指南，帮助您成功搭建并运行该模型。 一、准备环境...
-
DenseMamba：大模型的DenseNet时刻，Mamba和RetNet精度显著提升
随着 ChatGPT 的突破性进展，大型语言模型（LLMs）迎来了一个崭新的里程碑。这些模型在语言理解、对话交互和逻辑推理方面展现了卓越的性能。过去一年，人们目睹了 LLaMA、ChatGLM 等模型的诞生，它们基于 Transformer 架构，采用多...
-
清华NLP组发布InfLLM：无需额外训练，「1024K超长上下文」100%召回！
大模型只能够记忆与理解有限的上下文已经成为大模型在真实应用中的能力瓶颈，例如对话式AI系统往往无法记忆你前一天对话的内容，利用大模型构建智能体会产生前后不一致的行为与记忆。 为了让大模型能够记忆并处理更长的上下文，来自清华大学、麻省理工学院和人民大学的研...
-
DALL·E 2 文生图模型实践指南
前言：本篇博客记录使用dalle2模型进行推断时借鉴的相关资料和DEBUG流程。 相关博客：超详细！DALL · E 文生图模型实践指南 目录 1. 环境搭建和预训练模型准备 环境搭建 预训练模型下载 2. 代码 3. B...
-
当prompt策略遇上分治算法，南加大、微软让大模型炼成「火眼金睛」
近年来，大语言模型（LLMs）由于其通用的问题处理能力而引起了大量的关注。现有研究表明，适当的提示设计（prompt enginerring），例如思维链（Chain-of-Thoughts），可以解锁 LLM 在不同领域的强大能力。 然而，在处理涉及重...
-
理解世界，最新综述开启自动驾驶新时代~
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 在快速发展的自动驾驶领域，准确预测未来事件并评估其影响的能力对安全性和效率至关重要，对决策过程至关重要。世界模型已经成为一种变革性的方法，使自动驾驶系统能够合成和解释大...
-
最新综述！扩散模型与图像编辑的爱恨情仇
本文经自动驾驶之心公众号授权转载，转载请联系出处。 针对图像编辑中的扩散模型，中科院联合Adobe和苹果公司的研究人员发布了一篇重磅综述。 全文长达26页，共1.5万余词，涵盖297篇文献，全面研究了图像编辑的各种前沿方法。 同时，作者还提出了全新的be...
-
关于大语言模型LLM相关的数据集、预训练模型、提示词、微调的文心一言问答
文章目录 关于大语言模型LLM相关的数据集、预训练模型、提示词、微调的文心一言问答 先总结一下 Q：LLM模型预训练前与提示词关系，LLM模型预训练后与提示词关系 Q：预训练用的数据集与提示词有什么异同 Q：为什么我看到的数据集结构和提示词结...
-
stable diffusion 原理是什么？
“ 这篇文章主要介绍了Stable Diffusion，这是一种用于AI绘画的算法，它是由CompVis和Runway团队在2021年12月提出的“潜在扩散模型”（LDM/Latent Diffusion Model）的变体，基于201...
-
【AIGC调研系列】inflection-2.5与其他模型相比的优势和劣势
Inflection -2.5作为一款升级的内部模型，其与其他模型相比的优势主要体现在以下几个方面： 性能提升：Inflection -2.5被认为是世界上最好的语言模型之一，其性能可与GPT-4、Gemini等世界领先的大型语言模型相媲美[1]。这...
-
我们一起聊聊大模型的模型融合方法
模型融合大家以前用的很多，特别是在判别模型里，属于永远都能稳定提升的那一类方法。但是生成语言模型，因为解码的过程存在，并不像判别模型那样直观。 另外，由于大模型的参数量增大，在参数规模更大的场景，简单的集成学习可以考量的方法相比低参数的机器学习更受限制，...