-
通用图大模型HiGPT：一己之力建模任何图结构关系！来自港大数据智能实验室&百度
一个模型建模所有图结构关系—— 香港大学数据智能实验室最新图结构大模型来了。 它叫HiGPT，由GraphGPT原班人马打造。 后者是将图数据与大模型结合的代表方法之一： 通过用图指令微调将图数据与大模型对齐，在下游任务上一度彰显了惊人的泛化性（Zero...
-
CNN、Transformer、Uniformer之外，我们终于有了更高效的视频理解技术
视频理解的核心目标在于对时空表示的把握，这存在两个巨大挑战：短视频片段存在大量时空冗余和复杂的时空依赖关系。尽管曾经占主导地位的三维卷积神经网络 (CNN 和视频 Transformer 通过利用局部卷积或长距离注意力有效地应对其中之一的挑战，但它们在...
-
利用MindsDB和Anyscale微调Mistral 7B模型
在我们为面向客户的聊天应用制作大语言模型 (LLM 时，预训练模型往往是很好的起点，但随着时间的推移，您可能希望去控制该模型聊天的整体行为和给客户带去的“感觉”，而不仅仅由基本模型所能提供。对此，我们虽然可以通过提示工程（prompt engineeri...
-
3D版Sora来了？UMass、MIT等提出3D世界模型，具身智能机器人实现新里程碑
在最近的研究中，视觉-语言-动作（VLA，vision-language-action）模型的输入基本都是2D数据，没有集成更通用的3D物理世界。 此外，现有的模型通过学习「感知到动作的直接映射」来进行动作预测，忽略了世界的动态性，以及动作和动态之间的关...
-
AI 绘画 | Stable Diffusion 真实人物动漫二次元化
前言 如何让一张真实人物变成动漫二次元风格的图片？Stable Diffusion WebUI加上contolNet扩展插件帮你快速实现。快来使用AI绘画打开异世界的大门吧！！！ 真人动漫化 选择大模型 首先选择一个二次元风格人物画风的大模型...
-
讨论下一个token预测时，我们可能正在走进陷阱
自香农在《通信的数学原理》一书中提出「下一个 token 预测任务」之后，这一概念逐渐成为现代语言模型的核心部分。最近，围绕下一个 token 预测的讨论日趋激烈。 然而，越来越多的人认为，以下一个 token 的预测为目标只能得到一个优秀的「即兴表演艺...
-
剑桥团队开源：赋能多模态大模型RAG应用，首个预训练通用多模态后期交互知识检索器
论文链接：https://arxiv.org/abs/2402.08327 DEMO 链接：https://u60544-b8d4-53eaa55d.westx.seetacloud.com:8443/ 项目主页链接：https://preflm...
-
3140参数Grok-1推理加速3.8倍，PyTorch+HuggingFace版来了
马斯克说到做到开源Grok-1，开源社区一片狂喜。 但基于Grok-1做改动or商用，都还有点难题： Grok-1使用Rust+JAX构建，对于习惯Python+PyTorch+HuggingFace等主流软件生态的用户上手门槛高。 △图注：Grok登...
-
能玩3D游戏的AI玩家！谷歌新智能体SIMA发布，但水平还在“新手村”
编译 | 伊风 出品 | 51CTO技术栈（微信号：blog51cto） 世界上第一位AI程序员Devin诞生，让大家纷纷转发感叹“饭碗保不住”。 一转眼，具有里程碑意义的AI玩家也来了！谷歌（Google）旗下DeepMind发布新智能体SIMA。 S...
-
零样本6D物体姿态估计框架SAM-6D，向具身智能更进一步
物体姿态估计在许多现实世界应用中起到至关重要的作用，例如具身智能、机器人灵巧操作和增强现实等。 在这一领域中，最先受到关注的任务是实例级别 6D 姿态估计，其需要关于目标物体的带标注数据进行模型训练，使深度模型具有物体特定性，无法迁移应用到新物体上。后来...
-
32K上下文，Mistral 7B v0.2 基模型突然开源了
刚刚，Mistral AI 的模型又更新了。 这次开源一如既往地「突然」，是在一个叫做 Cerebral Valley 的黑客松活动上公布的。 PPT 一翻页，全场都举起了手机拍照： 这次开源的 Mistral 7B v0.2 Base Mod...
-
图像生成地表最强！Playground v2.5技术报告解读重磅来袭！超越SD、DALL·E 3和 Midjourney
文章链接：https://arxiv.org/pdf/2402.17245 模型地址： https://huggingface.co/playgroundai/playground-v2.5-1024px-aesthetic 本文分享了在文本到图像生成模...
-
AIGC 实战：Ollama 和 Hugging Face 是什么关系？
HuggingFace（拥抱脸）和Ollama都与**大型语言模型（LLMs）**有关，但它们的用途不同： HuggingFace： HuggingFace 是一个知名的平台，提供各种预训练的LLMs，包括流行的模型如GPT-3、BERT和...
-
用Stable Diffusion生成同角色不同pose的人脸
随着技术的不断发展，我们现在可以使用稳定扩散技术（Stable Diffusion）来生成同一角色但不同姿势的人脸图片。本文将介绍这一方法的具体步骤，以及如何通过合理的提示语和模型选择来生成出更加真实和多样化的人脸图像。 博客首发地址：用Stable D...
-
stable diffusion模型微调方法
文章目录 embeddings 准备训练集 图片预处理 裁剪 打标签 点击生成运行程序 调节训练参数 训练嵌入式模型 使用微调模型进行生成 LoRA Kohya GUI 准备工作 收集训练集 图片预处理 设置训练参数 Dream...
-
AI、AIGC、AGI、ChatGPT它们的区别？
今天咱们聊点热门话题，来点科普时间——AI、AIGC、AGI和ChatGPT到底是啥？这几个词听起来好像挺神秘的，但其实它们就在我们生活中。让我们一起探索这些术语的奥秘！ AI（人工智能）：先说说AI，这个大家可能都不陌生。AI，就是人工智能，它涵盖了各...
-
【八股】2024春招八股复习笔记1（搜索推荐、AIGC）
【八股】2024春招八股复习笔记1（搜索推荐、AIGC） 文章目录 1、推荐系统 1.1 推荐系统流程 1.2 协同过滤 、 矩阵分解 1.3 逻辑回归 2、算法常识（应用算法） 2.1 重点复习 xgboost 2.2 大模型 t...
-
UniPAD：一种通用的自动驾驶预训练模式
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 UniPAD研究了一个关键问题：如何有效地利用大量未标记的3D点云数据进行自监督学习，以增强其在3D目标检测和语义分割等下游任务中的应用效率。这个问题之所以重要，是...
-
大模型之Llama系列- LlaMA 2及LLaMA2_chat(上)
LlaMA 2是一个经过预训练与微调的基于自回归的transformer的LLMs，参数从7B至70B。同期推出的Llama 2-Chat是Llama 2专门为对话领域微调的模型。 在许多开放的基准测试中Llama 2-Chat优于其他开源的聊天模型，此外...
-
Sora不开源，微软给你开源！全球最接近Sora视频模型诞生，12秒生成效果逼真炸裂
微软版Sora诞生了！ Sora虽爆火但闭源，给学术界带来了不小的挑战。学者们只能尝试使用逆向工程来对Sora复现或扩展。 尽管提出了Diffusion Transformer和空间patch策略，但想要达到Sora的性能还是很难，何况还缺乏算力和数据集...
-
微软NaturalSpeech语音合成推出第三代，网友惊呼：超自然！实至名归
文本到语音合成（Text to Speech，TTS）作为生成式人工智能（Generative AI 或 AIGC）的重要课题，在近年来取得了飞速发展。在大模型（LLM）时代下，语音合成技术能够扩展大模型的语音交互能力，更是受到了广泛的关注。 多年来，微...
-
本地部署whisper模型（语音转文字）
Whisper是 OpenAI 2022年发布的一款语音预训练大模型，集成了多语种ASR、语音翻译、语种识别的功能。 Whisper使用弱监督训练的方法，可以直接进行多任务的学习 1. 安装ffmpeg 1.1 更新yum yum update...
-
文生图的基石CLIP模型的发展综述
CLIP的英文全称是Contrastive Language-Image Pre-training，即一种基于对比文本-图像对的预训练方法或者模型。CLIP是一种基于对比学习的多模态模型，CLIP的训练数据是文本-图像对：一张图像和它对应的文本描述，这里...
-
MIT研究员推新AI图片生成框架DMD：AI 单步生成高质量图像 速度快30倍
在当今人工智能时代，计算机可以通过扩散模型生成自己的 “艺术”，逐步向嘈杂的初始状态添加结构，直到清晰的图像或视频出现。 扩散模型突然变得异常受欢迎:输入几个词，即可体验现实与幻想交汇的梦幻景象。在幕后，这涉及一个复杂、耗时的过程，需要算法多次迭代才能完美...
-
符尧大佬一作发文，仅改训练数据，就让LLaMa-2上下文长度扩展20倍！
引言：探索语言模型的长上下文能力 近日，谷歌推出了Gemini Pro 1.5，将上下文窗口长度扩展到100万个tokens，目前领先世界。而其他语言模型也正在不断探索长上下文能力，也就是模型处理和理解超出其训练时所见上下文长度的能力。例如，一个模型可能...
-
CMU朱俊彦、Adobe新作：512x512图像推理，A100只用0.11秒
简笔素描一键变身多风格画作，还能添加额外的描述，这在 CMU、Adobe 联合推出的一项研究中实现了。 作者之一为 CMU 助理教授朱俊彦，其团队在 ICCV 2021 会议上发表过一项类似的研究：仅仅使用一个或数个手绘草图，即可以自定义一个现成的 GA...
-
AIGC狂飙对于普通人意味着什么？
AIGC 人工智能生成内容，相对更早的内容生产模式分别为专家生产内容 PGC 和用户生产内容 UGC。而随着 AIGC 出现，内容生产率变成指数级上升。那么AIGC发展对于普通人来说到底意味着什么? 先回顾一下时间轴， 2015年7月，谷歌推出 De...
-
英伟达推出NeMo，极大简化自定义生成式AI开发
为了帮助全球开发者、企业更好的开发定制大模型和生成式AI产品，例如，聊天机器人、编程代码助手等。 NVIDIA宣布推出了NeMo Curator、NeMo Customizer和NeMo Evaluator等微服务的早期访问计划。这些微服务涵盖了从数据整理...
-
快手程一笑：快意大模型或在半年内达 GPT4.0 水平
今日，快手公司发布了其2023年第四季度及全年业绩报告，数据显示，快手在2023年全年实现了显著的收入增长，总收入高达1134.7亿元，同比增长了20.5%。更值得一提的是，经过调整后，快手的净利润首次突破了百亿元大关，达到了102.7亿元。 在随后的业绩...
-
快手CEO程一笑：自研大模型有信心半年内达GPT4.0水平
快科技3月20日消息，今日，快手发布2023年第四季度及全年业绩，2023全年总收入达1134.7亿元，同比增长20.5%，经调整净利润首次超百亿达102.7亿元。 据媒体报道，在快手业绩电话会上，快手创始人兼CEO程一笑透露，2023年公司启动AI战略后...
-
端到端大一统前夕？GenAD：LLM和轨迹规划全搞定
今天汽车人和大家分享一篇自动驾驶领域中第一个大规模视频预测模型。为了消除高成本数据收集的限制，并增强模型的泛化能力，从网络获取了大量数据，并将其与多样化和高质量的文本描述配对。由此产生的数据集累积了超过2000小时的驾驶视频，涵盖了世界各地具有多样化天气...
-
HPT官网体验入口 HyperGAI多模态语言开源模型框架免费使用地址
HPT是HyperGAI研究团队推出的新型多模态大型语言模型框架。它具有高效且可扩展地训练大型多模态基础模型的能力，能够理解包括文本、图像、视频等多种输入模态。HPT框架不仅可以从头开始训练，还可以通过现有的预训练视觉编码器和/或大型语言模型进行高效适配。...
-
50+国内外大模型专家齐聚，全球机器学习技术大会第二批嘉宾阵容公布！
50+ 国内外大模型重磅专家 智谱、百川、零一万物、智源、面壁智能 微软、阿里通义、小米、北大、复旦 eBay、恒生、达观、金山、度小满等 共同探讨 AI 前沿发展与落地实践 全球机器学习技术大会第二批嘉宾重磅出炉 Daniel Povey 博士毕业于英...
-
一文读懂大型语言模型微调技术挑战与优化策略
Hello folks，我是 Luga，今天我们继续来聊一下人工智能(AI 生态领域相关的技术 - LLM Fine-Tuning ，本文将继续聚焦在针对 LLM Fine-Tuning 技术进行剖析，使得大家能够了解 LLM Fine-Tuning...
-
华为天才少年谢凌曦：关于视觉识别领域发展的个人观点！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 最近，我参加了几个高强度的学术活动，包括CCF计算机视觉专委会的闭门研讨会和VALSE线下大会。经过与其他学者的交流，我产生了许多想法，千头万绪，便希望把它们整理下来，供自己和同行们参考。当然，受限于...
-
近屿智能成功获得A轮资金，其首创的AIGC工程师与产品经理学习路径图引起业界广泛关注。
2024年1月，上海近屿智能科技有限公司（简称近屿智能）宣布其A轮融资圆满成功，智望资本作为领投方，金沙江创投也进行了追加投资。这一轮融资的成功，标志着近屿智能在AIGC技术领域的领先地位获得了业界的广泛认可，并反映了投资者对其技术实力和未来增长潜力的充分...
-
微软在AI领域是不是大而不倒？
在2023年11月OpenAI的剧变中，联合创始人兼CEO奥特曼被解雇并重新聘用，微软CEO纳德拉接受了采访，分享了他对这一事件的两点看法，以及人工智能如何在企业中渗透。 纳德拉在谈到微软在人工智能领域的存在时表示：“我们对自己的能力非常有信心，我们拥...
-
AIGC元年大模型发展现状手册
零、AIGC大模型概览 AIGC大模型在人工智能领域取得了重大突破，涵盖了LLM大模型、多模态大模型、图像生成大模型以及视频生成大模型等四种类型。这些模型不仅拓宽了人工智能的应用范围，也提升了其处理复杂任务的能力。a. LLM大模型通过深度学习和自然语...
-
谷歌AI推出新型评分器Cappy 助力多任务语言模型性能提升
在最新的研究论文中，谷歌研究人员引入了一种名为Cappy的预训练评分器模型，旨在增强和超越大型多任务语言模型的性能。这项研究旨在解决大型语言模型（LLM）所面临的挑战，其中包括高昂的计算资源成本和效率低下的训练和推理过程。 目前，多任务法学硕士如T0、F...
-
小红书多模态团队建立新「扩散模型」：解码脑电波，高清还原人眼所见
近些年，研究人员们对探索大脑如何解读视觉信息，并试图还原出原始图像一直孜孜不倦。去年一篇被 CVPR 录用的论文，通过扩散模型重建视觉影像，给出了非常炸裂的效果—— AI 不光通过脑电波知道你看到了什么，并且帮你画了出来。 第一行：人眼所见画面，第二...
-
NVIDIA大语言模型落地的全流程解析
包括三部分内容： 第一部分是关于 NeMo Framework。NeMo Framework 是 NVIDIA 大语言模型的全栈解决方案，它通过不同组件完成生成式 AI 各个环节的任务，包括数据预处理、分布式训练、模型微调、模型推理加速及部署（Ten...
-
无需训练，Fast-DetectGPT让文本检测速度提升340倍
大语言模型如 ChatGPT 和 GPT-4 在各个领域对人们的生产和生活带来便利，但其误用也引发了关于虚假新闻、恶意产品评论和剽窃等问题的担忧。本文提出了一种新的文本检测方法 ——Fast-DetectGPT，无需训练，直接使用开源小语言模型检测各种大...
-
什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？
选择使用哪种大模型，如Bert、LLaMA或ChatGLM，取决于具体的应用场景和需求。下面是一些指导原则： Bert模型：Bert是一种预训练的语言模型，适用于各种自然语言处理任务，如文本分类、命名实体识别、语义相似度计算等。如果你的任务是通用的文...
-
大模型增速远超摩尔定律！MIT最新研究：人类快要喂不饱AI了
我们人类可能要养不起AI了！ 近日，来自MIT FutureTech的研究人员发表了一项关于大模型能力增长速度的研究， 结果表明：LLM的能力大约每8个月就会翻一倍，速度远超摩尔定律！ 论文地址：https://arxiv.org/pdf/2403.0...
-
巧解「数据稀缺」问题！清华开源GPD：用扩散模型生成神经网络参数
传统的时空预测模型通常需要大量数据支持才能取得良好效果。 然而，由于城市发展水平不均衡和数据收集政策的差异，许多城市和地区的时空数据（如交通和人群流动数据）受到了限制。在这种情况下，模型在数据稀缺情况下的可迁移性变得尤为重要。 现有研究主要利用数据丰富的...
-
AI大模型控制红绿灯，港科大（广州）智慧交通新成果已开源
大模型“上路”，干起了交通信号控制（TSC）的活～ 模型名为LightGPT，以排队及不同区段快要接近信号灯的车辆对路口交通状况分析，进而确定最好的信号灯配置。 该模型由香港科技大学（广州）的研究团队提出，其背后关键是一个名为LLMLight的框架。...
-
别等OpenAI了，全球首个类Sora抢先开源！所有训练细节/模型权重全公开，成本仅1万美元
不久前OpenAI Sora以其惊人的视频生成效果迅速走红，在一众文生视频模型中突出重围，成为全球瞩目的焦点。 继2周前推出成本直降46%的Sora训练推理复现流程后，Colossal-AI团队全面开源全球首个类Sora架构视频生成模型「Open-Sor...
-
全球首个类Sora开源复现方案来了！全面公开所有训练细节和模型权重
全球首个开源的类Sora架构视频生成模型，来了！ 整个训练流程，包括数据处理、所有训练细节和模型权重，全部开放。 这就是刚刚发布的Open-Sora 1.0。 它带来的实际效果如下，能生成繁华都市夜景中的车水马龙。 还能用航拍视角，展现悬崖海岸边，海水...
-
迄今最大！马斯克AI大模型Grok开源：参数量达3140亿
快科技3月18日消息，据媒体报道，马斯克的AI创企xAI正式宣布其大语言模型Grok-1已实现开源，并向公众开放下载。 据了解，Grok-1是一款基于混合专家系统（Mixture-of-Experts，MoE）技术构建的大语言模型，拥有3140亿参数，远超...
-
自适应剪枝让多模态大模型加速2-3倍，哈工大等推出SmartTrim
基于 Transformer 结构的视觉语言大模型（VLM）在各种下游的视觉语言任务上取得了巨大成功，但由于其较长的输入序列和较多的参数，导致其相应的计算开销地提升，阻碍了在实际环境中进一步部署。为了追求更为高效的推理速度，前人提出了一些针对 VLM 的...