-
没等来OpenAI，等来了Open-Sora全面开源
不久前 OpenAI Sora 以其惊人的视频生成效果迅速走红，在一众文生视频模型中突出重围，成为全球瞩目的焦点。继 2 周前推出成本直降 46% 的 Sora 训练推理复现流程后，Colossal-AI 团队全面开源全球首个类 Sora 架构视频生成模...
-
超详细！AIGC面试系列 大模型基础(1)
关于我 从2022年末开始接触AIGC，便一直紧跟最近技术与实践落地。期间参与copilot项目研发，落地了多个垂类AIGC大模型应用，熟悉各种AIGC相关技术如Agent，Langchain，chatdoc，向量数据库等。 关于本系列 请你认真看完...
-
大模型学习笔记（一）：部署ChatGLM模型以及stable-diffusion模型
大模型学习笔记（一）：部署ChatGLM模型以及stable-diffusion模型 注册算力平台（驱动云平台） 1.平台注册 2.查看算力 3.进入平台中心 部署ChatGLM3-6B模型 1.创建项目 2.配置环境 设置镜像源、克隆...
-
仅需200M参数，零样本性能超越有监督！谷歌发布时序预测基础模型TimesFM
时间序列预测在零售、金融、制造业、医疗保健和自然科学等各个领域无处不在：比如说在零售场景下中，「提高需求预测准确性」可以有显著降低库存成本并增加收入。 深度学习（DL）模型基本上垄断了「多变量时间序列预测」任务，在各个竞赛、现实应用中的表现都非常好。 与...
-
谷歌通用AI智能体发布，3D游戏玩法要变天了
谷歌DeepMind号称打造出了首个能在广泛3D虚拟环境和视频游戏中遵循自然语言指令的通用AI智能体。 名为SIMA，不是NPC，是可以成为玩家拍档，帮忙干活打杂的那种。 比如，在《模拟山羊3》（Goat Simulator 3）中当司机开开车： 在...
-
苹果大模型MM1入场：参数达到300亿 超半数作者是华人
苹果公司最新发布了一款名为MM1的大型多模态基础模型，拥有300亿参数，采用了MoE架构，并且超过一半的作者是华人。该模型在多模态领域具有重要意义，可能预示着苹果未来推出与此相关的产品。 今年以来，苹果明显加大了对生成式人工智能（GenAI）领域的投入，这...
-
苹果大模型MM1杀入场：300亿参数、多模态、MoE架构，超半数作者是华人
今年以来，苹果显然已经加大了对生成式人工智能（GenAI）的重视和投入。此前在 2024 苹果股东大会上，苹果 CEO 蒂姆・库克表示，今年将在 GenAI 领域实现重大进展。此外，苹果宣布放弃 10 年之久的造车项目之后，一部分造车团队成员也开始转向...
-
首次攻克「图基础模型」三大难题！港大开源OpenGraph：零样本学习适配多种下游任
图学习（Graph Learning）技术能够对复杂的关系数据进行挖掘和学习，在推荐系统、社交网络分析、引用网络和交通网络等多个领域都显示出了巨大的应用价值。 图神经网络（Graph Neural Networks, GNNs）基于迭代的消息传递机制，能...
-
Stable Diffusion——文生图界面参数讲解与提示词使用技巧
Clip终止层数 什么是Clip CLIP（Contrastive Language-Image Pretraining）是由OpenAI于2021年开发的一种语言图像对比预训练模型。其独特之处在于，CLIP模型中的图像和文本嵌入共享相同的潜在...
-
OpenAI大模型上身机器人，原速演示炸场！
OpenAI大模型加持的机器人，深夜来袭！ 名曰Figure 01，它能听会说，动作灵活。 能和人类描述眼前看到的一切： 我在桌子上看到了一个红色的苹果，沥水架上面还有几个盘子和一个杯子；然后你站在附近，手放在桌子上。 图片 听到人类说“想吃东西”，就...
-
【深度学习】风格迁移，转换，Stable Diffusion，FreeStyle : Free Lunch for Text-guided Style Transfer using Diffusion
论文：https://arxiv.org/abs/2401.15636 代码：https://github.com/FreeStyleFreeLunch/FreeStyle 介绍 生成扩散模型的快速发展极大地推进了风格迁移领域的发展。然而，大多数当...
-
文生图的最新进展：从一致性模型CMs、LCM、SDXL到Stable Diffusion3、SDXL-Lightning
前言 很明显，OpenAI的首个视频生成模型sora极大程度的提高了大家对文生图、文生视频的热情，也极大的扩展了大家对AIGC的想象力 第一部分(选读 一致性模型Consistency Model 注，本文第一部分最早写在23年11月份的这篇文...
-
LLaMA-2-7B数学能力上限已达97.7%？Xwin-Math利用合成数据解锁潜力
合成数据持续解锁大模型的数学推理潜力！ 数学问题解决能力一直被视为衡量语言模型智能水平的重要指标。通常只有规模极大的模型或经过大量数学相关预训练的模型才能有机会在数学问题上表现出色。 近日，一项由 Swin-Transformer 团队打造，来自西安交通...
-
能说会看会行动，OpenAI机器人，一出手就是王炸
「借助 OpenAI 的能力，Figure 01 现在可以与人全面对话了！」 本周三，半个硅谷都在投的明星机器人创业公司 Figure，发布了全新 OpenAI 大模型加持的机器人 demo。 这家公司在 3 月 1 日刚刚宣布获得 OpenAI 等公...
-
Stable Diffusion ———LDM、SD 1.0, 1.5, 2.0、SDXL、SDXL-Turbo等版本之间关系现原理详解
一、简介 2021年5月，OpenAI发表了《扩散模型超越GANs》的文章，标志着扩散模型（Diffusion Models，DM）在图像生成领域开始超越传统的GAN模型，进一步推动了DM的应用。 然而，早期的DM直接作用于像素空间，这意味着要优化一...
-
【AIGC调研系列】StarCoder2模型与其他模型对比的优势和劣势
StarCoder2模型的优势主要包括： 性能：StarCoder2模型具备性能优势，旨在为代码生成、编辑和推理任务提供强大的支持[6]。 透明度：该系列模型希望成为代码生成领域的新标准，提高了模型的透明度和可访问性[1][4][11]。 成本效...
-
AI 图片橡皮擦来了！概念半透膜模型SPM实现精准擦除特定内容，还能改头换面
清华大学与阿里安全联合发布了概念半透膜模型（SPM），这一模型能够在 Diffusion 架构的 AI 作图模型中，精准、可控地擦除各类具象或抽象概念。 该模型的推出解决了传统 AI 作图模型存在的生成涉黄、侵权等危险概念的问题，实现了对特定概念的精确擦除...
-
LLM将成历史？开源bGPT或颠覆深度学习范式：直接模拟二进制，开启模拟数字世界新纪元！
微软亚洲研究院推出的最新成果bGPT，这种基于字节的Transformer模型，为我们探索数字世界开辟了新的大门。 与传统的基于词表的语言模型不同，bGPT的独特之处在于其对原始二进制数据的直接处理能力，不受特定格式或任务的限制，其目标是全面模拟数字世界...
-
万字带你了解ChatGLM
本文分享自华为云社区《【云驻共创】华为云之昇思MindSpore大模型专题（第二期）-第一课：ChatGLM》，作者： 愚公搬代码。 前言 1.昇思MindSpore 昇思MindSpore是华为公司推出的一款全场景AI计算框架。它提供了自动...
-
AIGC:语音克隆模型Bert-VITS2-2.3部署与实战
1 VITS2模型 1.1 摘要 单阶段文本到语音模型最近被积极研究，其结果优于两阶段管道系统。以往的单阶段模型虽然取得了较大的进展，但在间歇性非自然性、计算效率、对音素转换依赖性强等方面仍有改进的空间。本文提出VITS2，一种单阶段的文本到语音模型...
-
Apollo开源轻量级多语言医疗 LLM：助力将医疗 AI 民主化推广至60亿人口
医疗人工智能（AI）技术正在迅速发展，旨在利用大型语言模型(LLMs 的巨大潜力彻底改变医疗保健交付方式。这些技术进步承诺提高诊断准确性，个性化治疗方案，并解锁全面医学知识的获取，从根本上改变患者护理。将 AI 整合到医疗保健中旨在提高医疗服务的效率和精确...
-
Sora是『神笔马良』还是AI怪物？首篇综述一探乾坤！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 Sora是一种文本到视频生成的人工智能模型，由OpenAI于2024年2月发布。该模型经过训练，能够从文本指令中生成逼真或想象的场景视频，并显示出在模拟物理世界方面的潜...
-
AIGC实战——GPT(Generative Pre-trained Transformer)
AIGC实战——GPT 0. 前言 1. GPT 简介 2. 葡萄酒评论数据集 3. 注意力机制 3.1 查询、键和值 3.2 多头注意力 3.3 因果掩码 4. Transformer 4.1 Transformer 块 4.2 位置编...
-
如何本地部署Stable Diffusion：详细步骤与指南
Stable Diffusion作为一种前沿的深度学习图像生成技术，在艺术创作、设计、科学可视化等领域展现出巨大的潜力。若您希望在自己的本地环境中部署Stable Diffusion，以下是一份详细的步骤与指南，帮助您成功搭建并运行该模型。 一、准备环境...
-
DenseMamba：大模型的DenseNet时刻，Mamba和RetNet精度显著提升
随着 ChatGPT 的突破性进展，大型语言模型（LLMs）迎来了一个崭新的里程碑。这些模型在语言理解、对话交互和逻辑推理方面展现了卓越的性能。过去一年，人们目睹了 LLaMA、ChatGLM 等模型的诞生，它们基于 Transformer 架构，采用多...
-
清华NLP组发布InfLLM：无需额外训练，「1024K超长上下文」100%召回！
大模型只能够记忆与理解有限的上下文已经成为大模型在真实应用中的能力瓶颈，例如对话式AI系统往往无法记忆你前一天对话的内容，利用大模型构建智能体会产生前后不一致的行为与记忆。 为了让大模型能够记忆并处理更长的上下文，来自清华大学、麻省理工学院和人民大学的研...
-
DALL·E 2 文生图模型实践指南
前言：本篇博客记录使用dalle2模型进行推断时借鉴的相关资料和DEBUG流程。 相关博客：超详细！DALL · E 文生图模型实践指南 目录 1. 环境搭建和预训练模型准备 环境搭建 预训练模型下载 2. 代码 3. B...
-
当prompt策略遇上分治算法，南加大、微软让大模型炼成「火眼金睛」
近年来，大语言模型（LLMs）由于其通用的问题处理能力而引起了大量的关注。现有研究表明，适当的提示设计（prompt enginerring），例如思维链（Chain-of-Thoughts），可以解锁 LLM 在不同领域的强大能力。 然而，在处理涉及重...
-
理解世界，最新综述开启自动驾驶新时代~
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 在快速发展的自动驾驶领域，准确预测未来事件并评估其影响的能力对安全性和效率至关重要，对决策过程至关重要。世界模型已经成为一种变革性的方法，使自动驾驶系统能够合成和解释大...
-
最新综述！扩散模型与图像编辑的爱恨情仇
本文经自动驾驶之心公众号授权转载，转载请联系出处。 针对图像编辑中的扩散模型，中科院联合Adobe和苹果公司的研究人员发布了一篇重磅综述。 全文长达26页，共1.5万余词，涵盖297篇文献，全面研究了图像编辑的各种前沿方法。 同时，作者还提出了全新的be...
-
关于大语言模型LLM相关的数据集、预训练模型、提示词、微调的文心一言问答
文章目录 关于大语言模型LLM相关的数据集、预训练模型、提示词、微调的文心一言问答 先总结一下 Q：LLM模型预训练前与提示词关系，LLM模型预训练后与提示词关系 Q：预训练用的数据集与提示词有什么异同 Q：为什么我看到的数据集结构和提示词结...
-
stable diffusion 原理是什么？
“ 这篇文章主要介绍了Stable Diffusion，这是一种用于AI绘画的算法，它是由CompVis和Runway团队在2021年12月提出的“潜在扩散模型”（LDM/Latent Diffusion Model）的变体，基于201...
-
【AIGC调研系列】inflection-2.5与其他模型相比的优势和劣势
Inflection -2.5作为一款升级的内部模型，其与其他模型相比的优势主要体现在以下几个方面： 性能提升：Inflection -2.5被认为是世界上最好的语言模型之一，其性能可与GPT-4、Gemini等世界领先的大型语言模型相媲美[1]。这...
-
我们一起聊聊大模型的模型融合方法
模型融合大家以前用的很多，特别是在判别模型里，属于永远都能稳定提升的那一类方法。但是生成语言模型，因为解码的过程存在，并不像判别模型那样直观。 另外，由于大模型的参数量增大，在参数规模更大的场景，简单的集成学习可以考量的方法相比低参数的机器学习更受限制，...
-
关于AI智能生成（AIGC），整理一下你该知道这些
什么是AIGC 生成式人工智能（Artificial Intelligence Generated Content） 定义 百度百科 生成式人工智能AIGC（Artificial Intelligence Generated Content）...
-
AIGC启示录：深度解析AIGC技术的现代性与系统性的奇幻旅程
✨✨ 欢迎大家来访Srlua的博文（づ￣3￣）づ╭❤～✨✨ ?? 欢迎各位亲爱的读者，感谢你们抽出宝贵的时间来阅读我的文章。 我是Srlua小谢，在这里我会分享我的知识和经验。? 希望在这里，我们能一起探索IT世界的奥妙，提升我们的技能。?...
-
“羊驼“入侵CV，美团&浙大沈春华团队将LLaMA向CV扩展，构建全新基础模型VisionLLaMA
本文首发:AIWalker https://arxiv.org/abs/2403.00522 https://github.com/Meituan-AutoML/VisionLLaMA 本文概述 大型语言模型构建在基于Transf...
-
近屿智能完成A轮融资，打造行业领先的AIGC工程师与产品经理成长蓝图
2024年1月，上海近屿智能科技有限公司（简称近屿智能）成功完成了A轮融资，智望资本担任了领投角色，而金沙江创投也进行了追加投资。这一融资里程碑充分证明了近屿智能在AIGC行业的技术领先地位得到了市场的广泛认可和投资人的青睐。 自创立伊始，近屿智能始...
-
印度宣布向 AI 领域投资 1037 亿卢比，强化对大语言模型的开发
3 月 8 日消息，印度政府宣布已批准国家级“ IndiaAI 使命”项目，旨在实现“让 AI 在印度扎根”和“让 AI 为印度服务”两大目标，预算达 1037.192 亿卢比（当前约 90.13 亿元人民币）。 据介绍，该项目将由数字印度公司（DI...
-
田渊栋等人新作：突破内存瓶颈，让一块4090预训练7B大模型
上个月，Meta FAIR 田渊栋参与的一项研究广受好评，他们在论文《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases》中开始卷 10...
-
Stable Diffusion 3技术报告出炉：揭露Sora同款架构细节
很快啊，“文生图新王”Stable Diffusion 3的技术报告，这就来了。 全文一共28页，诚意满满。 “老规矩”，宣传海报（⬇️）直接用模型生成，再秀一把文字渲染能力： 所以，SD3这比DALL·E 3和Midjourney v6都要强的文字...
-
全面超越ViT，美团、浙大等提出视觉任务统一架构VisionLLAMA
半年多来，Meta 开源的 LLaMA 架构在 LLM 中经受了考验并大获成功（训练稳定、容易做 scaling）。 沿袭 ViT 的研究思路，我们能否借助创新性的 LLaMA 架构，真正实现语言和图像的架构统一？ 在这一命题上，最近的一项研究 Visi...
-
研究人员推新AI框架CyberDemo:通过视觉观察让机器人模仿学习
加利福尼亚大学圣地亚哥分校（UCSD）和南加利福尼亚大学(USC 的研究人员最近推出了一种名为 CyberDemo 的新型人工智能框架，旨在通过视觉观察进行机器人模仿学习。 传统的模仿学习方法通常需要大量高质量的示范数据来教导机器人完成复杂任务，特别是对...
-
【AIGC】Gemma和ChatGLM3-6B使用体验
近期，谷歌发布了全新的开源模型Gemma，同时智谱AI和清华大学KEG实验室合作推出了ChatGLM3-6B。这两个模型都是先进的对话预训练模型，本文将对它们进行对比，并分享使用体验。 先上效果 ChatGLM3-6B: ChatG...
-
通义千问1.5(Qwen1.5)大语言模型在PAI-QuickStart的微调与部署实践
作者：汪诚愚（熊兮）、高一鸿（子洪）、黄俊（临在） Qwen1.5（通义千问1.5）是阿里云最近推出的开源大型语言模型系列。作为“通义千问”1.0系列的进阶版，该模型推出了多个规模，从0.5B到72B，满足不同的计算需求。此外，该系列模型还包括了Base...
-
一文看尽297篇文献！中科院领衔发表首篇「基于扩散模型的图像编辑」综述
本文全面研究图像编辑前沿方法，并根据技术路线精炼地划分为3个大类、14个子类，通过表格列明每个方法的类型、条件、可执行任务等信息。 此外，本文提出了一个全新benchmark以及LMM Score指标来对代表性方法进行实验评估，为研究者提供了便捷的学习参...
-
中科院等万字详解：最前沿图像扩散模型综述
针对图像编辑中的扩散模型，中科院联合Adobe和苹果公司的研究人员发布了一篇重磅综述。 全文长达26页，共1.5万余词，涵盖297篇文献，全面研究了图像编辑的各种前沿方法。 同时，作者还提出了全新的benchmark，为研究者提供了便捷的学习参考工具。...
-
近屿智能完成A轮融资，独家打造的AIGC工程师与产品经理学习路径图成行业焦点
2024年1月，上海近屿智能科技有限公司（以下简称近屿智能）宣布成功完成A轮融资，由智望资本领投，金沙江创投追加投资。这一重大融资事件不仅象征着近屿智能在AIGC领域的领先地位得到了市场的广泛认可，更凸显了投资人对近屿智能技术实力与未来发展潜力的坚定信心。...
-
AIGC 实战：如何使用 Ollama 开发自定义的大模型（LLM）
虽然 Ollama 提供了运行和交互式使用大型语言模型（LLM）的功能，但从头开始创建完全定制化的 LLM 需要 Ollama 之外的其他工具和专业知识。然而，Ollama 可以通过微调在定制过程中发挥作用。以下是细分说明： 预训练模型选择： Oll...
-
谷歌掀桌子！开源Gemma：可商用，性能超过Llama 2！
2月22日，谷歌在官网宣布，开源大语言模型Gemma。 Gemma与谷歌最新发布的Gemini 使用了同一架构，有20亿、70亿两种参数，每种参数都有预训练和指令调优两个版本。 根据谷歌公布的测试显示，在MMLU、BBH、GSM8K等主流测试平台中，其...