-
AIGC:语音克隆模型Bert-VITS2-2.3部署与实战
1 VITS2模型 1.1 摘要 单阶段文本到语音模型最近被积极研究，其结果优于两阶段管道系统。以往的单阶段模型虽然取得了较大的进展，但在间歇性非自然性、计算效率、对音素转换依赖性强等方面仍有改进的空间。本文提出VITS2，一种单阶段的文本到语音模型...
-
Stable Diffusion 3 架构细节大揭秘
在众多前沿成果都不再透露技术细节之际，Stable Diffusion 3 论文的发布显得相当珍贵。 Stable Diffusion 3 的论文终于来了！ 这个模型于两周前发布，采用了与 Sora 相同的 DiT（Diffusion Transf...
-
OpenAI官宣开源Transformer Debugger！不用写代码，人人可以破解LLM黑箱
AGI真的越来越近了！ 为了确保人类不被AI杀死，在解密神经网络/Transfomer黑箱这一方面，OpenAI从未停下脚步。 去年5月，OpenAI团队发布了一个令人震惊的发现：GPT-4竟可以解释GPT-2的三十万神经元！ 网友纷纷惊呼，智慧原来是这...
-
Sora是『神笔马良』还是AI怪物？首篇综述一探乾坤！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 Sora是一种文本到视频生成的人工智能模型，由OpenAI于2024年2月发布。该模型经过训练，能够从文本指令中生成逼真或想象的场景视频，并显示出在模拟物理世界方面的潜...
-
AIGC实战——GPT(Generative Pre-trained Transformer)
AIGC实战——GPT 0. 前言 1. GPT 简介 2. 葡萄酒评论数据集 3. 注意力机制 3.1 查询、键和值 3.2 多头注意力 3.3 因果掩码 4. Transformer 4.1 Transformer 块 4.2 位置编...
-
Stable-diffusion复现笔记
一、引言 目前正在学习有关扩撒模型的相关知识，最近复现了Stable-diffuison，此文主要是想记录一下整体的复现过程以及我在复现过程中出现的一些奇怪的问题以及我的处理方法。这里我的复现主要是针对官网文档实现的，并没有用到webui版本，如果是想体...
-
DenseMamba：大模型的DenseNet时刻，Mamba和RetNet精度显著提升
随着 ChatGPT 的突破性进展，大型语言模型（LLMs）迎来了一个崭新的里程碑。这些模型在语言理解、对话交互和逻辑推理方面展现了卓越的性能。过去一年，人们目睹了 LLaMA、ChatGLM 等模型的诞生，它们基于 Transformer 架构，采用多...
-
不依赖token，字节级模型来了！直接处理二进制数据
最新GPT，不预测token了。 微软亚研院等发布bGPT，仍旧基于Transformer，但是模型预测的是下一个字节（byte）。 通过直接处理原生二进制数据，bGPT将所有输入内容都视为字节序列，从而可以不受限于任何特定的格式或任务。 能预测CPU...
-
不依赖Token，字节级模型来了！直接处理二进制数据
最新GPT，不预测token了。 微软亚研院等发布bGPT，仍旧基于Transformer，但是模型预测的是下一个字节（byte）。 通过直接处理原生二进制数据，bGPT将所有输入内容都视为字节序列，从而可以不受限于任何特定的格式或任务。 能预测CPU...
-
奥特曼老黄齐预测：AGI五年内降临，代替95%工作！但马斯克断言AGI将被电力卡脖子
Claude 3、Sora、Gemini 1.5 Pro的纷纷出现，以及或许今年内就会被放出的GPT-5，让所有人都不约而同地隐隐感觉：我们似乎离AGI似乎越来越近了。 OpenAI CEO Sam Altman坚定地认为，AGI将在5年内实现。 不过，...
-
当prompt策略遇上分治算法，南加大、微软让大模型炼成「火眼金睛」
近年来，大语言模型（LLMs）由于其通用的问题处理能力而引起了大量的关注。现有研究表明，适当的提示设计（prompt enginerring），例如思维链（Chain-of-Thoughts），可以解锁 LLM 在不同领域的强大能力。 然而，在处理涉及重...
-
一键Run带你体验扩散模型的魅力
在文生视频领域，Sora将带来短视频的智能化变革，打破当前内容平台等额原有数据壁垒，短视频创作的生态护城河，同时Sora融入短视频工作流，极大的增强用户的体验，降低创作难度和成本，极大拓展创作者的能力边界，激发短视频创作空间。 在视频创作...
-
谷歌工程师硬核长篇预测，证实黄仁勋观点：AGI或在2029年出现，AI五年内通过人类测试
最近，英伟达CEO黄仁勋表示，AI会在五年内通过人类测试，AGI将很快到来！ 在斯坦福大学举行的一个经济论坛上，黄仁勋回答了这个问题：人类何时能创造像人类一样思考的计算机？ 这也是硅谷的长期目标之一。 老黄是这样回答的：答案很大程度上取决于我们如何定义...
-
Pika放大招：今天起，视频和音效可以“一锅出”了！
就在刚刚，Pika发布了一项新功能： 很抱歉我们之前一直处于静音状态。 今天起，大家可以给视频无缝生成音效了——Sound Effects！ 生成的方式有两种： 要么给一句Prompt，描述你想要的声音； 要么直接让Pika根据视频内容自动生成。...
-
告别繁琐的手动调参，Optuna助您轻松实现超参数优化！
在机器学习和深度学习领域，超参数优化是一个至关重要的任务。通过调整模型的超参数，我们可以提高模型的性能和泛化能力。 然而，手动调整超参数是一项繁琐且耗时的任务，因此自动化超参数优化成为了一种常见的解决方案。 在Python中，Optuna是一个流行的超参...
-
我们一起聊聊大模型的模型融合方法
模型融合大家以前用的很多，特别是在判别模型里，属于永远都能稳定提升的那一类方法。但是生成语言模型，因为解码的过程存在，并不像判别模型那样直观。 另外，由于大模型的参数量增大，在参数规模更大的场景，简单的集成学习可以考量的方法相比低参数的机器学习更受限制，...
-
谷歌具身智能新研究：比RT-2优秀的RT-H来了
随着 GPT-4 等大型语言模型与机器人研究的结合愈发紧密，人工智能正在越来越多地走向现实世界，因此具身智能相关的研究也正受到越来越多的关注。在众多研究项目中，谷歌的「RT」系列机器人始终走在前沿（参见《大模型正在重构机器人，谷歌 Deepmind 这样...
-
让大模型“瘦身”90%！清华&哈工大提出极限压缩方案：1bit量化，能力同时保留83%
对大模型进行量化、剪枝等压缩操作，是部署时最常见不过的一环了。 不过，这个极限究竟有多大? 清华大学和哈工大的一项联合研究给出的答案是: 90%。 他们提出了大模型1bit极限压缩框架OneBit，首次实现大模型权重压缩超越90%并保留大部分（83%）能力...
-
谷歌最强轻量级开源大模型Gemma：小尺寸可商用，性能超越Llama-2，个人PC就能用
前言 谷歌近日发布了其最新的轻量级、开源AI模型——Gemma，这一举措无疑在AI领域引起了广泛的关注。不同于其他闭源大模型，Gemma的推出标志着谷歌在开放模型领域的重要一步，意图通过开放、共享的方式，加速AI技术的普及和应用。 Gemma模型概...
-
“羊驼“入侵CV，美团&浙大沈春华团队将LLaMA向CV扩展，构建全新基础模型VisionLLaMA
本文首发:AIWalker https://arxiv.org/abs/2403.00522 https://github.com/Meituan-AutoML/VisionLLaMA 本文概述 大型语言模型构建在基于Transf...
-
LLaMA-2 下载&demo使用
LLaMA-2 下载&demo使用 1. LLaMA-2 下载&demo使用 1.1 meta官网 1.2 huggingface 1.3 其他源 1.4 huggingface下载模型和数据加速 1. LLaM...
-
【ICCV】AIGC时代下的SOTA人脸表征提取器TransFace，FaceChain团队出品
一、论文 本文介绍被计算机视觉顶级国际会议ICCV 2023接收的论文 "TransFace: Calibrating Transformer Training for Face Recognition from a Data-Centric Persp...
-
24｜Stable Diffusion：最热门的开源AI画图工具
上一讲，我们一起体验了 CLIP 这个多模态的模型。在这个模型里，我们已经能够把一段文本和对应的图片关联起来了。看到文本和图片的关联，想必你也能联想到过去半年非常火热的“文生图”（Text-To-Image）的应用浪潮了。相比于在大语言模型里 OpenAI...
-
破茧而出：从困惑到爆发的AI写作之旅
大家好，小发猫降重今天来聊聊破茧而出：从困惑到爆发的AI写作之旅，希望能给大家提供一点参考。 以下是针对论文重复率高的情况，提供一些修改建议和技巧，可以借助此类工具： 标题：破茧而出：从困惑到爆发的AI写作之旅 在数字时代的浪潮中，AI写作逐渐成...
-
Python爬虫基础到实战：构建自己的数据收集工具
在当前信息化的时代背景下，数据采集对于各行各业的重要性与日俱增。因此，熟练掌握一门编程语言并能灵活使用爬虫技术获取所需的数据资料已成为诸多数据工作者和专业研发人士的标配能力之一。本篇文章会从基础入门知识，渐进深入直至涉及复杂的爬虫设计与部署方略，围绕Pyt...
-
文心一言 VS ChatGPT-4
文心一言和ChatGPT-4都是非常强大的自然语言处理模型，它们都能够在对话系统和其他NLP应用中发挥巨大的作用。然而，它们之间还是存在一些区别： 训练数据：ChatGPT-4是由OpenAI训练的，它使用了大量的网络文本来进行训练，因此它具有非常广...
-
Stable Diffusion 3技术报告出炉：揭露Sora同款架构细节
很快啊，“文生图新王”Stable Diffusion 3的技术报告，这就来了。 全文一共28页，诚意满满。 “老规矩”，宣传海报（⬇️）直接用模型生成，再秀一把文字渲染能力： 所以，SD3这比DALL·E 3和Midjourney v6都要强的文字...
-
AI图像合成技术的新浪潮：Stable Diffusion 3与Sora构架的突破
在人工智能的黄金时代，图像合成技术正以前所未有的速度发展。从简单的图像编辑到复杂的场景生成，AI的能力已经超越了传统软件的限制，开启了创意和视觉表达的新纪元。近期，Stable Diffusion 3技术报告的流出引起了业界的广泛关注，其背后的Sora构...
-
ADMap：抗干扰在线高精地图新思路
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 大家好，很开心能够受邀来到自动驾驶之心分享我们的在线重建矢量化高精度地图的抗扰动方法ADMap。我们的代码已经发布在https://github.com/hht199...
-
性能8.6倍于竞品！高通AI大揭秘：NPU引领四兄弟无敌
生成式AI的变革，对于基础硬件设计、软件生态开发都提出了新的、更高的要求，尤其是底层硬件和算力必须跟上新的形势，并面向未来发展做好准备。 近日，高通特别发布了《通过NPU和异构计算开启终端侧生成式AI》白皮书，对于终端侧生成式AI的发展趋势，以及高通骁龙处...
-
全面超越ViT，美团、浙大等提出视觉任务统一架构VisionLLAMA
半年多来，Meta 开源的 LLaMA 架构在 LLM 中经受了考验并大获成功（训练稳定、容易做 scaling）。 沿袭 ViT 的研究思路，我们能否借助创新性的 LLaMA 架构，真正实现语言和图像的架构统一？ 在这一命题上，最近的一项研究 Visi...
-
CVPR 2023 | 最全 AIGC 论文清单汇总版，30个方向130篇！
目录 1、图像转换/翻译 2、GAN改进/可控 3、可控文生图/定制化文生图 4、图像恢复 5、布局可控生成 6、医学图像 7、人脸相关 8、3D相关 9、deepfake检测 10、图像超分 11、风格迁移 12、去雨去噪去模糊 13、图像分割 14、视...
-
Stable Diffusion 解析：探寻 AI 绘画背后的科技神秘
AI 绘画发展史 在谈论 Stable Diffusion 之前，有必要先了解 AI 绘画的发展历程。 早在 2012 年，华人科学家吴恩达领导的团队训练出了当时世界上最大的深度学习网络。这个网络能够自主学习识别猫等物体，并在短短三天时间内绘制出了一...
-
Stable Diffusion 3论文终于发布，架构细节大揭秘，对复现Sora有帮助？
Stable Diffusion 3 的论文终于来了！ 这个模型于两周前发布，采用了与 Sora 相同的 DiT（Diffusion Transformer）架构，一经发布就引起了不小的轰动。 与之前的版本相比，Stable Diffusion 3 生成...
-
一文总结扩散模型（Diffusion Model）在时间序列中的应用
扩散模型是目前生成式AI中的最核心模块，在Sora、DALL-E、Imagen等生成式AI大模型中都取得了广泛的应用。与此同时，扩散模型也被越来越多的应用到了时间序列中。这篇文章给大家介绍了扩散模型的基本思路，以及几篇扩散模型用于时间序列的典型工作，带你...
-
谷歌掀桌子！开源Gemma：可商用，性能超过Llama 2！
2月22日，谷歌在官网宣布，开源大语言模型Gemma。 Gemma与谷歌最新发布的Gemini 使用了同一架构，有20亿、70亿两种参数，每种参数都有预训练和指令调优两个版本。 根据谷歌公布的测试显示，在MMLU、BBH、GSM8K等主流测试平台中，其...
-
Stable Diffusion 3技术报告流出，Sora构架再立大功！生图圈开源暴打Midjourney和DALL·E 3？
Stability AI在发布了Stable Diffusion 3之后，今天公布了详细的技术报告。 论文深入分析了Stable Diffusion 3的核心技术——改进版的Diffusion模型和一个基于DiT的文生图全新架构！ 报告地址： http...
-
PPIO王闻宇：论GPU的过去、现在和未来｜AIGC基石思考之算力哲学
00 前言：算力与GPU 算力，即计算能力（Computing Power）。更具体来说，算力是通过对信息数据进行处理，实现目标结果输出的计算能力。 最早的算力引擎。是人类的大脑，后来演变成草绳、石头、算筹（一种用于计算的小棍子）、算盘。到...
-
Stable Diffusion 3：创新技术引领未来趋势
文章目录 Stable Diffusion 3：创新技术引领未来趋势 摘要 Stable Diffusion 3 的发布 技术发展方向 行业影响 总结： Stable Diffusion 3：创新技术引领未来趋势 摘要 在...
-
论文精读--DALL·E 2
使用CLIP训练好的特征做层级式的依托于文本的图像生成，层级式是指生成小分辨率图片后不断用模型上采样得到高清大图 CLIP将输入的文本变成一个文本特征，然后DALLE2训练一个prior模型，输入是文本特征输出是图像特征，最后把图像特征喂给解码器得到图片...
-
Stability AI发布SD3技术报告 披露SD3更多细节
Stability AI 最近发布了他们最强的图片生成模型 Stable Diffusion3（SD3） 的技术报告，披露了 SD3的更多细节。据 Stability AI 所说，SD3在排版质量、美学质量和提示词理解上超过了目前所有的开源模型和商业模型，...
-
使用直接偏好优化策略微调Mistral-7b模型
译者 | 朱先忠 审校 | 重楼 引言 通常，经过预训练的大型语言模型（LLM）只能执行下一个标记预测，这使其无法回答问题。这就解释了为什么这些基本模型还需要根据成对的指令和答案作进一步微调，最终才能够充当真正有用的人工助理。然而，这个过程仍然可能存在...
-
DUSt3R官网体验入口 3D重建工具AI应用免费使用下载地址
DUSt3R是一种新颖的密集和无约束立体3D重建方法，适用于任意图像集合。它不需要事先了解相机校准或视点姿态信息，通过将成对重建问题视为点图的回归，放宽了传统投影相机模型的严格约束。DUSt3R提供了一种统一的单目和双目重建方法，并在多图像情况下提出了一种...
-
老黄最新专访：芯片短缺难以结束，下个Transformer已经出现
英伟达的GPU正在吞噬这个世界。 科技公司对英伟达的超级计算GPU有着近乎无尽的需求。 不再是那个只为游戏显卡提供图形渲染服务的英伟达，现在的英伟达利用他的GPU开创了一个新时代： 人类能够与计算机对话，计算机能够回应人类。而最终，计算机甚至可能超越人类...
-
解剖Sora：37页论文逆向工程推测技术细节，微软参与，华人团队出品
Sora刚发布不久，就被逆向工程“解剖”了？！ 来自理海大学、微软研究院的华人团队发布了首个Sora相关研究综述，足足有37页。 他们基于Sora公开技术报告和逆向工程，对模型背景、相关技术、应用、现存挑战以及文本到视频AI模型未来发展方向进行了全面分析...
-
十年内出现AGI？下一代Gemini能感知环境？DeepMind CEO哈萨比斯畅谈AI
「如果我们在未来十年内拥有类似 AGI 的系统，我不会感到惊讶。」Google DeepMind 联合创始人和 CEO Demis Hassabis 近日在人工智能播客节目 Dwarkesh Podcast 上如是说。 在长达一个小时的节目中，Hassa...
-
RNN效率媲美Transformer，谷歌新架构两连发：同等规模强于Mamba
这一次，谷歌 DeepMind 在基础模型方面又有了新动作。 我们知道，循环神经网络（RNN）在深度学习和自然语言处理研究的早期发挥了核心作用，并在许多应用中取得了实功，包括谷歌第一个端到端机器翻译系统。不过近年来，深度学习和 NLP 都以 Transf...
-
Stable Diffusion 3 发布及其重大改进
1. 引言 就在 OpenAI 发布可以生成令人瞠目的视频的 Sora 和谷歌披露支持多达 150 万个Token上下文的 Gemini 1.5 的几天后，Stability AI 最近展示了 Stable Diffusion 3 的预览版。 闲话少...
-
Stable Diffusion web UI 安装教程
Stable Diffusion web UI 安装教程 欢迎来到猫说AI，wx搜索，猫说AI接入了最新版Chatgpt供大家免费使用。 注意：这是ubuntu20.04安装步骤！ conda创建python虚拟环境 conda create -n...
-
每日一看大模型新闻（2023.12.28）发现GPT-4 API存在重大漏洞；告别冷启动，LoRA为大模型提速高达300%；发布中文大模型基准测评年度报告；腾讯云AI绘画首批通过AIGC绘画平台评估
1.产品发布 1.1微软：明年春季推出首款AI PC 发布日期：2023.12.28 Microsoft’s next Surface laptops will reportedly be its first true ‘AI PCs’ - The...