-
Meta、微软表示将购买 AMD 的最新 AI 芯片 MI300X，作为英伟达芯片的替代品
在 AMD 周三的投资者活动上，最新的人工智能芯片——Instinct MI300X">Meta、OpenAI 和微软宣布，他们将使用 AMD 最新的人工智能芯片——Instinct MI300X。这是迄今为止科技公司寻找替代 Nvidia 昂贵图形...
-
Meta、微软承诺购买AMD新型人工智能芯片 作为英伟达GPU替代品
12月7日消息，当地时间周三Meta、OpenAI和微软在AMD投资者活动上表示，他们都将使用AMD最新开发的人工智能芯片Instinct MI300X。这表明，虽然英伟达的GPU芯片对于开发和部署ChatGPT等人工智能程序至关重要，但很多科技公司都...
-
吞吐量提升近30倍！田渊栋团队最新论文解决大模型部署难题
大型语言模型 （LLM） 在今年可谓是风光无限。不过惊艳的效果背后是一个巨大的模型以及夸张的硬件资源。 LLM在现实中部署时通常会面临两个难题：昂贵的KV缓存成本，以及对长序列的泛化能力差。 近日，田渊栋团队发表了一篇论文，成功解决以上两个难题，并将推理...
-
抖音跳舞不用真人出镜，一张照片就能生成高质量视频！字节新技术连抱抱脸CTO都下场体验了
看！现在正有四位小姐姐在你面前大秀热舞： 以为是某些主播在短视频平台发布的作品？ No，No，No。 真实答案是：假的，生成的，而且还是只靠了一张图的那种！ 真实的打开方式是这样的： 这就是来自新加坡国立大学和字节跳动最新的一项研究，名叫Magic...
-
新AI框架DreamSync:结合图像理解模型的反馈 改善文本到图像合成
来自南加州大学、华盛顿大学、巴伊兰大学和谷歌研究团队的研究人员推出了DreamSync，这是一种新型人工智能框架，致力于解决扩散型文本到图像（T2I）模型中对齐和审美吸引力的问题，而无需进行人工标注、修改模型架构或使用强化学习。 DreamSync的方法是...
-
AIGC ChatGPT 制作地图可视化分析
地图可视化分析是一种将数据通过地图的形式进行展示的方法，可以让人们更加直观、快速、准确的理解和分析数据。以下是地图可视化分析的一些主要好处： 加强数据理解：地图可视化可以将抽象的数字转化为直观的图形，帮助我们更好地理解复杂的数据集。 揭示地理模...
-
七月论文审稿GPT第2版：从Meta Nougat、GPT4审稿到Mistral、LongLora Llama
前言 如此前这篇文章《学术论文GPT的源码解读与微调：从chatpaper、gpt_academic到七月论文审稿GPT》中的第三部分所述，对于论文的摘要/总结、对话、翻译、语法检查而言，市面上的学术论文GPT的效果虽暂未有多好，可至少还过得去，而如果涉...
-
【GPT4】微软 GPT-4 测试报告（4）GPT4 的数学能力
**欢迎关注【youcans的AGI学习笔记】原创作品微软 GPT-4 测试报告（1）总体介绍微软 GPT-4 测试报告（2）多模态与跨学科能力微软 GPT-4 测试报告（3）编程能力微软 GPT-4 测试报告（4）数学能力微软 GPT-4 测试报告（5）...
-
颠覆Transformer霸权！CMU普林斯顿推Mamba新架构，解决致命bug推理速度暴增5倍
深度学习进入新纪元，Transformer的霸主地位，要被掀翻了？ 2017年6月12日横空出世，让NLP直接变天，制霸自然语言领域多年的Transformer，终于要被新的架构打破垄断了。 Transformer虽强大，却有一个致命的bug：核心注意力...
-
Transformer挑战者出现！斯坦福CMU联合团队，开源模型及代码，公司已创办
现在ChatGPT等大模型一大痛点： 处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑战者，引起大量关注： Mamba（曼巴，一种蛇），在语...
-
中文大模型 Chinese-LLaMA-Alpaca-2 开源且可以商用
“ Meta 开源 LLAMA2 后，国内出现了不少以此为基座模型训练的中文模型，这次我们来看看其中一个不错的中文模型：Chinese-LLaMA-Alpaca-2 。” 01 — 目前在开源大模型中，比较有名的是Meta的LLAM...
-
矩阵模拟！Transformer大模型3D可视化，GPT-3、Nano-GPT每一层清晰可见
「矩阵模拟」的世界或许真的存在。模拟人类神经元，不断进化的Transformer模型，一直以来都深不可测。 许多科学家都试着打开这个黑盒，看看究竟是如何工作的。 而现在，大模型的矩阵世界，真的被打开了！ 一位软件工程师Brendan Bycroft制作了...
-
DetZero：Waymo 3D检测榜单第一，媲美人工标注！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 本文提出了一套离线3D物体检测算法框架DetZero，通过在 Waymo 公开数据集上进行全面的研究和评估，DetZero可生成连续且完整的物体轨迹序列，并充分利用长时序点云特征显着提升感知结果的质...
-
手机上0.2秒出图、当前速度之最，谷歌打造超快扩散模型MobileDiffusion
在手机等移动端侧运行 Stable Diffusion 等文生图生成式 AI 大模型已经成为业界追逐的热点之一，其中生成速度是主要的制约因素。 近日，来自谷歌的一篇论文「MobileDiffusion: Subsecond Text-to-Image G...
-
AIGC时代，大模型微调如何发挥最大作用？
人工智能的快速发展推动了大模型的广泛应用，它们在语言、视觉、语音等领域的应用效果已经越来越好。但是，训练一个大模型需要巨大的计算资源和时间，为了减少这种资源的浪费，微调已经成为一种流行的技术。微调是指在预训练模型的基础上，通过在小数据集上的训练来适应新的任...
-
AIGC玩转卡通化技术实践
FaceChain写真开源项目插播： 最新 FaceChain支持多人合照写真、上百种单人写真风格，项目信息汇总：ModelScope 魔搭社区 。 github开源直达（觉得有趣的点个star哈。）：https://gith...
-
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本)、安装、使用方法之详细攻略
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本 、安装、使用方法之详细攻略 导读：2023年9月25日，Colossal-AI团队推出了开源模型Colos...
-
stable diffusion 常用启动参数汇总及说明
stable diffusion安装根目录下，使用记事本打开webui-user.bat，然后修改对应参数。 多个参数使用空格隔开 set COMMANDLINE_ARGS=--参数1 --参数2 常用参数： 参数 说明 –xforme...
-
文本生成图像工作简述4--扩散模型、自回归模型、生成对抗网络的对比调研
基于近年来图像处理和语言理解方面的技术突破，融合图像和文本处理的多模态任务获得了广泛的关注并取得了显著成功。 文本生成图像（text-to-image）是图像和文本处理的多模态任务的一项子任务，其根据给定文本生成符合描述的真实图像，具有巨大的应用潜力，如...
-
为什么多数情况下GPT-3.5比LLaMA 2更便宜？
本文旨在为用户选择合适的开源或闭源语言模型提供指导，以便在不同任务需求下获得更高的性价比。 通过测试比较 LLaMA-2 和 GPT-3.5 的成本和时延，本文作者分别计算了二者的 1000 词元成本，证明在大多数情况下，选择 GPT...
-
Window下部署使用Stable Diffusion AI开源项目绘图
Window下部署使用Stable Diffusion AI开源项目绘图 前言 前提条件 相关介绍 Stable Diffusion AI绘图 下载项目 环境要求 环境下载 运行项目 打开网址，即可体验 文字生成图像（txt2img） 庐山瀑...
-
抖音即创官网入口 热门AI视频剪辑软件推荐
抖音即创是一款由抖音推出的一站式智能创意生产与管理平台，它可以帮助创作者提高视频、图文和直播的创作效率，利用人工智能技术实现多种创新功能。那么抖音即创在哪里可以体验呢?这里就给大家带来抖音即创官网体验入口。 >>>点击前往 抖音即创 官...
-
使用PyTorch加速生成式 AI模型
PyTorch 团队发布了一篇名为《Accelerating Generative AI with PyTorch II: GPT， Fast》的博文，重点介绍如何使用纯原生 PyTorch 加速生成式 AI 模型。 正如最近在PyTorch 开发者大会上...
-
【LLM系列之底座模型对比】LLaMA、Palm、GLM、BLOOM、GPT模型结构对比
LLama [GPT3] 使用RMSNorm（即Root Mean square Layer Normalization）对输入数据进行标准化，RMSNorm可以参考论文：Root mean square layer normalization。 [...
-
用上这个工具包，大模型推理性能加速达40倍
英特尔® Extension for Transformer是什么？ 英特尔® Extension for Transformers[1]是英特尔推出的一个创新工具包，可基于英特尔® 架构平台，尤其是第四代英特尔® 至强® 可扩展处理器（代号Sapp...
-
聊一聊大模型 | 京东云技术团队
事情还得从ChatGPT说起。 2022年12月OpenAI发布了自然语言生成模型ChatGPT，一个可以基于用户输入文本自动生成回答的人工智能体。它有着赶超人类的自然对话程度以及逆天的学识。一时间引爆了整个人工智能界，各大巨头也纷纷跟进发布了自家的大模...
-
使用 RLHF 训练 LLaMA 的实践指南：StackLLaMA
由于LLaMA没有使用RLHF，后来有一个初创公司 Nebuly AI使用LangChain agent生成的数据集对LLaMA模型使用了RLHF进行学习，得到了ChatLLaMA模型，详情请参考：Meta开源的LLaMA性能真如论文所述吗？如果增加RLH...
-
【LLM系列之LLaMA2】LLaMA 2技术细节详细介绍！
Llama 2 发布！ Meta 刚刚发布了 LLaMa 2，它是 LLaMA 的下一代版本，具有商业友好的许可证。?? LLaMA 2 有 3 种不同的尺寸：7B、13B 和 70B。 7B & 13B 使用与 LLaMA 1 相同的架构，并且是...
-
paperclub今日分享：一键体验Stable Diffusion 和清晰度修复
收藏推荐：SD和清晰度修复，有趣好玩 今天分享一下SD和清晰度修复，并在文末附带源代码。 1. Stable Diffusion Stable Diffusion简称SD，是一个文本到图像的潜在扩散模型，说到SD就得提下Diffusion，简单来讲主...
-
Arm最新Cortex-M52芯片助力小型物联网设备实现AI分析功能
人工智能（AI）的普及已经无处不在，但真正需要它的地方是在物联网(IoT 设备生成大量数据的边缘。Arm公司最新推出的Cortex-M52芯片旨在实现在边缘进行小型IoT设备上的AI分析，为开发者提供更多硬件能力和简化的软件开发平台。 Arm的高级副总裁兼...
-
Meta提出全新注意力机制S2A 大模型准确率提升至80.3%
在2023科技领域，大语言模型（LLM）的应用日益广泛，但其在回答问题时存在的问题引起了关注。Meta团队提出的新注意力机制S2A通过解决LLM容易受到上下文虚假相关性的问题，显著提升了模型的准确性和客观性。这一机制的提出得到了深度学习领域的重要人物LeC...
-
一个提示，让Llama 2准确率飙至80.3%？Meta提出全新注意力机制S2A，大幅降低模型幻觉
2023的科技界，可以说是被大模型抢尽了风头（虚假的室温超导除外）。 我们经历了和LLM对话，见证了它们逐渐进入各个领域，甚至开始感受到威胁。 这一切，仅仅发生在一年之内。 当然了，基于大语言模型的原理，它诞生之时就有的一些毛病到现在也没有完全改正。 比...
-
规模小、效率高：DeepMind推出多模态解决方案Mirasol 3B
多模态学习面临的主要挑战之一是需要融合文本、音频、视频等异构的模态，多模态模型需要组合不同来源的信号。然而，这些模态具有不同的特征，很难通过单一模型来组合。例如，视频和文本具有不同的采样率。 最近，来自 Google DeepMind 的研究团队将多模态...
-
单个A100生成3D图像只需30秒，这是Adobe让文本、图像都动起来的新方法
2D 扩散模型极大地简化了图像内容的创作流程，2D 设计行业也因此发生了变革。近来，扩散模型已扩展到 3D 创作领域，减少了应用程序（如 VR、AR、机器人技术和游戏等）中的人工成本。有许多研究已经对使用预训练的 2D 扩散模型，生成具有评分蒸馏采样（S...
-
网络规模、训练学习速度提升，清华团队在大规模光电智能计算方向取得进展
随着大模型等人工智能技术的突破与发展，算法复杂度剧增，对传统计算芯片带来了算力和功耗的双重挑战。近年来，以光计算为基础、通过光电融合的方式构建光电神经网络的计算处理方法已经成为国际热点研究问题，有望实现计算性能的颠覆性提升。 然而，光电神经网络的前向数学...
-
更像人脑的新型注意力机制，Meta让大模型自动屏蔽任务无关信息，准确率提高27%
关于大模型注意力机制，Meta又有了一项新研究。 通过调整模型注意力，屏蔽无关信息的干扰，新的机制让大模型准确率进一步提升。 而且这种机制不需要微调或训练，只靠Prompt就能让大模型的准确率上升27%。 作者把这种注意力机制命名为“System 2...
-
【类ChatGPT】中文LLaMA-2、Alpaca-2 二代羊驼大模型体验
前言 Meta发布的一代LLaMA已经掀起了一股开源大模型热潮，也有很多相关工作不断涌现。最近Meta全新发布了Llama-2，效果更上一层楼。而且最重要的是模型可以相对随意分发了，不像一代一样，meta不让开发者发布基于llama模型训...
-
Stable Diffusion：使用自己的数据集微调训练LoRA模型
Stable Diffusion：使用自己的数据集微调训练LoRA模型 前言 前提条件 相关介绍 微调训练LoRA模型 下载kohya_ss项目 安装kohya_ss项目 运行kohya_ss项目 准备数据集 生成关键词 模型参数设置 预训...
-
Meta AI研究团队新AI模型： Llama 2 大语言模型
Llama是Facebook Research团队开发的基础语言模型集，旨在提供广泛的语言理解能力。它基于转换器架构，参数范围从7B到65B。通过使用Llama模型，研究人员和开发人员可以构建更先进的自然语言处理系统。您可以在GitHub上找到相关的代...
-
AI视野：ElevenLabs发布“语音转语音”；realme GT5Pro 12月7日发布；Claude2.1被指严重虚标；清华大学提出全新加速训练大模型方法SoT
???AI应用 ElevenLabs发布“语音转语音” ElevenLabs的语音生成式AI平台发布了“语音转语音”功能，用户可上传语音并自动转换为不同音色，实现声音的自由切换，为用户带来全新的语音生成体验。 免费体验地址:https://elevenl...
-
2023年的深度学习入门指南(20) - LLaMA 2模型解析
2023年的深度学习入门指南(20 - LLaMA 2模型解析 上一节我们把LLaMA 2的生成过程以及封装的过程的代码简单介绍了下。还差LLaMA 2的模型部分没有介绍。这一节我们就来介绍下LLaMA 2的模型部分。 这一部分需要一些深度神经网络的...
-
LLMs之LLaMA-2：源码解读之所有py文件(包括example_text_completion.py/example_chat_completion.py+model.py/generation
LLMs之LLaMA-2：源码解读之所有py文件(包括example_text_completion.py/example_chat_completion.py+model.py/generation.py/tokenizer.py 目录 一、l...
-
AI 绘画Stable Diffusion 研究（十七）SD lora 详解（上）
大家好，我是风雨无阻。本期内容： Lora的原理是什么？ Lora如何下载安装？ Lora如何使用？ 大家还记得 AI 绘画Stable Diffusion 研究（三）sd模型种类介绍及安装使用详解 这篇文章中，曾简单介绍了Lora的安装和使用吗 ？...
-
吴恩达AIGC《How Diffusion Models Work》笔记
1. Introduction Midjourney，Stable Diffusion，DALL-E等产品能够仅通过Prompt就能够生成图像。本课程将介绍这些应用背后算法的原理。 课程地址：https://learn.deeplearning...
-
利用 Amazon CodeWhisperer 激发孩子的编程兴趣
我是一个程序员，也是一个父亲。工作之余我会经常和儿子聊他们小学信息技术课学习的 Scratch 和 Kitten 这两款图形化的少儿编程工具。 我儿子有一次指着书房里显示器上显示的 Visual Studio Code 问我，“为什么我们...
-
新的生图模型DeepFloyd IF来了，可以拳打Stable Diffusion，脚踢Dall-E？
简介： Stability AI与它的多模式AI研究实验室DeepFloyd共同宣布研究版本DeepFloyd IF的发布,这是一款强大的文text-to-image级联像素扩散模型（cascaded pixel diffusion model），复现了...
-
ChatGPT 使用到的机器学习技术
作者 | Bright Liao 在《程序员眼中的 ChatGPT》一文中，我们聊到了开发人员对于ChatGPT的认知。本文来聊一聊ChatGPT用到的机器学习技术。 机器学习技术的发展 要聊ChatGPT用到的机器学习技术，我们不得不回顾一下机器学...
-
PyTorch团队重写「分割一切」模型，比原始实现快八倍
从年初到现在，生成式 AI 发展迅猛。但很多时候，我们又不得不面临一个难题：如何加快生成式 AI 的训练、推理等，尤其是在使用 PyTorch 的情况下。 本文 PyTorch 团队的研究者为我们提供了一个解决方案。文章重点介绍了如何使用纯原生 PyTo...
-
逐行对比LLaMA2和LLaMA模型源代码
几个小时前（2023年7月18日），Meta发布了允许商用的开源模型LLaMA2。笔者逐行对比了LLaMA2模型源代码，和LLaMA相比，几乎没有改动，细节如下： 是否改动 LLaMA2 LLaMA 模型整体构架 无 Transformer T...
-
【必看】AI绘画/stable diffusion：超简单高效的画画技巧 附咒语/提示词
用AI画一幅符合自己预期的好画，模型、提示词和方法都很重要。本文是我通过数十个小时不断探索总结出来的AI绘画经验，相信你看后一定有所收获！ 先看看我用AI画出来的小姐姐(●'◡'● （其实是随便画的）（好像把自己的xp暴露在外了）（本人确实没...