-
Python+AI实现AI绘画
? 运行环境：Python ? 撰写作者：左手の明天 ? 精选专栏：《python》 ? 推荐专栏：《算法研究》 ?#### 防伪水印——左手の明天 ####? ? 大家好???，我是左手の明天！好久不见? ?今天分享py...
-
挑战Transformer的Mamba是什么来头？作者博士论文理清SSM进化路径
在大模型领域，Transformer 凭一己之力撑起了整个江山。但随着模型规模的扩展和需要处理的序列不断变长，Transformer 的局限性也逐渐凸显，比如其自注意力机制的计算量会随着上下文长度的增加呈平方级增长。为了克服这些缺陷，研究者们开发出了很多...
-
LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention
Paper name LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention Paper Reading Note Paper URL: htt...
-
Point Transformer V3：更简单、更快、更强!
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：Point Transformer V3: Simpler, Faster, Stronger 论文链接：https://arxiv.org/pdf/2312.10035.pdf 代码链接：h...
-
14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍
就今天的人工智能发展水平来说，文生图、图生视频、图像/视频风格迁移都已经不算什么难事。 生成式 AI 天赋异禀，能够毫不费力地创建或修改内容。尤其是图像编辑，在以十亿规模数据集为基础预训练的文本到图像扩散模型的推动下，经历了重大发展。这股浪潮催生了大量图...
-
最强英文开源模型LLaMA架构探秘，从原理到源码
导读：LLaMA 65B是由Meta AI（原Facebook AI）发布并宣布开源的真正意义上的千亿级别大语言模型，发布之初（2023年2月24日）曾引起不小的轰动。LLaMA的横空出世，更像是模型大战中一个搅局者。虽然它的效果（performance）...
-
LLaMA系列模型
1.LLama 1.1 简介 Open and Efficient Foundation Language Models (Open但没完全Open的LLaMA 2023年2月，Meta（原Facebook）推出了LLaMA大模型，使用了1.4...
-
Anthropic发布新方法 通过提示降低生成式AI偏见
人工智能公司Anthropic最近发布了一项方法，旨在通过提示工程减少公司使用的大型语言模型（LLMs）输出中的歧视。该公司在一份文件中详细介绍了一种评估方法，指导公司如何通过优化提示降低模型输出的歧视性。该文件为开发人员和决策者提供了了解LLMs生成答案...
-
李彦宏鼓励开发AI原生产品,布局文心一言的生态
半年前，我老师用CHATGPT来武装他的产品，后来发现速度太慢，当时文心一言正好也可以使用了就混合使用了CHATGPT和文心一言的AI功能，这就是开发AI原生产品，使用第三方平台的大语言模型来增强自己产品的体验感。 12月16日，北京举办了极客公园创新大...
-
Llama 架构分析
从代码角度进行Llama 架构分析 Llama 架构分析 前言 Llama 架构分析 分词 网络主干 DecoderLayer Attention MLP 下游任务 因果推理 文本分类 Llama 架构分析...
-
「Animate Anyone」官网体验入口 AI动画角色软件app免费下载地址
Animate Anyone是一款利用扩散模型从静态图像生成角色视频的工具。该软件通过驱动信号将静态图像转换为动画，为角色动画提供了一个专门的新框架。那么，想要体验Animate Anyone吗？下面就给大家带来Animate Anyone官网体验入口和免...
-
使用 PyTorch FSDP 微调 Llama 2 70B
引言 通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accelerate 和 TRL 库。我们还将展示如何在 SL...
-
stable diffusion webui 参数详解
-h, --help：显示帮助信息并退出。 --exit：安装后立即终止。 --data-dir：指定存储所有用户数据的基本路径，默认为"./"。 --config：用于构建模型的配置文件路径，默认为 "configs/stable-diffusion/v...
-
【EMNLP 2023】面向垂直领域的知识预训练语言模型
近日，阿里云人工智能平台PAI与华东师范大学数据科学与工程学院合作在自然语言处理顶级会议EMNLP2023上发表基于双曲空间和对比学习的垂直领域预训练语言模型。通过比较垂直领域和开放领域知识图谱数据结构的不同特性，发现在垂直领域的图谱结构具有全局稀疏，局部...
-
Stable Diffusion - Stable Diffusion WebUI 支持 SDXL 1.0 模型的环境配置
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/132056980 SDXL 1.0 版本 是 Stable Dif...
-
MosaicML 推出 30B 模型 — 挑战 LLaMA、Falcon 和 GPT
MosaicML正在推出其第二个开源大型语言模型（LLM），称为MPT-30B，这是继五月份首次推出的较小的MPT-7B模型之后。 为了讨论新模型及其对开发人员的意义，我采访了MosaicML联合创始人兼首席执行官Naveen Rao。他之前的创业公司是...
-
大语言模型之四-LlaMA-2从模型到应用
最近开源大语言模型LlaMA-2火出圈，从huggingface的Open LLM Leaderboard开源大语言模型排行榜可以看到LlaMA-2还是非常有潜力的开源商用大语言模型之一，相比InstructGPT，LlaMA-2在数据质量、培训技术、能力...
-
基于 NNCF 和 Optimum 面向 Intel CPU 对 Stable Diffusion 优化
基于隐空间的扩散模型 (Latent Diffusion Model ，是解决文本到图片生成问题上的颠覆者。Stable Diffusion 是最著名的一例，广泛应用在商业和工业。Stable Diffusion 的想法简单且有效: 从噪声向量开始，多次去...
-
保姆级讲解 Stable Diffusion
文章目录 整体代码 unet解析 self.input_blocks middle_blocks self.output_blocks 保姆级讲解 Stable Diffusion： https://mp.weixin.qq.c...
-
word2vec作者曝与Ilya等十年积怨：seq2seq也是我的想法
里程碑式论文word2vec获得NeurIPS时间检验奖，可谓实至名归。 但一作Tomas Mikolov在Facebook上发表的长篇获奖感言，却充满了失望和不满。 图片 论文最初被ICLR拒稿都算小事了，他还暗讽了OpenAI首席科学家Ilya Su...
-
【LLM】大语言模型学习之LLAMA 2：Open Foundation and Fine-Tuned Chat Model
大语言模型学习之LLAMA 2：Open Foundation and Fine-Tuned Chat Model 快速了解 预训练 预训练模型评估 微调 有监督微调（SFT） 人...
-
GPT-4V都搞不明白的未来推理有解法了！来自华科大&上科大
多模态大语言模型展现了强大的图像理解和推理能力。 但要让它们基于当前观测来对未来事件进行预测推理仍然非常困难。 即便是当前最强大的GPT-4V（如下图所示），也无法很好地解决这一问题。 △ GPT-4V的错误案例 现在，华科大和上科大团队提出了一个赋予...
-
基于 NNCF 和 Optimum 面向 Intel CPU 对 Stable Diffusion 优化
? 宝子们可以戳 阅读原文 查看文中所有的外部链接哟！ 基于隐空间的扩散模型 (Latent Diffusion Model ，是解决文本到图片生成问题上的颠覆者。Stable Diffusion 是最著名的一例，广泛应用在商业和工...
-
Stable Diffusion Webui源码剖析
1、关键python依赖 （1）xformers：优化加速方案。它可以对模型进行适当的优化来加速图片生成并降低显存占用。缺点是输出图像不稳定，有可能比不开Xformers略差。 （2）GFPGAN：它是腾讯开源的人脸修复算法，利用预先训练号的面部GAN...
-
论文遭首届ICLR拒稿、代码被过度优化，word2vec作者Tomas Mikolov分享背后的故事
几天前，NeurIPS 2023 公布了获奖论文，其中时间检验奖颁给了十年前的 NeurIPS 论文「Distributed Representations of Words and Phrases and their Compositionality」...
-
走在GPT 4.5前面？3D、视频直接扔进对话框，大模型掌握跨模态推理
给你一首曲子的音频和一件乐器的 3D 模型，然后问你这件乐器能否演奏出这首曲子。你可以通过听觉来辨认这首曲子的音色，看它是钢琴曲还是小提琴曲又或是来自吉他；同时用视觉识别那是件什么乐器。然后你就能得到问题的答案。但语言模型有能力办到这一点吗？ 实际上，...
-
可以媲美MidJourney，但是开源和免费的超强AI绘画-fooocus
现在的AI技术很火，这一新兴领域的发展给艺术创作带来了全新的可能性，AI绘画的应用也十分的广泛。我自己见到的就有运用在模特穿衣服身上的，化妆品广告图生成的等等，比如MidJourney 和stable diffusion 等 AI绘画程序已经很成熟了，前者...
-
QTNet：最新时序融合新方案！点云、图像、多模态检测器全适用（NeurIPS 2023）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面 & 个人理解 时序融合能够有效提升自动驾驶3D目标检测的感知能力，然而目前的时序融合方法由于成本开销等问题难以在实际自动驾驶场景中应用。NeurIPS 2023的最新研究文章 《Qu...
-
What the DAAM: Interpreting Stable Diffusion Using Cross Attention
What the DAAM: Interpreting Stable Diffusion Using Cross Attention (Paper reading Raphael Tang, Comcast Applied AI, ACL2023 b...
-
随意指定CLIP关注区域！上交复旦等发布Alpha-CLIP：同时保持全图+局部检测能力
CLIP是目前最流行的视觉基座模型，其应用场景包括但不限于： 与LLM大语言模型结合成为视觉多模态大模型； 作为图像生成(Stable Diffusion 、点云生成(Point-E 的condition model，实现image-to-3D； 用于...
-
Together AI发布AI模型StripedHyena-7B 性能超越Llama-27B
Together AI最新发布了StripedHyena-7B，这一人工智能模型领域的创新力量引起了广泛关注。该模型的基础版本为StripedHyena-Hessian-7B（SH7B），同时还推出了聊天模型StripedHyena-Nous-7B(SH-...
-
首次超过70% mAP！GeMap：局部高精地图SOTA再次刷新
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 实时根据传感器数据构建向量化高精地图对于预测和规划等下游任务至关重要，可以有效弥补离线高精地图实时性差的缺点。随着深度学习的发展，在线向量化高精地图构建逐渐兴起，代表性...
-
W.A.L.T官网体验入口 AI视频图像生成软件app免费下载地址
《W.A.L.T》是一个基于transformer的实景视频生成方法，它通过联合压缩图像和视频到一个统一的潜在空间，实现跨模态的训练和生成。使用了窗注意力机制来提高内存和训练效率，该方法在多个视频和图像生成基准测试上取得了最先进的性能。《W.A.L.T》在...
-
2024年AI趋势看这张图，LeCun：开源大模型要超越闭源
2023 年即将过去。一年以来，各式各样的大模型争相发布。当 OpenAI 和谷歌等科技巨头正在角逐时，另一方「势力」悄然崛起 —— 开源。 开源模型受到的质疑一向不少。它们是否能像专有模型一样优秀？是否能够媲美专有模型的性能？迄今为止，我们一直还只能说...
-
技术报告：Efficient and Effective Text Encoding for Chinese LLaMA AND Alpaca
技术报告：Efficient and Effective Text Encoding for Chinese LLaMA AND Alpaca Introduction Chinese LLaMA Chinese Alpaca Lora-Fin...
-
到2032年，教育领域的人工智能将达到882亿美元
教育革命爆发，人工智能预计到2032年将达到882亿美元。 人工智能(AI 已成为各个行业的推动力，其对教育的影响将是革命性的。根据最近的一份报告，到2032年，全球人工智能教育市场预计将飙升至惊人的882亿美元。这种指数级增长凸显了人工智能对教育领域...
-
Meta AI开源T2V模型AVID 可修复视频改变纹理
Meta AI最近开源了AVID，这是一项具有先进修复和扩展能力的 T2V 模型。AVID 不仅支持通过文本编辑视频，还可以修复视频、更改视频对象、改变纹理和颜色，甚至删除视频内容或更换视频环境。 项目地址:https://zhang-zx.github...
-
使用Midjourney与ChatGPT组合会怎么样？
Midjourney 和 ChatGPT 都是目前比较先进的自然语言处理技术，Midjourney是一种基于深度学习的文本生成模型，而ChatGPT是一种基于自注意力机制的大规模预训练语言模型。 使用Midjourney+ChatGPT可以结合两种技术的...
-
【原创】AIGC之ChatGPT工作原理
AIGC是什么 AIGC - AI Generated Content （AI生成内容），对应我们的过去的主要是 UGC（User Generated Content）和 PGC（Professional user Generated Content...
-
LLaMA Adapter和LLaMA Adapter V2
LLaMA Adapter论文地址： https://arxiv.org/pdf/2303.16199.pdf LLaMA Adapter V2论文地址： https://arxiv.org/pdf/2304.15010.pdf LLaMA Ada...
-
弥合化学反应预训练和条件分子生成之间的差距，北大&望石智慧提出「统一」模型
化学反应是药物设计和有机化学研究的基础。研究界越来越需要一种能够有效捕获化学反应基本规则的大规模深度学习框架。 近日，来自北京大学和望石智慧的研究团队提出了一种新方法来弥合基于反应的分子预训练和生成任务之间的差距。 受有机化学机制的启发，研究人员开发了一...
-
大语言模型之十六-基于LongLoRA的长文本上下文微调Llama-2
增加LLM上下文长度可以提升大语言模型在一些任务上的表现，这包括多轮长对话、长文本摘要、视觉-语言Transformer模型的高分辨4k模型的理解力以及代码生成、图像以及音频生成等。 对长上下文场景，在解码阶段，缓存先前token的Key和Value（K...
-
更强的Llama 2开源，可直接商用：一夜之间，大模型格局变了
已上微软 Azure，即将要上 AWS、Hugging Face。 一夜之间，大模型格局再次发生巨变。 一直以来 Llama 可以说是 AI 社区内最强大的开源大模型。但因为开源协议问题，一直不可免费商用。 今日，Meta 终于发布了大家期待...
-
GPT3.5 VS GPT-4写领导讲话稿，谁是最强笔杆子？
正文共 1240 字，阅读大约需要 5 分钟 文秘/公务员必备技巧，您将在5分钟后获得以下超能力： 快速生成领导讲话稿 Beezy评级 ：B级 *经过简单的寻找， 大部分人能立刻掌握。主要节省时间。 推荐人 | Kim 编...
-
谷歌承认 Gemini AI 模型演示视频不是真实的：使用静态图像帧，并撰写文本提示供 Gemini 回应
Google 刚刚宣布了其迄今为止最强大的 AI 模型套件 Gemini，但该公司已被指控在其宣传视频中对其性能进行了误导性表述。 根据彭博社专栏作家帕尔米·奥尔森（Parmy Olson）的观点文章，Google 在一段视频中误导了公众对 Gemini...
-
语言模型：GPT与HuggingFace的应用
本文分享自华为云社区《大语言模型底层原理你都知道吗？大语言模型底层架构之二GPT实现》，作者：码上开花_Lancer 。 受到计算机视觉领域采用ImageNet对模型进行一次预训练，使得模型可以通过海量图像充分学习如何提取特征，然后再根据任务目标进行模型...
-
后期狂喜！一张照片丝滑替换视频主角，动作幅度再大也OK｜Meta&新加坡国立大学
后期狂喜了家人们～ 现在，只需一张图片就能替换视频主角，效果还是如此的丝滑！ 且看这个叫做“VideoSwap”的新视频编辑模型—— 小猫一键变小狗，基操～ 如果原物体本身扭动幅度大一些？也完全没问题： 细看俩者之间的运动轨迹，给你保持得是一毛一样：...
-
使用 LoRA 进行 Stable Diffusion 的高效参数微调
LoRA: Low-Rank Adaptation of Large Language Models 是微软研究员引入的一项新技术，主要用于处理大模型微调的问题。目前超过数十亿以上参数的具有强能力的大模型 (例如 GPT-3 通常在为了适应其下游任...
-
田渊栋团队最新论文解决大模型部署难题 推理系统吞吐量提高近30倍！
田渊栋团队最新发表的论文解决了大型语言模型在实际部署中遇到的内存和输入长度限制的问题，将推理系统的吞吐量提高了近30倍。论文提出了一种实现KV缓存的新方法，通过识别和保留重要的tokens，显著减少了内存占用，并在长输入序列的任务中表现良好。 这篇论文的研...
-
数字人直播热度未减，真人模仿AI也火了！
近年来，AI技术高速发展，以数字人直播为代表的AIGC相关话题热度一直高居不下。 而另一边，真人模仿AI的视频和直播近期也在短视频平台上刷屏，悄悄走红。 达人@Barbin.ili芭比是一位舞蹈博主，11月25日，她发布了一条在西湖边模仿芭比娃娃跳舞的视频...