-
颠覆Transformer霸权！CMU普林斯顿推Mamba新架构，解决致命bug推理速度暴增5倍
深度学习进入新纪元，Transformer的霸主地位，要被掀翻了？ 2017年6月12日横空出世，让NLP直接变天，制霸自然语言领域多年的Transformer，终于要被新的架构打破垄断了。 Transformer虽强大，却有一个致命的bug：核心注意力...
-
Transformer挑战者出现！斯坦福CMU联合团队，开源模型及代码，公司已创办
现在ChatGPT等大模型一大痛点： 处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑战者，引起大量关注： Mamba（曼巴，一种蛇），在语...
-
中文大模型 Chinese-LLaMA-Alpaca-2 开源且可以商用
“ Meta 开源 LLAMA2 后，国内出现了不少以此为基座模型训练的中文模型，这次我们来看看其中一个不错的中文模型：Chinese-LLaMA-Alpaca-2 。” 01 — 目前在开源大模型中，比较有名的是Meta的LLAM...
-
AI抠图使用指南：Stable Diffusion WebUI Rembg实用技巧
抠图是图像处理工具的一项必备能力，可以用在重绘、重组、更换背景等场景。最近我一直在探索 Stable Diffusion WebUI 的各项能力，那么 SD WebUI 的抠图能力表现如何呢？这篇文章就给大家分享一下。 安装插件 作为一个生成式AI，S...
-
【极客技术】真假GPT-4？微调 Llama 2 以替代 GPT-3.5/4 已然可行！
近日小编在使用最新版GPT-4-Turbo模型（主要特点是支持128k输入和知识库截止日期是2023年4月）时，发现不同商家提供的模型回复出现不一致的情况，尤其是模型均承认自己知识库达到2023年4月，但当我们细问时，Fake GPT4-Turbo（暂且这...
-
微调语言大模型选LoRA还是全参数？基于LLaMA 2深度分析
本文对比了全参数微调和LoRA，并分析了这两种技术各自的优势和劣势。作者使用了三个真实用例来训练LLaMA 2模型，这提供了比较特定任务的性能、硬件要求和训练成本的基准。本文证明了使用LoRA需要在serving效率和模型质量之间做出权衡，而这...
-
Leo赠书活动-10期 【AIGC重塑教育 AI大模型驱动的教育变革与实践】文末送书
✅作者简介：大家好，我是Leo，热爱Java后端开发者，一个想要与大家共同进步的男人?? ?个人主页：Leo的博客 ?当前专栏： 赠书活动专栏 ✨特色专栏： MySQL学习 ?本文内容：Leo赠书活动-10期 【AIGC重塑教育 AI大模型驱动的教育变革与...
-
开源语言大模型演进史：向LLaMA 2看齐
本文是开源 LLM 发展史系列文章的第三部分。此前，第一部分《开源语言大模型演进史：早期革新》回顾了创建开源 LLM 的最初尝试。第二部分《开源语言大模型演进史：高质量基础模型竞赛》研究了目前可用的最受欢迎的开源基础模型（即已进行预训练但尚未微...
-
StableDiffusion模型发展历史
参考资料： 相应的github和huggingface LDM [github] StableDiffusion v1.1 ~ v1.4 [github] [huggingface] StableDiffusion...
-
R-CNN作者Ross Girshick离职，何恺明、谢赛宁回归学界，Meta CV走出了多少大神
FAIR 又一位大佬级研究科学家「出走了」，这次是 R-CNN 作者 Ross Girshick。 近日，Meta 首席科学家 Yann LeCun 发推宣布，Ross Girshick 将离开 FAIR，加入艾伦人工智能研究所（AI2）。此前离职的还...
-
不是大模型全局微调不起，只是LoRA更有性价比，教程已经准备好了
增加数据量和模型的参数量是公认的提升神经网络性能最直接的方法。目前主流的大模型的参数量已扩展至千亿级别，「大模型」越来越大的趋势还将愈演愈烈。 这种趋势带来了多方面的算力挑战。想要微调参数量达千亿级别的大语言模型，不仅训练时间长，还需占用大量高性能的内存资...
-
【慕伏白教程】Linux系统本地部署stable-diffusion-webui
本教程针对 Stable Diffusion 2.0 进行本地部署，系统环境为 Linux 注意： 本教程不包含 anaconda/miniconda、python、git、cuda 的安装 提示： 由于国内网络原因，github...
-
生成式人工智能（AIGC）综述：ChatGPT从GPT-4到GPT-5可以一统AIGC？
原文题目： 《A Complete Survey on Generative AI (AIGC : Is ChatGPT from GPT-4 to GPT-5 All You Need?》 文章链接： https://arxiv.org/abs/2...
-
字节跳动与中科大联手提出多模态文档大模型DocPedia
字节跳动与中国科学技术大学合作研发的多模态文档大模型DocPedia已成功突破了分辨率的极限，达到了2560×2560的高分辨率。这一成果是通过研究团队采用了一种新的方法，解决了现有模型在解析高分辨文档图像方面的不足。 在此研究中，提出了DocPedia，...
-
Stable Diffusion XL webui Linux服务器部署（保姆级教程）
文章目录 Stable Diffusion XL webui Linux服务器部署 机器配置情况 开始部署 安装webui前准备 手动克隆依赖git仓库 下载SDXL-refiner-1.0预训练模型 换pip源 安装 设置publi...
-
矩阵模拟！Transformer大模型3D可视化，GPT-3、Nano-GPT每一层清晰可见
「矩阵模拟」的世界或许真的存在。模拟人类神经元，不断进化的Transformer模型，一直以来都深不可测。 许多科学家都试着打开这个黑盒，看看究竟是如何工作的。 而现在，大模型的矩阵世界，真的被打开了！ 一位软件工程师Brendan Bycroft制作了...
-
突破分辨率极限，字节联合中科大提出多模态文档大模型
现在连文档都有大模型了，还是高分辨率、多模态的那种! 不仅能准确识别出图像里的信息，还能结合用户需求调用自己的知识库来回答问题。 比如，看到图中马里奥的界面，直接就回答出了这是任天堂公司的作品。 这款模型由字节跳动和中国科学技术大学合作研究，于2023年...
-
国产开源大模型，起风了
科技的浪潮几十年一个轮回，不同的剧本却总是响起相似的鼓点。 如果说，一年前ChatGPT的惊艳现身，是属于大模型时代的「iPhone时刻」;那么，7月间Meta将Llama2开源，则被认为是拉开了大模型时代的IOS与安卓之争。 但区别于移动互联网时代，大模...
-
OpenAI宣布定制化GPT商店推出时间推迟至2024年初
OpenAI近期宣布，将发布定制化GPT Store（GPT商店）的时间推迟至2024年年初。 据路透社援引内部备忘录的消息，OpenAI决定延迟原定于11月份首次开发者大会上介绍的定制化GPT商店推出时间。公司目前正致力于根据用户反馈不断改进GPT，这一...
-
使用您自己的计算机训练 Stable Diffusion 和 Bloom (175B) 等模型
在我们最近的几篇文章中，我们一直在提到围绕大型语言和生成 AI 模型的炒作，以及如何减少推理和训练时间。随着我们的用户开始使用这些模型并对其进行微调，他们自然希望微调和部署包含数千亿参数的模型，以提高其特定用例的性能。 通常，这是一项要求非常高的任务，需...
-
包含文心一言在内的首批国产大模型 全面开放
8月31起，国内 11 家通过《生成式人工智能服务管理暂行办法》备案的 AI 大模型产品将陆续上线，面向全社会开放。北京 5 家大模型产品分别是百度的 “文心一言”、抖音的 “云雀”、百川智能的 “百川大模型”、清华系 AI 公司智谱华章旗下的 “智谱清言...
-
AIGC（生成式AI）试用 0 -- 如何测试此类应用
0. 起因 RPA主导的机器人流程自动化风头正劲 AI由来已久 生成式AI正在改变着工作和生活的方式 生成式AI工具不断更新换代 思考的问题，生成式AI： - 能实现什么？ - 不同工具间的区别？ - 如何测试此类工具？ 似乎想的有点多、有点大。何是...
-
能耗比达到GPT-4 10倍！黄学东亲自解密Zoom AI的成功之道，AI伴侣直接替你开会
近日，AI大佬，现任Zoom CTO的黄学东，在自家的官网上发表了一篇博客。 其中隆重介绍了自己加入Zoom六个月之后创新的成果——Zoom AI Companion，以及驱动Zoom AI Companion的Zoom联邦（federated app...
-
本地部署中文LLaMA模型实战教程，民间羊驼模型
羊驼实战系列索引 博文1：本地部署中文LLaMA模型实战教程，民间羊驼模型（本博客）博文2：本地训练中文LLaMA模型实战教程，民间羊驼模型博文3：精调训练中文LLaMA模型实战教程，民间羊驼模型 简介 LLaMA大部分是英文语料训练的，讲中文能...
-
手机上0.2秒出图、当前速度之最，谷歌打造超快扩散模型MobileDiffusion
在手机等移动端侧运行 Stable Diffusion 等文生图生成式 AI 大模型已经成为业界追逐的热点之一，其中生成速度是主要的制约因素。 近日，来自谷歌的一篇论文「MobileDiffusion: Subsecond Text-to-Image G...
-
Meta教你5步学会用Llama2：我见过最简单的大模型教学
在这篇博客中，Meta 探讨了使用 Llama 2 的五个步骤，以便使用者在自己的项目中充分利用 Llama 2 的优势。同时详细介绍 Llama 2 的关键概念、设置方法、可用资源，并提供一步步设置和运行 Llama 2 的流程。 Meta 开源的 L...
-
Stable Diffusion：使用Lora用二十张图片训了一个简易版薇尔莉特头像生成器（不作商用，纯纯个人兴趣，狗头保命）
目录 一、系统环境 二、数据准备及预处理 三、使用Stable Diffusion获取图像信息 四、安装训练图形化界面 五、参数设置及训练过程 六、 效果测试 七、常见报错处理 一、系统环境 同上一篇博客，云平台：CPU 1核，G...
-
一言不合就跑分，国内AI大模型为何沉迷于“刷榜”
“不服跑个分”这句话，相信关注手机圈的朋友一定不会感到陌生。诸如安兔兔、GeekBench等理论性能测试软件，由于能够在一定程度上反映手机的性能，因此备受玩家的关注。同理在PC处理器、显卡上，同样也有相应的跑分软件来衡量它们的性能。 既然“万物皆可跑分”，...
-
如何更好的使用Copilot
Copilot从诞生到现在过去了挺长时间了，大家对Copilot的评价算是褒贬不一吧。有些人觉得Copilot高效且神奇，可以对自己的工作大大提效；有些觉得也就那样，为什么要花那么多钱做这个事情，钱它不香吗？ 从最开始未收费的时候，我就有使用Copilo...
-
AIGC时代，大模型微调如何发挥最大作用？
人工智能的快速发展推动了大模型的广泛应用，它们在语言、视觉、语音等领域的应用效果已经越来越好。但是，训练一个大模型需要巨大的计算资源和时间，为了减少这种资源的浪费，微调已经成为一种流行的技术。微调是指在预训练模型的基础上，通过在小数据集上的训练来适应新的任...
-
AIGC玩转卡通化技术实践
FaceChain写真开源项目插播： 最新 FaceChain支持多人合照写真、上百种单人写真风格，项目信息汇总：ModelScope 魔搭社区 。 github开源直达（觉得有趣的点个star哈。）：https://gith...
-
Linux 中的机器学习：Whisper——自动语音识别系统
Whisper 是一种自动语音识别 (ASR 系统，使用从网络收集的 680000 小时多语言和多任务数据进行训练，Whisper 由深度学习和神经网络提供支持，是一种基于 PyTorch 构建的自然语言处理系统，这是免费的开源软件。 安装Whisp...
-
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本)、安装、使用方法之详细攻略
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本 、安装、使用方法之详细攻略 导读：2023年9月25日，Colossal-AI团队推出了开源模型Colos...
-
【赠书第10期】从概念到现实：ChatGPT和Midjourney的设计之旅
文章目录 前言 1 ChatGPT的崛起 2 Midjourney的探索 3 技术创新的交汇 4 对未来的影响 5 结论 6 推荐图书 7 粉丝福利 前言 在过去的几年里，自然语言处理和聊天模型的领域取得了飞速的发展。ChatGPT...
-
LLaMA: Open and Efficient Foundation Language Models
背景 用最少的计算资源，解决了LLM大模型预测问题，训练了一些列的LLaMa模型，在参数量比较少的情况下，达到业界大模型效果。 主要贡献就是提升了LLM模型的训练速度和效率，在小容量的基础上，大大提升了模型的效果。 同时由于模型结构更小更简单，大大提升...
-
Stable Diffusion stable-diffusion-webui ControlNet Lora
Stable Diffusion Stable Diffusion用来文字生成图片，ControlNet就是用来控制构图的，LoRA就是用来控制风格的 。 stable-diffusion-webui 国内加速官网： mirrors / A...
-
280万大模型中文开发者拿到最后一块拼图
2023年5月，微软CEO纳德拉抛出一个惊人数字，未来全球的开发者数量将会达到10亿。 那时候Meta的Llama已经开源4个月，但一些国内的开发者发现，从小以英文语料喂养起来的Llama，对中文世界并不友好。 这未来的“10亿”开发者里会有多少中文开发者...
-
阿里云开源通义千问Qwen-72B、Qwen-1.8B、音频大模型Qwen-Audio
阿里云开源通义千问720亿参数模型Qwen-72B、18亿参数模型Qwen-1.8B 及 音频大模型Qwen-Audio。 据悉，阿里云本次开源的模型中除预训练模型外，还同步推出了对应的对话模型，面向72B、1.8B对话模型提供了4bit/8bit 量化版...
-
解读Lawyer LLaMA，延申专业领域大模型微调：数据集构建，模型训练
解读Lawyer LLaMA，延申自己领域大模型微调：数据集构建，模型训练 项目地址link 自己领域的大模型微调，实现思路大都和这篇文章是一样的，有的是基于LLaMA,或者有的是基于Chinese-LLaMA,或者是其他开源的大模型，本文基于自己训...
-
Stable Diffusion - 真人照片的高清修复 (StableSR + GFPGAN) 最佳实践
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/132032216 GFPGAN (Generative Facial...
-
视频版ContorlNet来了！SparseCtrl增强AI生成视频可控性
在文本到视频（T2V）领域的最新研究中，SparseCtrl技术通过引入时间稀疏信号实现了对视频结构的灵活控制。传统的文本提示在空间不确定性方面存在问题，容易导致模糊的帧组合。 为了提高可控性，SparseCtrl采用了密集结构信号，如逐帧深度/边缘序列，...
-
用上这个工具包，大模型推理性能加速达40倍
英特尔® Extension for Transformer是什么？ 英特尔® Extension for Transformers[1]是英特尔推出的一个创新工具包，可基于英特尔® 架构平台，尤其是第四代英特尔® 至强® 可扩展处理器（代号Sapp...
-
【AIGC】【AI绘画】controlNet介绍（原理+使用）
文章目录 安装教程 1.环境安装 2. 下载预训练的模型文件 3.运行（生成可视化界面） 1、ControlNet：AI绘画 1.1、ControlNet的本质是文生图(txt2img 2.2、预处理器 & 模型选择 1.3、参...
-
ChatGPT狂吐训练数据，还带个人信息：DeepMind发现大bug引争议
如果我不停地让 ChatGPT 干一件事，直到把它「逼疯」会发生什么？ 它会直接口吐训练数据出来，有时候还带点个人信息，职位手机号什么的： 本周三，Google DeepMind 发布的一篇论文，介绍了一项让人颇感意外的研究成果：使用大约 200 美元...
-
DeepMind发现大bug：简单攻击即可让ChatGPT泄露大量训练数据
Google DeepMind的研究发现，通过简单的查询攻击方法，可以从ChatGPT中泄露出大约几MB的训练数据，成本仅约200美元，引起社交网络哗然。 研究团队成功攻击了生产级模型，打破了对齐设定，即使模型经过对齐，也能通过命令诱导模型输出训练数据，暴...
-
LCM：大大加快生成高质量图像的新方法
作者丨Mike Young 译者 | 布加迪 审校 | 重楼 出品 | 51CTO技术栈（微信号：blog51cto） 图片 得益于一种名为潜在一致性模型（LCM）的新技术，文本转换成图像的AI即将迎来重大飞跃。潜在扩散模型（LDM）等传统方法在使用...
-
SDXL Turbo、LCM相继发布，AI画图进入实时生成时代：字打多快，出图就有多快
本周二，Stability AI 推出了新一代图像合成模型 Stable Diffusion XL Turbo，引发了一片叫好。人们纷纷表示，图像到文本生成从来没有这么轻松。 你可以不需要其他操作，只用在文本框中输入你的想法，SDXL Turbo 就能够...
-
聊一聊大模型 | 京东云技术团队
事情还得从ChatGPT说起。 2022年12月OpenAI发布了自然语言生成模型ChatGPT，一个可以基于用户输入文本自动生成回答的人工智能体。它有着赶超人类的自然对话程度以及逆天的学识。一时间引爆了整个人工智能界，各大巨头也纷纷跟进发布了自家的大模...
-
LLaMA 的学习笔记
LLaMA 是一种用于自然语言处理的深度学习模型，它的全称是 Language Learning with Adaptive Multi-task Architecture。它的主要特点是能够根据不同的任务自适应地调整模型结构和参数，从而提高模型的泛化能力...
-
文心一言话题的思考
⭐️我叫忆_恒心，一名喜欢书写博客的在读研究生??。 如果觉得本文能帮到您，麻烦点个赞?呗！ 近期会不断在专栏里进行更新讲解博客~~~ 有什么问题的小伙伴 欢迎留言提问欧，喜欢的小伙伴给个三连支持一下呗。?⭐️❤️ 目录...