-
深入理解LLaMA, Alpaca, ColossalChat 系列模型
知乎：紫气东来https://zhuanlan.zhihu.com/p/618695885 一、从 LLaMA 到 Alpaca：大模型的小训练 1.1 LLaMA 概要与实践 LLaMA(Large Language Mo...
-
大语言模型-中文chatGLM-LLAMA微调
微调大语言模型-ChatGLM-Tuning大语言模型-微调chatglm6b大语言模型-中文chatGLM-LLAMA微调大语言模型-alpaca-lora 本地知识库大语言模型2-document ai解读大语言模型-DocumentSearch解...
-
大语言模型之七- Llama-2单GPU微调SFT
（T4 16G）模型预训练colab脚本在github主页面。详见Finetuning_LLama_2_0_on_Colab_with_1_GPU.ipynb 在上一篇博客提到两种改进预训练模型性能的方法Retrieval-Augmented Gener...
-
无需魔法三分钟上线Midjourney应用，【附源码】【示例】
ps:我是标题党，目前还没见过三分钟完成任务的，三分钟只能打通Midjourney接口。我花了一天时间接入应用哈哈哈！ 首先，我要感谢laf赞助我，让我可以免费使用Midjourney进行开发和测试。来自白嫖党的快乐。 其次，我要感谢白夜、米开朗基...
-
如何使用 Midjourney？AI绘画应用保姆级教程
一：基础篇 1：注册 首先，你需要注册一个 Discord 账号，然后加入 Midjourney 的 Discord 服务器。或者去 Midjourney 的官网点击右下角的 Join the Beta： 2：在 Discord 公共服务...
-
Stable Diffusion XL训练LoRA
主要包括SDXL模型结构，从0到1训练SDXL以及LoRA教程，从0到1搭建SDXL推理流程。 【一】SDXL训练初识 Stable Diffusion系列模型的训练主要分成一下几个步骤，Stable Diffusion XL也不例外： 训练集...
-
ChatGLM-LLaMA-chinese-insturct 学习记录（含LoRA的源码理解）
ChatGLM-LLaMA-chinese-insturct 前言 一、实验记录 1.1 环境配置 1.2 代码理解 1.2.1 LoRA 1.4 实验结果 二、总结 前言 介绍：探索中文instruct数据在C...
-
LLM - Model Load_in_8bit For LLaMA
一.引言 LLM 量化是将大语言模型进行压缩和优化以减少其计算和存储需求的过程。 博主在使用 LLaMA-33B 时尝试使用量化加载模型，用传统 API 参数控制量化失败，改用其他依赖尝试成功。这里先铺下结论: ◆ Load_in_8bit ✔️...
-
马斯克让盗梦空间成真？初创公司用Transformer诱导清醒梦，Neuralink技术操控梦境效果惊人
你是否曾有过在自己梦中醒来的奇怪经历？ 那时，你还没有完全清醒，能感觉到周围有一个梦境，但你已经有足够的意识，来控制幻影的一部分。 对于大约一半的成年人来说，这种「清醒梦」有着非凡的意义，根据调查，他们一生中至少做过一次清醒梦。 这就是为什么科技初创公司...
-
OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御
随着 ChatGPT 的发布，大型语言模型应用正在加速大范围铺开。OpenAI 的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。但是，对抗攻击或 prompt 越狱依然有可能让模型输出我们不期望看到的内容。 目前在对抗攻击...
-
whisper.cpp在Windows VS的编译
Whisper是OpenAI开源的一款语音识别的模型，包含有英语和多国语言的模型，根据实际情况来看，其支持的90多种语言的准确率着实表现惊艳，英文甚至可以做到3%左右的误词率，官方图表显示中文的误词率大约是14%，但是实际使用的情况来看，误词率也是相当低，...
-
【C#】Whisper 离线语音识别（微软晓晓语音合成的音频）（带时间戳、srt字幕）...
语音合成&语音识别 用微软语音合成功能生成xiaoxiao的语音。 用Whisper离线识别合成的语音输出srt字幕。 一、语音合成 参考这个网址：https://www.bilibili.com/read/cv1906463...
-
揭秘百度文心一言大模型：设计、应用与实战
导言 在当今的深度学习领域，大型预训练模型如GPT、BERT等已经取得了显著的进展。而百度公司的文心一言大模型，作为一款基于Transformer结构的巨型模型，也在自然语言处理领域产生了重大影响。本文将详细介绍文心一言大模型的设计原理、特点以及应用场...
-
Ubuntu 22.04.2 LTS LTS x86_64 安装 stable-diffusion-webui 【2】基本版本完结。
前篇 Ubuntu 20.04 LTS x86_64 安装 stable-diffusion-webui_hkNaruto的博客-CSDN博客 内容太多，分第二篇继续 中途重装了机器，20.04 ，apt upgrade后自动升级到22.04.2...
-
LLama大模型初体验——Linux服务器部署LLama注意事项
LLama大模型初体验——Linux服务器部署LLama注意事项 一、基本步骤 基本步骤可以参考这个链接：超详细Llama2部署教程——个人gpt体验攻略！ llama开源仓库：https://github.com/facebookresearc...
-
用Colab免费部署AI绘画云平台Stable Diffusion webUI
Google Colab 版的 Stable Diffusion WebUI 1.4 webui github 地址：https://github.com/sd-webui/stable-diffusion-webui 平台搭建 今天就来交大家如果来...
-
用python代码实现ChatGPT平台和剪映/百度AIGC平台制作短视频的自动化的讨论
思路 使用ChatGPT平台生成短视频的文本描述 将文本描述传入剪映/百度AIGC平台，生成短视频 代码 使用ChatGPT平台生成短视频的文本描述 import openai openai.api_key = "YOUR_API_KEY"...
-
SDXL-Stable Diffusion改进版
文章目录 1. 摘要 2. 算法： 2.1 结构： 2.2 微小的条件机制 2.3 多宽高比训练 2.4 改进自编码器 2.5 所有组合放到一起 2.6 主流方案比较 3. 未来工作 4. 限制 论文： 《SDXL: Improv...
-
BeautifulPrompt：PAI 推出自研 Prompt 美化器，赋能 AIGC一键出美图
背景 Stable Diffusion（SD）是一种流行的AI生成内容（AI Generated Content，AIGC）模型，能在文字输入的基础上生成各种风格多样的图像。在目前的AIGC方向，SD是开源社区最热门的模型。然而，SD能够生成高颜值的图像...
-
百度文心一言接入教程-Java版
原文链接 前言 前段时间由于种种原因我的AI BOT网站停运了数天，后来申请了百度的文心一言和阿里的通义千问开放接口，文心一言的接口很快就通过了，但是文心一言至今杳无音讯。文心一言通过审之后，很快将AI BOT的AI能力接入了文心一言，这里记录一下具...
-
文心一言相关资料调研
1.0 文心一言相关资料调研 网站相关资料链接： 1.文心一言 (baidu.com ----文心一言官网 2.文心一言 (baidu.com ----文心一言插件开发权限申请 3.文心一言 (baidu.com ----文心一言插件开发者文档...
-
AIGC：【LLM（一）】——LoRA微调加速技术
文章目录 一.微调方法 1.1 Instruct微调 1.2 LoRA微调 二.LoRA原理 三.LoRA使用 一.微调方法 Instruct微调和LoRA微调是两种不同的技术。 1.1 Instruct微调 Instr...
-
Stable Diffusion8
也写到第八了 ~~ 这次还是和mac相关哦~~ 先吹吹,苹果亲自下场优化，在iPhone、iPad、Mac等设备上以惊人的速度运行Stable Diffusion就是这么简单。 输入一句话就能生成图像的 Stable Diffusion 已经火爆数月...
-
LLaMA模型文件 (搬运工)
LLaMA需要进行申请才能获得官方模型权重。 但是申请的审批时间一般都很长。 这里提供现有的huggingface上，第三方上传的一些LLaMA模型文件： LLaMA-7B LLaMA-13B LLaMA-7B-hf LLaMA-13B-hf 这...
-
【文献copilot】调用文心一言api对论文逐段总结
文献copilot：调用文心一言api对论文逐段总结 当我读文献的时候，感觉读得太慢了，看翻译软件翻译的又觉得翻译的不好。于是我就写了个程序辅助我读文献，它可以逐段总结，输出格式是：原文+一句话总结+分段总结，每一段间用分割线分割。下面给大家看看输出结...
-
ChatGPT + Stable Diffusion + 百度AI + MoviePy 实现文字生成视频，小说转视频，自媒体神器！(二)
ChatGPT + Stable Diffusion + 百度AI + MoviePy 实现文字生成视频，小说转视频，自媒体神器！(二 前言 最近大模型频出，但是对于我们普通人来说，如何使用这些AI工具来辅助我们的工作呢，或者参与进入我们的生活，就着...
-
动手做个mini智能助理--数据准备（2）
背景： 这部分会介绍如何准备自己的数据，利用chatgpt的self-instruct的方式批量的生成平行语料对。chatgpt有超强的生成能力，并且chatgpt的生成结果有经过harmless、种族歧视、不和法规的过审过滤。所以我们可以考虑是...
-
Stable diffusion安装踩坑(win&Mac&iOS)
今天Apple官方支持了这个库，所以特意下载下来试试看，效果还不错，M芯片在深度学习领域第一次给人惊喜了。https://machinelearning.apple.com/research/stable-diffusion-coreml-apple-si...
-
大模型「幻觉」，看这一篇就够了
大模型“幻觉”，终于有系统综述了！ 一口气49页，详细阐述了幻觉定义、分类、导致幻觉的原因，还有检测幻觉、减轻幻觉的方法。 这篇最新综述来自哈工大和华为，一po出就在网上火得不行： 具体来说，文中用一套新的范畴框架来定义模型幻觉，并将其分为事实性幻觉、...
-
GPT、Llama等大模型存在「逆转诅咒」，这个bug该如何缓解？
来自中国人民大学的研究者将 Llama 等因果语言模型所遭遇的 “逆转诅咒” 归咎于 next-token prediction + causal language model 的本质缺陷，并发现 GLM 采用的自回归填空的训练方法对这种 “逆转诅咒”...
-
如何使用 GitHub Copilot：提示、技巧和用例
生成式人工智能编码工具正在改变开发人员处理日常编码任务的方式。从记录我们的代码库到生成单元测试，这些工具有助于加快我们的工作流程。然而，就像任何新兴技术一样，总是有一个学习曲线。因此，当人工智能驱动的编码助手无法生成他们想要的输出时，开发人员（无论是初学者...
-
解决LLaMA、BERT等部署难题：首个4-bit浮点量化LLM来了
大语言模型 (LLM 压缩一直备受关注，后训练量化（Post-training Quantization 是其中一种常用算法，但是现有 PTQ 方法大多数都是 integer 量化，且当比特数低于 8 时，量化后模型的准确率会下降非常多。想较于 In...
-
GPT-4 Turbo问世，API更划算，128K上下文窗口引领新时代
一、简介 在发布GPT-4（点击了解GPT-4）仅仅八个月后，OpenAI推出了更新的模型GPT-4 Turbo，该模型具有可以在一次提示中容纳300页书的上下文窗口，并且提供更便宜的API访问。 【GPT-4 Turbo】：https://openai...
-
大语言模型量化方法对比：GPTQ、GGUF、AWQ
在过去的一年里，大型语言模型(llm 有了飞速的发展，在本文中，我们将探讨几种(量化 的方式，除此以外，还会介绍分片及不同的保存和压缩策略。 说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。 del model, tok...
-
微软战略大转变：拥抱小模型！
撰稿 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） 微软的生成式AI战略似乎出现了180度大转变：相比大模型，小模型才是微软的真爱。 在Ignite 2023上，微软董事长兼首席执行官Nadella在主题演讲中表示：“微软喜欢小模型...
-
第三方应用接入discord midjourney
背景 目前midjourney没有对外开放api，想体验他们的服务只能在discord中进入他们的频道进行体验或者把他们的机器人拉入自己创建的服务器中Midjourney Quick Start Guide（目前免费的已经无法体验了，需要使用就订阅?，后续...
-
【NLP】Llama & Alpaca大模型
?大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流? ?个人主页－Sonhhxg_柒的博客_CSDN博客 ? ?欢迎各位→点赞? + 收藏⭐️ + 留言? ?系列专栏 - 机器学习【ML】 自然语言...
-
AIGC：使用bert_vits2实现栩栩如生的个性化语音克隆
1 VITS2模型 1.1 摘要 单阶段文本到语音模型最近被积极研究，其结果优于两阶段管道系统。以往的单阶段模型虽然取得了较大的进展，但在间歇性非自然性、计算效率、对音素转换依赖性强等方面仍有改进的空间。本文提出VITS2，一种单阶段的文本到语音模型，...
-
java调用文心一言API的方法
话不多说，直接上干货： 一、首先去官网注册一个账号百度智能云-登录 (baidu.com ，注册完成后等待审核，审核后就可以去控制台操作啦！ 二、根据官网介绍，由于文心一言属于收费产品（也有免费的，但功能限制），因此建议可以充值几块钱，足以做实验用了。...
-
使用Google Colab免费部署属于自己的Stable Diffusion模型在线服务
I. 介绍 Stable Diffusion模型（稳定扩散模型） 是一种用于生成式建模的深度学习模型，它使用随机微分方程（SDE）来建模连续时间的动态过程。在图像、声音、文本等各种领域都有广泛的应用。与传统的生成式模型相比，Stable Diffusi...
-
NVIDIA RTX显卡AI推理提速5倍！RTX PC轻松在本地搞定大模型
正在举行的微软Iginte全球技术大会上，微软发布一系列AI相关的全新优化模型、开发工具资源，帮助开发者更深入地释放硬件性能，拓展AI场景。 尤是对于当下在AI领域占据绝对主导地位的NVIDIA来说，微软这次送上了一份大礼包，无论是面向OpenAI Cha...
-
AIGC专栏3——Stable Diffusion结构解析-以图像生成图像（图生图，img2img）为例
AIGC专栏3——Stable Diffusion结构解析-以图像生成图像（图生图，img2img）为例 学习前言 源码下载地址 网络构建 一、什么是Stable Diffusion（SD） 二、Stable Diffusion的组成 三、i...
-
CVPR 2023 | 去雨去噪去模糊，图像low-level任务，视觉AIGC系列
Learning A Sparse Transformer Network for Effective Image Deraining 基于Transformer的方法在图像去雨任务中取得了显著的性能，因为它们可以对重要的非局部信息进行建模，这对...
-
昇腾CANN 7.0 黑科技：大模型推理部署技术解密
本文分享自华为云社区《昇腾CANN 7.0 黑科技：大模型推理部署技术解密》，作者：昇腾CANN。 近期，随着生成式AI、大模型进入公众视野，越来越多的人意识到抓住AI的爆发就是抓住未来智能化变革的契机。AI基础设施如何快速部署使用，以及如何提升推理性能...
-
掰开安卓手机，满屏都是三个字：大模型丨模力时代
这年头，安卓厂商没个大模型，都不敢开手机发布会了。 前脚OPPO刚用大模型升级了语音助手，后脚vivo就官宣自研手机AI大模型; 小米发布会则直接将大模型当场塞进手机系统……其竞争激烈程度，不亚于抢芯片首发。 到底是怎么回事? 究其原因，还是智能终端已经成...
-
NLP（六十四）使用FastChat计算LLaMA-2模型的token长度
LLaMA-2模型部署 在文章NLP（五十九）使用FastChat部署百川大模型中，笔者介绍了FastChat框架，以及如何使用FastChat来部署百川模型。 本文将会部署LLaMA-2 70B模型，使得其兼容OpenAI的调用风格。部署的D...
-
可与H100一战，微软首款5纳米自研芯片震撼发布！Copilot引爆办公全家桶，Bing Chat改名
微软深夜炸场，万物皆可Copilot！ Bing Chat，从此更名Copilot。 登录微软账号，就可以在Copilot专属网站上免费使用GPT-4、DALL·E 3。 图片 OpenAI的全新王牌爆款——自定义GPT，也被塞进Copilot宇宙，变身...
-
[stable-diffusion-art] 指北-4 模型
Beginner's guide to Stable Diffusion models and the ones you should know - Stable Diffusion ArtHow to install, use and merge sta...
-
掰开安卓手机，满屏都是三个字：大模型
这年头，安卓厂商没个大模型，都不敢开手机发布会了。 前脚OPPO刚用大模型升级了语音助手，后脚vivo就官宣自研手机AI大模型； 小米发布会则直接将大模型当场塞进手机系统……其竞争激烈程度，不亚于抢芯片首发。 到底是怎么回事？ 究其原因，还是智能终端已经...
-
【大模型系列 06】LLaMA-7B/13B for PyTorch 昇腾迁移
源码链接 https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/PyTorch/built-in/foundation/LLaMA-13B LLaMA-7B/13B for PyTorch...