-
json.decoder.JSONDecodeError: Unterminated string starting at: line 1 ... - Stable Diffusion报错解决方案
Stable Diffusion提示JSONDecodeError错误 错误内容 解决方案 错误内容 ... File "C:\stable-diffusion-webui\modules\sd_models.py", line...
-
成功解决RuntimeError: Failed to import transformers.models.llama.tokenization_llama_fast because of the
成功解决RuntimeError: Failed to import transformers.models.llama.tokenization_llama_fast because of the following error (look up to...
-
LLaMA加载时遇见：ValueError: Tokenizer class LLaMATokenizer does not exist or is not currently imported.
在加载LLaMA模型时遇到到的问题及解决方法。 1. 问题1 解决方法：找到llama模型中的tokenizer_config.json文件，把“tokenizer_class”对应的“LLaMATokenizer”改为“LlamaTokenize...
-
语音识别模型whisper的参数说明
一、whisper简介： Whisper是一种通用的语音识别模型。它是在各种音频的大型数据集上训练的，也是一个多任务模型，可以执行多语言语音识别、语音翻译和语言识别。 二、whisper的参数 1、-h, --help 查看whisper的参数...
-
【AIGC】spring+openAI轻松生成图片
ChatGPT 是由 OpenAI 开发的强大语言模型，可以用于生成类似人类的文本。OpenAI API 允许开发人员访问该模型并在其自己的应用程序中使用。在本文中，我们将讨论如何使用 Java Spring Framework 与 OpenAI API...
-
NLP-分词器：SentencePiece【参考Chinese-LLaMA-Alpaca在通用中文语料上训练的20K中文词表并与原版LLaMA模型的32K词表进行合并的代码】
背景 随着ChatGPT迅速出圈，最近几个月开源的大模型也是遍地开花。目前，开源的大语言模型主要有三大类：ChatGLM衍生的大模型（wenda、ChatSQL等）、LLaMA衍生的大模型（Alpaca、Vicuna、BELLE、Phoenix、Chim...
-
stable-diffusion官方版本地复现手册（2023年4月10日）
stable diffusion v1.4官方版（CompVis）本地复现手册 主页：https://github.com/wjxpro 邮箱：804359553@qq.com 文章目录 **stable diffusion v1...
-
快速训练自己的大语言模型：基于LLAMA-7B的lora指令微调
目录 1. 选用工程：lit-llama 2. 下载工程 3. 安装环境 4. 下载LLAMA-7B模型 5. 做模型转换 6. 初步测试 7. 为什么要进行指令微调？ 8. 开始进行指令微调 8.1. 数据准备 8.2 开始模型训练 8.3...
-
M1芯片Mac book pro部署stable diffusion模型
使用的电脑配置： 本文中，我的实验环境是 Apple M1CPU 的 MacBook Pro，机器内存容量为 16GB。同样还能够运行本文的设备包含： 2022 年生产的MacBook Air (M2 、13寸的 MacBook Pro (M2 、M...
-
LLMs之Code：Code Llama的简介(衍生模型如Phind-CodeLlama/WizardCoder)、安装、使用方法之详细攻略
LLMs之Code：Code Llama的简介(衍生模型如Phind-CodeLlama/WizardCoder 、安装、使用方法之详细攻略 导读：2023年08月25日(北京时间 ，Meta发布了Code Llama，一个可以使用文本提示生成...
-
Java接入文心一言
文章目录 文心一言应用创建 接口对接 接口文档 代码示例 依赖 常量类 实体类 结束语 文心一言应用创建 首先需要先申请文心千帆大模型，申请地址：文心一言 (baidu.com ，点击加入体验，等通过审核之后就可以进入文心千帆...
-
大模型之Bloom&LLAMA----SFT(模型微调)
0. 简介 随着chatgpt的爆火，最近也有很多大模型在不断地出现，比如说Bloom系列以及以LLAMA为基础的ziya和baichuan。这些模型相较于chatglm来说，更加具有发展前景，因为其是完全可商用，并可以不断迭代更新的。最近作者在跟着h...
-
几行代码教你轻松完成超大模型推理：LLaMA-30B+TITAN RTX*4+accelerate
是不是苦于没有ChatGPT的API key或者免费的token而无法愉快地和它玩耍？想不想在有限的计算资源上部署大模型并调戏大模型？？想不想解锁大模型的除了对话之外的其它功能？？？几行代码教你搞定如何在有限的计算资源下部署超大模型并实现推理。 准备...
-
LLama 2部署教程+私有模型分发
近日，Meta发布了LLama的最新版本——LLama2，尽管其对中文的处理能力尚有待提升，但其整体表现无疑是令人瞩目的。在发布当天，我便迫切地将其下载下来进行试用，发现相比之前的版本，LLama2在多个方面都实现了显著的进步，特别是在编程能力上的提升更为...
-
llama.cpp一种在本地CPU上部署的量化模型（超低配推理llama）
0x00 背景 前不久，Meta前脚发布完开源大语言模型LLaMA， 随后就被网友“泄漏”，直接放了一个磁力链接下载链接。 然而那些手头没有顶级显卡的朋友们，就只能看看而已了 但是 Georgi Gerganov 开源了一个项目llama.cpp...
-
Llama大模型运行的消费级硬件要求【CPU|GPU|RAM|SSD】
大型语言模型 (LLM 是强大的工具，可以为各种任务和领域生成自然语言文本。 最先进的LLM之一是 LLaMA（大型语言模型 Meta AI），这是由 Facebook 的研究部门 Meta AI 开发的一个包含 650 亿个参数的模型 要在家运行 L...
-
LoRa模型训练教程（炼丹，Stable Diffusion）
1. lora介绍（Low Rank Adaption） 何为LoRA？LoRA并不是扩散模型专有的技术，而是从隔壁语言模型（LLM）迁移过来的，旨在解决避免将整个模型参数拷贝下来才能对模型进行调校的问题。因为大型语言模型的参数量过于恐怖，比如最近新出...
-
stable diffusion webui 文生图（txt2img）api接口调用（使用C#）
唠嗑 本次将跟读者讲一下如何通过C#请求sd webui api 【txt2img】接口，如果读者觉得文章有用，请给【点个赞】吧，有问题可以评论区提问。 实战 1.配置api启用参数 启动webui时，需加上【–api】 命令以保证api接口...
-
Windows10上使用llama-recipes(LoRA)来对llama-2-7b做fine-tune
刚刚在Windows10上搭建环境来对llama2做finetune，里面坑还是挺多的，这里把印象中的坑整理了一下以作备忘。 llama-recipes是meta的开源项目，Github地址为：GitHub - facebookresearch/llam...
-
各种文字生成图片的AIGC模型（openAI、谷歌、stable、Midjourney等）
1 前言 AIGC，全名“AI generated content”，又称生成式AI，意为人工智能生成内容。例如AI文本续写，文字转图像的AI图、视频等。 本文主要描述文字生成图片的模型。而且目前扩散模型（Diffusion Models）流行，所以下...
-
【原创】用 VisualGLM 进行AIGC多模识别和内容生成
最近几个月，整个AI行业的LLM（大语言模型）蓬勃发展，除了过去传统的纯文字的多模态能力的视觉语言模型，如 GPT-4，ImageBind等表现令人印象深刻。 ChatGLM-6B是中文用户使用非常舒服的一个开源中文LLM。2023年5月17日，智谱...
-
Stable-diffusion安装时Can‘t load tokenizer for ‘openai/clip-vit-large-patch14‘问题解决
Can’t load tokenizer for 'openai/clip-vit-large-patch14’问题解决. 如果你在安装stable-diffusion的时候遇到了这个问题，可以下载本博客的绑定资源，然后修改项目中的文件地址就可以了。...
-
ChatGPT开源平替(2)llama
最近，FacebookResearch 开源了他们最新的大语言模型 LLaMA，训练使用多达14,000 tokens 语料，包含不同大小参数量的模型 7B、13B 、30B、 65B，研究者可以根据自身算力配置进行选择。 ...
-
大模型使用——超算上部署LLAMA-2-70B-Chat
大模型使用——超算上部署LLAMA-2-70B-Chat 前言1、本机为Inspiron 5005，为64位，所用操作系统为Windos 10。超算的操作系统为基于Centos的linux，GPU配置为A100，所使用开发环境为Anaconda。2、...
-
Meta最新模型LLaMA细节与代码详解
Meta最新模型LLaMA细节与代码详解 0. 简介 1. 项目环境依赖 2. 模型细节 2.1 RMS Pre-Norm 2.2 SwiGLU激活函数 2.3 RoPE旋转位置编码 3. 代码解读 3.1 tokenizer 3.2 m...
-
使用OpenAI的Whisper模型将语音转换成文本
译者 | 布加迪 审校 | 重楼 图1. OpenAI Whisper模型的工作原理图 在这个日益数字化的世界，将语音转换成文本的需求变得越来越重要。无论为了可访问性、内容创建、数据分析还是其他用途，将口语转换成书面语都是一个需要有效解决方案的问题。Op...
-
最新AI创作系统ChatGPT源码+详细搭建部署教程，支持AI绘画/支持OpenAI-GPT全模型+国内AI全模型
一、AI创作系统 SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统+AI绘画系统，支持OpenAI GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGP...
-
手把手带你用Python和文心一言搭建《AI看图写诗》网页项目（附上完整项目源码）
今年年初，ChatGPT的火爆在全球掀起AI大模型的开发热潮，国内外的科技公司纷纷加入“百模大战”行列。百度在率先发布了国内第一款人工智能大语言模型“文心一言”后，又推出了文心千帆大模型平台，帮助企业和开发者加速大模型应用落地。 而最近百度创始人、董事长...
-
用过GPT-4 Turbo以后，我们再也回不去了
昨天，很多人彻夜未眠 —— 全球科技圈都把目光聚焦在了美国旧金山。 短短 45 分钟时间里，OpenAI CEO 山姆・奥特曼向我们介绍了迄今为止最强的大模型，和基于它的一系列应用，一切似乎就像当初 ChatGPT 一样令人震撼。 OpenAI 在本周...
-
【AI画画教程】无整合包使用LoRA和Dreambooth训练全流程详解（Linux）
前言 本教程遵循简单原则，不使用任何民间整合包。 目前很多AI画画训练整合包臃肿复杂，教程也是名词乱炖，容易对初学者造成理解误差和使用困难。因为许多整合包都依赖于sd-scripts库，它自身就能支持绝大多数的训练场景，学会这个后，自己也可以根据自己...
-
10分钟定制一个「陈天奇GPT」，OpenAI新品大波实测来袭！Sam Altman降维打击，千家AI初创公司入土
OpenAI首届春晚，创业公司屠杀夜。 正如Sam Altman所言：「我们正在孕育新物种，它们正在迅速增殖。」 图片 可以说，基于OpenAI接口构建创业公司，产品忽然就失去了意义。许多初创公司的产品，已经没有了护城河。 杜克大学教授陈怡然表示，照这个...
-
GPT商店已至，AI的爆款应用还有多远？
什么，还必须要关注“技术”想要什么。 昨天凌晨，整个AI界发生了一场地震，在被视为“首届AI春晚”的OpenA开发者大会上，GPT-4进行了史诗版本的更新。 128K的超长上下文、成本更低的tokens、全新的Assistants API、新增的多模态功能...
-
姚班天才开发《完蛋！我被大模型包围了》游戏爆火，一日用户过万挤爆服务器
什么样的“大模型原生”游戏，让各大算法竞赛群里都在玩，还把服务器挤爆了? 这款突然爆火的《完蛋!LLM》，让你在解谜挑战之中轻松学会大模型提示词技巧，达成1日用户破万的成就。 难度循序渐进，比如第一题初来乍到只是“请你构造一个问题，使模型的回答是一字不...
-
文心一言 4.0 ERNIE-Bot 4.0 ：ERNIE-Bot 4.0 大模型深度测试体验报告
本心、输入输出、结果 文章目录 文心一言 4.0 ERNIE-Bot 4.0 ：ERNIE-Bot 4.0 大模型深度测试体验报告 前言 相关跳转 文心一言 4.0 ERNIE-Bot 4.0 接口简介 Bash 请求示例代码...
-
LLM - LLaMA-2 获取文本向量并计算 Cos 相似度
目录 一.引言 二.获取文本向量 1.hidden_states 与 last_hidden_states ◆ hidden_states ◆ last_hidden_states 2.LLaMA-2 获取 hidden_states ◆...
-
最新ai创作系统CHATGPT源码+支持GPT4.0+支持ai绘画Midjourney
最新ai创作系统CHATGPT源码+支持GPT4.0+支持ai绘画Midjourney 一、SparkAi源码介绍 1.1 SparkAi系统 1.2 系统核心模块 二、系统演示-前往体验 三、系统功能模块 3.1 ChatGPT模型提问...
-
微信小程序实现调用百度文心一言接口API（可直接运行代码）
直接贴出运行结果 总共有三个步骤，过程都很简单。 1、首先得获得你自己的API_key 先进入文心千帆大模型平台，然后点击左边一列的“应用接入”，然后点创建应用，这时你就获得了API_key了。 2、进入文心千帆大模型平台，开通四个服务...
-
Stable Diffusion WebUI linux部署问题
当我部署好环境后，准备大张旗鼓开搞时，进入项目地址运行python launch.py后发现 下面连接着的报错是 OSError: Can't load tokenizer for 'openai/clip-vit-large-patch14'....
-
文心一言4.0（ERNIE-Bot-4）申请方法及简单调用代码示例
10月17日过后，估计很多人会看到类似的新闻，如图： 我看到这则新闻也是觉得非常感兴趣，于是本着“百闻不如一见”的实事求是的态度检索如何申请，没想到还真找到了ERNIE-Bot-4（俗称：文心一言4.0）的申请入口，如下： 体验地址 企业用...
-
最新ChatGPT源码+AI绘画系统+详细图文搭建部署教程+支持OpenAI-GPT全模型+国内AI模型
一、智能AI创作系统 Mental AI创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美，可以说Mental AI是...
-
知识图谱与大模型相结合的3种方法，1+1>2
本文分享自华为云社区《知识图谱与大模型结合方法概述》，作者： DevAI 。 《Unifying Large Language Models and Knowledge Graphs: A Roadmap》总结了大语言模型和知识图谱融合的三种路线：1）K...
-
中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）
本文目的是让大家先熟悉模型的部署，简单入门；所以只需要很小的算力，单台服务器 单GPU显卡（显存不低于12GB），操作系统需要安装 Ubuntu 18.04。 1 服务器&操作系统 1.1服务器的准备...
-
带你认识一下多模态对比语言图像预训练CLIP
本文分享自华为云社区《多模态对比语言图像预训练CLIP：打破语言与视觉的界限》，作者：汀丶。 一种基于多模态（图像、文本）对比训练的神经网络。它可以在给定图像的情况下，使用自然语言来预测最相关的文本片段，而无需为特定任务进行优化。CLIP的设计类似于GP...
-
理论+实践详解最热的LLM应用框架LangChain
3.3 Chat 聊天模型是语言模型的一个变体，聊天模型以语言模型为基础，其内部使用语言模型，不再以文本字符串为输入和输出，而是将聊天信息列表为输入和输出，他们提供更加结构化的 API。通过聊天模型可以传递一个或多个消息。LangChain 目前支持四类...
-
在 LangChain 尝试了 N 种可能后，我发现了分块的奥义！
分块（Chunking）是构建检索增强型生成（RAG）应用程序中最具挑战性的问题。分块是指切分文本的过程，虽然听起来非常简单，但要处理的细节问题不少。根据文本内容的类型，需要采用不同的分块策略。 在本教程中，我们将针对同一个文本采用不同的分块策略，探索不...
-
Stable Diffusion Lora模型训练详细教程
1. 介绍 通过Lora小模型可以控制很多特定场景的内容生成。 但是那些模型是别人训练好的，你肯定很好奇，我也想训练一个自己的专属模型（也叫炼丹～_～）。 甚至可以训练一个专属家庭版的模型（family model），非常有意思。 将自己的训练好...
-
【LLM】Windows本地CPU部署民间版中文羊驼模型（Chinese-LLaMA-Alpaca）踩坑记录
目录 前言 准备工作 Git Python3.9 Cmake 下载模型 合并模型 部署模型 前言 想必有小伙伴也想跟我一样体验下部署大语言模型, 但碍于经济实力, 不过民间上出现了大量的量化模型, 我们平民也能体验体验啦~...
-
【腾讯云 HAI域探秘】——自行搭建Stable Diffusion模型服务用于生成AI图片 | 自行搭建ChatGL M26BAI模型服务用于AI对话
自行搭建Stable Diffusion模型服务用于生成AI图片 一、服务创建 1、服务地址： 高性能应用服务HAI 新品内测 2、等待审核(大概24小时 二、创建服务 1、新建服务 2、选择AI模型：Stable Diffus...
-
万万没想到，我用文心一言开发了一个儿童小玩具
最近关注到一年一度的百度世界大会今年将于10月17日在北京首钢园举办，本期大会的主题是“生成未来（PROMPT THE WORLD）”。会上，李彦宏会做主题为「手把手教你做AI原生应用」的演讲，比较期待 Robin 会怎么展示。据说，大会当天百度还会发布文...
-
DeepMind指出「Transformer无法超出预训练数据实现泛化」，但有人投来质疑
距离马斯克的 xAI 公布 Grok 才过去一天，刚刚，xAI 又公布了另一款 AI 产品，一个可用于 prompt 工程和可解释性研究的集成开发环境：PromptIDE。 接连不断的新品发布，也让网友纷纷感叹：「xAI 团队的开发速度简直是疯了！」...