-
大模型之Bloom&LLAMA----Pre-Training(二次预训练)
0. 简介 随着chatgpt的爆火，最近也有很多大模型在不断地出现，比如说Bloom系列以及以LLAMA为基础的ziya和baichuan。这些模型相较于chatglm来说，更加具有发展前景，因为其是完全可商用，并可以不断迭代更新的。最近作者在跟着h...
-
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架 的简介、安装、案例实战应用之详细攻略 导读：2023年07月31日，哈工大讯飞联合实验室，发布Chinese-LLaMA-Alpaca-2，本项目基于Meta发布的...
-
Python 使用 Stable Diffusion API 生成图片示例
代码： import base64 import datetime import json import os import requests def submit_post(url: str, data: dict : """ S...
-
数字人系列四：Motionverse 接入chatgpt、文心一言等国内外大语言模型
1. 下载插件：motionverse官网地址：概述 · Motionverse 接口文档 (deepscience.cn 2. 按照官方文档新建Unity工程：对接说明 · Motionverse 接口文档 (deepscience.cn ...
-
通义千问, 文心一言, ChatGLM, GPT-4, Llama2, DevOps 能力评测
引言 “克隆 dev 环境到 test 环境，等所有服务运行正常之后，把访问地址告诉我”，“检查所有项目，告诉我有哪些服务不正常，给出异常原因和修复建议”，在过去的工程师生涯中，也曾幻想过能够通过这样的自然语言指令来完成运维任务，如今 AI 助手 Ap...
-
使用阿里PAI DSW部署Stable Diffusion WebUI
参考内容为《快速启动Stable Diffusion WebUI》 进入到网址https://pai.console.aliyun.com/里边。 点击创建实例。 把实例名称填写好，选择GPU规格，然后选择实例名称是ecs.gn6v-c8g1.2xlar...
-
ChatGPT + Stable Diffusion + 百度AI + MoviePy 实现文字生成视频，小说转视频，自媒体神器！(一)
ChatGPT + Stable Diffusion + 百度AI + MoviePy 实现文字生成视频，小说转视频，自媒体神器！(一 前言 最近大模型频出，但是对于我们普通人来说，如何使用这些AI工具来辅助我们的工作呢，或者参与进入我们的生活，...
-
使用gradio部署自己的AI应用 AI对话 和 AI绘画
gradio部署自己的 AI应用 AI对话（chatglm） 和 AI绘画（stable diffusion） 前言 提前准备： 开始 1，飞浆操作 2，部署 对话 和 绘画 3，natapp操作 4，api方式启动sd和glm 5，编写gr...
-
星火大模型AI接口Spring中项目中使用【星火、AIGC】
星火大模型AI接口使用 讯飞的星火大模型是有免费版本赠送200万个Token，就个人学习来说完全够用了。 免费申请过后，到控制台，两个红色方框是最要紧的。 星火认知大模型Web文档 | 讯飞开放平台文档中心 (xfyun.cn 这是官方文档...
-
Java对接百度文心一言，Java发送POST请求,类似前端AJAX
这是项目中使用的对接百度文心一言后端代码 public class BaiduChatApi { private static String CHAT_URL = "https://aip.baidubce.com/rpc/2.0/ai_cus...
-
在中文LLaMA模型上进行精调
最近在开源项目ymcui/Chinese-LLaMA-Alpaca的基础上完成了自己的中文模型精调工作，形成了两个工具共享给大家。ymcui/Chinese-LLaMA-Alpaca 构建指令形式的精调文件 如果用于精调，首先要准备精调数据，目标用途如...
-
Stablediffusion模型diffusesr格式和ckpt格式相互转换
参考资料： diffusers的源码 [github] 因为小博客可能看的人很少，所以我写的啰嗦一点，想直接看如何互相转换的朋友可以直接转到文末的代码段。 当你在学习Stablediffusion这个开源的t2i模型时，不...
-
文心千帆与文心一言API的使用
我在今年三月份左右申请了百度文心一言的测试，不久就通过了申请，体验了一段时间，感觉很棒，但是我更希望百度能早一点开放文心一言的API，不用在线去使用。 在7月19日那天，百度智能云给我打电话，问我体验如何，我便咨询了API开放时间，百度的答复是：目...
-
基于 huggingface diffuser 库本地部署 Stable diffusion
前言 Stable Diffusion 是用 LAION-5B 的子集（图像大小为512*512）训练的扩散模型。此模型冻结 CLIP 的 ViT-L/14 文本编码器建模 prompt text。模型包含 860M UNet 和123M 文本编码器，...
-
微软Azure新动向：GPT-4 Turbo与GPT-3.5 Turbo全球发布
在微软云开发者大会上，公司首席执行官Satya Nadella宣布Azure开放服务即将推出更新的生成式AI模型，为开发者提供更先进、高效的人工智能工具。 微软在截至本周的Azure OpenAI服务中引入了新型号，其中包括GPT-4和GPT-3.5Tur...
-
【A卡，Windows】stable diffusion webui下载安装避坑指南
观前提醒 本文内容都是本人亲身经历的，一个一个安装下载测试所感，当然如果你更想用傻瓜式集成包的，那还是跳过这篇文章吧。 当然我不推荐这篇文章的操作，因为我用了差不多1h才有一副图，有N卡，就用N卡，这只是无奈之举而已，方便那些像我一样暂时没有换机子打...
-
聊一聊高精地图的数据问题，无图感知还有哪些坑要踩？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 在自动驾驶领域，高精地图在定位、规划和避碰等方面发挥着至关重要的作用，实现行车安全和高质量路线预测。然而高精地图的构建都是昂贵、复杂的，而且专业性很强，无论是在硬件组成还是软件及其所使用的算法方面。...
-
启动stable diffusionI失败
求助，前一天还用过，今天运行Web UI的时候出现了这个，要怎么解决啊。 Python 3.10.11 (tags/v3.10.11:7d4cc5a, Apr 5 2023, 00:38:17 [MSC v.1929 64 bit (AMD64 ]...
-
微调 Code Llama 完整指南
一、前言 今天这篇文章将向大家详细介绍如何对 Code Llama 进行微调，让它变成适合 SQL 开发的有利工具。对于编程开发任务，经过适当微调后的 Code Llama 的性能通常都会比普通的 Llama 强很多，特别是当我们针对具体任务进行优化时:...
-
OSError: CompVis/stable-diffusion-v1-4 does not appear to have a file named config.json
最近刚开始研究Stable Diffusion model 想尝试一下fine-tuning任务。在本地加载模型后，爆显存了。。。于是不得已，在云平台租用服务器来进行训练。 创建服务器实例时，我直接选的的平台提供的算法镜像，这样可以免去配环境之苦：...
-
百度文心一言4.0——使用及API测试
登录百度智能云：百度智能云 文心一言4.0使用 开通付费： 创建应用： 自行创建应用名称： 对话测试： API测试 ERNIE-Bot-4 API：ERNIE-Bot-4 打开链接查看自己的API Key，Secret Key。 可参考：A...
-
Debug Stable Diffusion webui
文章目录 SD 前期预备 一些惊喜 TorchHijackForUnet Txt2Img 搭配 Lora 使用 单独运行 txt2img.py 获取所有资源 代码地址 参数 sd model 主程序 代码地址 参数(同上 模型Infe...
-
MAC安装stable diffusion
电脑配置 基本安装 1. 安装python 2. 安装git 3. 下载stable diffusion的代码，地址： git clone https://github.com/AUTOMATIC1111/stable-diffus...
-
LlamaIndex的使用 | LangChain的研究 | pdfgpt安装使用
LlamaIndex在https://github.com/jerryjliu/llama_index 文档在https://gpt-index.readthedocs.io/en/latest/guides/primer/usage_pattern...
-
探索【Stable-Diffusion WEBUI】的插件：骨骼姿态（OpenPose）
文章目录 （零）前言 （一）骨骼姿态（OpenPose）系列插件 （二）插件：PoseX （三）插件：Depth Lib （四）插件：3D Openpose Editor （五）修改 ControlNet 设置 （零）前言...
-
AI绘画stable-diffusion-webui指定GPU运行
在cmd_args.py文件中，进行运行参数的设定，其中可以指定gpu信息 import argparse import os from modules.paths_internal import models_path, script_path, da...
-
浅谈埋点及其质量保障 | 京东云技术团队
1、埋点是什么 埋点又称为事件追踪（Event Tracking），指的是针对用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。用大白话说：就是通过技术手段“监听”用户在APP、网站内的行为。 2、埋点的作用 如果我们想要收集用户行为数据...
-
【AIGC】如何在使用stable-diffusion-webui生成图片时看到完整请求参数
文章目录 背景 开搞 使用 遇到的问题 背景 通过代码调用Stable Diffusion的txt2img、img2img接口时，很多时候都不知道应该怎么传参，比如如何指定模型、如何开启并使用Controlnet、如何开启面部修复...
-
Stable Diffusion - 图像控制插件 ControlNet (OpenPose) 配置与使用
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/131591887 论文：Adding Conditional Co...
-
大模型入门（四）—— 基于peft 微调 LLaMa模型
llama-7b模型大小大约27G，本文在单张/两张 16G V100上基于hugging face的peft库实现了llama-7b的微调。 1、模型和数据准备 使用的大模型：https://huggingface.co/decapoda-resea...
-
gpt crawler：从URL爬取网站生成结构化知识，创建定制GPT
gpt crawler是一款强大的工具，能够将网站内容全面地爬取下来，并将其转换成结构化知识，为GPTs的学习提供了有力支持。 这个工具的应用场景广泛，比如，如果你想打造一个数字人分身，可以先将自己在社交媒体或个人博客上的内容抓取下来，然后提交给ChatG...
-
基于llama模型进行增量预训练
目录 1、llama模型转换(pytorch格式转换为HuggingFace格式 1.1、拉取Chinese-LLaMA-Alpaca项目 1.2、准备文件夹 1.3、下载llama官方原始模型 1.4、移动文件到指定位置 1.5、执行转换脚...
-
什么是Python爬虫？一篇文章带你全面了解爬虫
一、什么叫爬虫 爬虫，又名“网络爬虫”，就是能够自动访问互联网并将网站内容下载下来的程序。它也是搜索引擎的基础，像百度和GOOGLE都是凭借强大的网络爬虫，来检索海量的互联网信息的然后存储到云端，为网友提供优质的搜索服务的。 二、爬虫有什么用 你可能...
-
深入理解LLaMA, Alpaca, ColossalChat 系列模型
知乎：紫气东来https://zhuanlan.zhihu.com/p/618695885 一、从 LLaMA 到 Alpaca：大模型的小训练 1.1 LLaMA 概要与实践 LLaMA(Large Language Mo...
-
大语言模型-中文chatGLM-LLAMA微调
微调大语言模型-ChatGLM-Tuning大语言模型-微调chatglm6b大语言模型-中文chatGLM-LLAMA微调大语言模型-alpaca-lora 本地知识库大语言模型2-document ai解读大语言模型-DocumentSearch解...
-
Stable Diffusion XL训练LoRA
主要包括SDXL模型结构，从0到1训练SDXL以及LoRA教程，从0到1搭建SDXL推理流程。 【一】SDXL训练初识 Stable Diffusion系列模型的训练主要分成一下几个步骤，Stable Diffusion XL也不例外： 训练集...
-
Qt Creator 11 开放源码集成开发环境新增集成终端和 GitHub Copilot 支持
导读 Qt 项目今天发布了 Qt Creator 11，这是一款开源、免费、跨平台 IDE（集成开发环境）软件的最新稳定版本，适用于 GNU/Linux、macOS 和 Windows 平台。 Qt Creator 11 的亮点包括支持标签、多外...
-
stable diffusion安装踩坑
#本文为个人安装stable diffusion踩坑日志，内容比较凌乱，参考价值不大。 #踩坑花了三天时间#Q:491516541 环境：笔记本 win10，12G内存,GTX850m(2G显存 #准备工作： 安装Python 3.10.10 安装git...
-
Ubuntu 22.04.2 LTS LTS x86_64 安装 stable-diffusion-webui 【2】基本版本完结。
前篇 Ubuntu 20.04 LTS x86_64 安装 stable-diffusion-webui_hkNaruto的博客-CSDN博客 内容太多，分第二篇继续 中途重装了机器，20.04 ，apt upgrade后自动升级到22.04.2...
-
GPT3.5 与word的结合，提前享受office copilot
1.你先要拥有GPT3.5 key 如何获取见上篇 2.配置office选项卡 3.编写vba Sub ChatGPT( Dim selectedText As String Dim apiKey As S...
-
GitHub Copilot使用指南
GitHub Copilot 是由 GitHub 开发的 AI 编程插件，GitHub Copilot 由 OpenAI Codex 提供支持，OpenAI Codex 是一种由 OpenAI 创建的生成式预训练语言模型，可根据评论和代码的上下文提供上下文...
-
Stable Diffusion - API和微服务开发
Stable Diffusion 是一种尖端的开源工具，用于从文本生成图像。 Stable Diffusion Web UI 通过 API 和交互式 UI 打开了许多这些功能。 我们将首先介绍如何使用此 API，然后设置一个示例，将其用作隐私保护微服务以从...
-
Copilot使用教程：让AI助手提升你的编程效率
OpenAI推出的Copilot是一个基于GPT-4的代码生成器，它可以帮助你在编写代码时给出智能建议，从而提高你的编程效率。 文章目录 什么是Copilot Copilot的安装与配置 Copilot的基本功能 Copilot实战案例 Copilo...
-
百度文心一言接入教程-Java版
原文链接 前言 前段时间由于种种原因我的AI BOT网站停运了数天，后来申请了百度的文心一言和阿里的通义千问开放接口，文心一言的接口很快就通过了，但是文心一言至今杳无音讯。文心一言通过审之后，很快将AI BOT的AI能力接入了文心一言，这里记录一下具...
-
【文献copilot】调用文心一言api对论文逐段总结
文献copilot：调用文心一言api对论文逐段总结 当我读文献的时候，感觉读得太慢了，看翻译软件翻译的又觉得翻译的不好。于是我就写了个程序辅助我读文献，它可以逐段总结，输出格式是：原文+一句话总结+分段总结，每一段间用分割线分割。下面给大家看看输出结...
-
ChatGPT + Stable Diffusion + 百度AI + MoviePy 实现文字生成视频，小说转视频，自媒体神器！(二)
ChatGPT + Stable Diffusion + 百度AI + MoviePy 实现文字生成视频，小说转视频，自媒体神器！(二 前言 最近大模型频出，但是对于我们普通人来说，如何使用这些AI工具来辅助我们的工作呢，或者参与进入我们的生活，就着...
-
动手做个mini智能助理--数据准备（2）
背景： 这部分会介绍如何准备自己的数据，利用chatgpt的self-instruct的方式批量的生成平行语料对。chatgpt有超强的生成能力，并且chatgpt的生成结果有经过harmless、种族歧视、不和法规的过审过滤。所以我们可以考虑是...
-
使用 GitHub Copilot 进行 Prompt Engineering 的初学者指南（译）
文章目录 什么是 GitHub Copilot ? GitHub Copilot 可以自己编码吗？ GitHub Copilot 的底层是如何工作的？ 什么是 prompt engineering? 这是 prompt engineering...
-
chatgpt平替，清华chatglm本地化部署教程（aigc大模型风口，校招找工作必备），包含weiui部署，api部署，对话框部署
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。...
-
Ubuntu20.4 docker运行stable diffusion webui
环境前提 系统环境ubuntu20.04 uname -a nvida cuda显卡驱动默认已经安装成功 nvidia-smi 安装配置docker upgrade系统 更新系统依赖： apt-get upgrade 卸...