-
M1芯片Mac book pro部署stable diffusion模型
使用的电脑配置: 本文中,我的实验环境是 Apple M1CPU 的 MacBook Pro,机器内存容量为 16GB。同样还能够运行本文的设备包含: 2022 年生产的MacBook Air (M2 、13寸的 MacBook Pro (M2 、M...
-
Java接入文心一言
文章目录 文心一言应用创建 接口对接 接口文档 代码示例 依赖 常量类 实体类 结束语 文心一言应用创建 首先需要先申请文心千帆大模型,申请地址:文心一言 (baidu.com ,点击加入体验,等通过审核之后就可以进入文心千帆...
-
【云栖2023】王峰:开源大数据平台3.0技术解读
本文根据2023云栖大会演讲实录整理而成,演讲信息如下: 演讲人:王峰 | 阿里云研究员,阿里云计算平台事业部开源大数据平台负责人 演讲主题:开源大数据平台3.0技术解读 实时化与Serverless是开源大数据3.0时代的必然选择 阿里云开源...
-
使用 LangChain 和 Pinecone 矢量数据库构建自定义问答应用程序
构建自定义聊天机器人,以使用 LangChain、OpenAI 和 PineconeDB 从任何数据源开发问答应用程序 介绍 大型语言模型的出现是我们这个时代最令人兴奋的技术发展之一。它为人工智能领域开辟了无限可能,为各行业的现实问题提供了解决方案。这些...
-
【Claude2体验】继ChatGPT,文心一言,Bing等大模型后,初次对话Claude2的体验
文章目录 ?注意事项 ?什么是Claude2 ⭐与之前版本的进步 ?官网的讲解 ?功能介绍 ?使用体验 ?查看不知道如何才能打开的文档 的内容 ?日常需求 ✨Claude ✨ChatGPT3.5 ?总结 ?专栏【小吉测评...
-
让AI模型成为GTA五星玩家,基于视觉的可编程智能体Octopus来了
电子游戏已经成为如今现实世界的模拟舞台,展现出无限可能。以游戏《侠盗猎车手》(GTA)为例,在 GTA 的世界里,玩家可以以第一人称视角,在洛圣都(游戏虚拟城市 当中经历丰富多彩的生活。然而,既然人类玩家能够在洛圣都里尽情遨游完成若干任务,我们是否也能有一...
-
Stable Diffusion复现——基于 Amazon SageMaker 搭建文本生成图像模型
众所周知,Stable Diffusion扩散模型的训练和推理非常消耗显卡资源,我之前也是因为资源原因一直没有复现成功。 而最近我在网上搜索发现,亚马逊云科技最近推出了一个【云上探索实验室】刚好有复现Stable Diffusion的活动,其使用...
-
UniPAD:通用自动驾驶预训练模式!各类感知任务都可支持
本文经自动驾驶之心公众号授权转载,转载请联系出处。 最近,新论文推陈出新的速度着实太快有点读不过来的感觉。可以看到的是,语言视觉多模态大模型融合已经是业界共识了,UniPad 这篇文章就比较有代表性,多模态的输入,类世界模型的预训练基座模型,同时又方便扩...
-
基于容器平台 ACK 快速搭建 Stable Diffusion
作者:子白 本文介绍如何在阿里云容器平台 ACK 上快速搭建一套可对外提供服务的 Stable Diffusion。 CPU 版本 前提条件 已创建 Kubernetes 托管版集群。具体操作,请参见创建 Kubernetes 托管版集群[1]...
-
python爬虫从入门到精通
目录 一、正确认识Python爬虫 二、了解爬虫的本质 1. 熟悉Python编程 2. 了解HTML 3. 了解网络爬虫的基本原理 4. 学习使用Python爬虫库 三、了解非结构化数据的存储 1. 本地文件 2. 数据库 四、掌...
-
LoRa模型训练教程(炼丹,Stable Diffusion)
1. lora介绍(Low Rank Adaption) 何为LoRA?LoRA并不是扩散模型专有的技术,而是从隔壁语言模型(LLM)迁移过来的,旨在解决避免将整个模型参数拷贝下来才能对模型进行调校的问题。因为大型语言模型的参数量过于恐怖,比如最近新出...
-
AIGC专栏1——Pytorch搭建DDPM实现图片生成
AIGC专栏1——Pytorch搭建DDPM实现图片生成 学习前言 源码下载地址 网络构建 一、什么是Diffusion 1、加噪过程 2、去噪过程 二、DDPM网络的构建(Unet网络的构建) 三、Diffusion的训练思路 利用D...
-
Stable Diffusion 安装失败 Couldn‘t install torch. ErrorCode 2
Stable Diffusion 安装失败 Couldn’t install torch. ErrorCode 2 Creating venv in directory C:\Users\AdminName\Documents\stable diffu...
-
仅开放2个多月 百度:文心一言用户规模已达7000万
快科技11月9日消息,在2023年世界互联网大会乌镇峰会上,百度CTO王海峰披露,文心一言用户规模现已达到7000万。 百度官方发文称,文心一言自8月31日面向全社会开放至今,用户规模达到7000万,场景4300个,应用2492个。 飞桨和文心生态已凝聚8...
-
AI视野:ChatGPT和API发生重大中断;GPTs分阶段推出计划延迟;中国第二批11个大模型备案获批;阿里将开源720亿参数大模型
???AI新鲜事 ChatGPT和API发生重大中断! 11月9日凌晨,OpenAI在官网发布,ChatGPT和API发生重大中断,导致全球所有用户无法正常使用,宕机时间超过2小时。OpenAI已经找到问题所在并进行了修复,但仍然不稳定,会继续进行安全监控...
-
ChatGPT 挂了一整天了,已经习惯了用大模型的我怎么办
OpenAI 挂了,已经习惯了用大模型的我怎么办 OpenAI 挂了,急,在线等。 你是不是已经习惯了 ChatGPT 的存在?是不是感觉离了 ChatGPT 寸步难行,很难再进行自己的工作?今天 ChatGPT 大面积宕机,服务直到文章发布(下午5点...
-
大模型使用——超算上部署LLAMA-2-70B-Chat
大模型使用——超算上部署LLAMA-2-70B-Chat 前言1、本机为Inspiron 5005,为64位,所用操作系统为Windos 10。超算的操作系统为基于Centos的linux,GPU配置为A100,所使用开发环境为Anaconda。2、...
-
大模型勇闯洛圣都,加封「GTA五星好市民」!南洋理工、清华等发布视觉可编程智能体Octopus:打游戏、做家务全能干
随着游戏制作技术的不断发展,电子游戏已然成为现实世界的模拟舞台。 以游戏《侠盗猎车手》(GTA)为例,在GTA的世界里,玩家可以以第一人称视角,在洛圣都(游戏虚拟城市)当中经历丰富多彩的生活。 然而,既然人类玩家能够在洛圣都里尽情遨游完成若干任务,我们...
-
stable diffusion API 调用,超级详细代码示例和说明
本文主要介绍 stable diffusion API 调用,准确来说是对 stable diffusion webui 的 API 调用。接口文档可以查看: http://sd-webui.test.cn/docs 这里的 sd-webui...
-
AI绘图风格对照表/画风样稿详细研究记录及经验总结(分析Midjourney和Stable Diffusion风格提示词实际使用情况)不断更新中...
作为AI绘图头牌的Midjourney和Stable Diffusion,其风格提示词都相同 Midjourney是收费的在线服务,通过discord对话形式来生图,局限较大,但由于官方模型做得好,因此效果非常完美; Stable Diffusion...
-
探索人工智能的世界:构建智能问答系统之环境篇
引言 在之前的一篇文章中,我们已经对项目所需的知识点进行了简单的了解。今天,我们将开始搭建整个项目的环境。在接下来的文章中,我们将详细介绍如何配置项目所需的各种工具和环境,以确保项目的顺利进行。 部署 接下来,你可能需要多次重启电脑来确保环境变量的生效。...
-
ChatGPT崩了 服务器达到极限容量
据Downdector这个网站监测网络状况的数据显示,从周三晚上22点左右开始,有很多网友反映OpenAI的ChatGPT和API(开发者用来构建第三方服务的应用程序接口)都出现了故障。这次故障大概持续了100分钟左右。 OpenAI的首席执行官山姆·奥...
-
准确率 99%,新模型可识别 ChatGPT 生成的文本内容
IT之家 11 月 8 日消息,根据 sciencedirect 收录的最新论文,科学家依赖 20 个特征和机器学习算法,可以准确区分内容是由人类论文作者创作,还是由 ChatGPT 生成的,且准确率可以高达 99%。 AI Detector 研究人员...
-
AIGC:初学者使用“C知道”实现AI人脸识别
文章目录 前言 人脸识别介绍 准备工作 创作过程 生成人脸识别代码 下载分类文件 安装 OpenCV 生成人脸识别代码(图片) 创作成果 总结 前言 从前,我们依靠各种搜索引擎来获取内容,但随着各类数据在互联网世界的爆炸式增长...
-
打开stable diffusion webui时,提示缺少clip或clip安装不上的解决方案(windows下的操作)
1.问题描述 打开stable diffusion webui时,提示缺少clip或clip安装不上 2.解决方案 原因:stable diffusion webui环境中的clip其实是open_clip,不能用pip install clip...
-
【AI画画教程】无整合包使用LoRA和Dreambooth训练全流程详解(Linux)
前言 本教程遵循简单原则,不使用任何民间整合包。 目前很多AI画画训练整合包臃肿复杂,教程也是名词乱炖,容易对初学者造成理解误差和使用困难。因为许多整合包都依赖于sd-scripts库,它自身就能支持绝大多数的训练场景,学会这个后,自己也可以根据自己...
-
基于趋动云部署秋葉aaaki的Stable Diffusion整合包v4--linux版
B站大V秋葉aaaki的Stable Diffusion整合V4版发布了,集成度比较高,在windows下解压缩直接就可以使用,整合的非常好。但是笔人没有RTX4090这样级别的显卡,又希望有个高速运行的效果。 所以索性到云GPU主机上来用秋叶aaaki...
-
PHP PHP_EOL 换行符
换行符unix系列用 \nwindows系列用 \r\nmac用 \rPHP中可以用PHP_EOL来替代,以提高代码的源代码级可移植性如: <?php echoPHP_EOL; //windows平台相当于 echo "\r\n"...
-
LLM - LLaMA-2 获取文本向量并计算 Cos 相似度
目录 一.引言 二.获取文本向量 1.hidden_states 与 last_hidden_states ◆ hidden_states ◆ last_hidden_states 2.LLaMA-2 获取 hidden_states ◆...
-
Stable Diffusion WebUI linux部署问题
当我部署好环境后,准备大张旗鼓开搞时,进入项目地址运行python launch.py后发现 下面连接着的报错是 OSError: Can't load tokenizer for 'openai/clip-vit-large-patch14'....
-
万字长文解读Stable Diffusion的核心插件—ControlNet
目录 一、介绍 二、使用方法 三、ControlNet结构 1.整体结构 2.ControlLDM 3.Timestep Embedding 4.HintBlock 5.ResBlock 6.SpatialTransformer 7.S...
-
理论+实践详解最热的LLM应用框架LangChain
3.3 Chat 聊天模型是语言模型的一个变体,聊天模型以语言模型为基础,其内部使用语言模型,不再以文本字符串为输入和输出,而是将聊天信息列表为输入和输出,他们提供更加结构化的 API。通过聊天模型可以传递一个或多个消息。LangChain 目前支持四类...
-
在 LangChain 尝试了 N 种可能后,我发现了分块的奥义!
分块(Chunking)是构建检索增强型生成(RAG)应用程序中最具挑战性的问题。分块是指切分文本的过程,虽然听起来非常简单,但要处理的细节问题不少。根据文本内容的类型,需要采用不同的分块策略。 在本教程中,我们将针对同一个文本采用不同的分块策略,探索不...
-
Stable Diffusion Lora模型训练详细教程
1. 介绍 通过Lora小模型可以控制很多特定场景的内容生成。 但是那些模型是别人训练好的,你肯定很好奇,我也想训练一个自己的专属模型(也叫炼丹~_~)。 甚至可以训练一个专属家庭版的模型(family model),非常有意思。 将自己的训练好...
-
【腾讯云 HAI域探秘】——自行搭建Stable Diffusion模型服务用于生成AI图片 | 自行搭建ChatGL M26BAI模型服务用于AI对话
自行搭建Stable Diffusion模型服务用于生成AI图片 一、服务创建 1、服务地址: 高性能应用服务HAI 新品内测 2、等待审核(大概24小时 二、创建服务 1、新建服务 2、选择AI模型:Stable Diffus...
-
使用JSoup+CSSPath采集和讯网人物信息
使用JSoup+CSSPath采集和讯网人物信息 代码见github 模型类: public class Person { private String name; //基本信息 private Map&l...
-
数据的增量采集与全量采集
文章目录 前言 1. 传统数据库的增量与全量 1.1 Oracle 1.2 Mysql 2. 大数据框架的增量与全量 2.1 业务数据 2.2 日志数据 前言 本文简单示例传统数据库与大数据系统下数据的增量采集与全量采集...
-
抖音数据采集教程,高级版
上一篇文章讲了如何对采集的数据进行抓包和解析,本次主要讲解如何使用自动化工具,实现自动化数据采集。如果想了解抓包和解析部分的内容,可以查阅我的上一篇文章《数据平台初试(技术篇)——抖音数据采集(初级版)》,文末附有上篇文章的传送门。本次用到的工具:移动端自...
-
容器服务Windows Kubernetes使用阿里云日志服务来收集容器日志
目前,容器服务Windows Kubernetes支持将业务容器产生的stdout输出、日志文件同步到阿里云日志服务(SLS)进行统一管理。 支撑组件安装 在Windows Kubernetes集群安装界面勾选使用日志服务,集群会安装支持日志收集的...
-
基于Flume+Log4j+Kafka的日志采集架构方案(上)
Flume是一个完善、强大的日志采集工具,关于它的配置,在网上有很多现成的例子和资料,这里仅做简单说明不再详细赘述。 Flume包含Source、Channel、Sink三个最基本的概念: Source——日志来源,其中包括:Avro Source、...
-
服务器反爬虫攻略:Apache/Nginx/PHP禁止某些User Agent抓取网站
我们都知道网络上的爬虫非常多,有对网站收录有益的,比如百度蜘蛛(Baiduspider),也有不但不遵守robots规则对服务器造成压力,还不能为网站带来流量的无用爬虫,比如宜搜蜘蛛(YisouSpider)。最近张戈发现nginx日志中出现了好多宜搜等垃...
-
关于php网络爬虫phpspider
$configs = array( 'name' => '糗事百科', 'domains' => array( 'qiushibaike.com', 'www.qiushibaike.com' , 'scan_urls' =&...
-
日志系统之Flume采集加morphline解析
日志系统之Flume采集加morphline解析 博客分类: java 概述 这段时间花了部分时间在处理消息总线跟日志的对接上。这里分享一下在日志采集和日志解析中遇到的一些问题和处理方案。 日志采集-flume log...
-
【监控体系】全面系统的Zabbix讲解 | 含源码&监控类型整理
主讲人:王鸿杰,云智慧/企业效能部/架构师 讲师简介:云智慧架构师,PHP/PECL 开发组成员,PECL/SeasClick、PECL/SeasLog Maintainer。6 年研发经验,2018 年加入透视宝团队,致力于 APM 产品的架构与研发...
-
Android网络性能监控方案
背景 移动互联网时代,移动端极大部分业务都需要通过App和Server之间的数据交互来实现,所以大部分App提供的业务功能都需要使用网络请求。如果因为网络请求慢或者请求失败,导致用户无法顺畅的使用业务功能,会对用户体验造成极大影响。 此外,EMAS对外...
-
WebMagic之优秀爬虫框架
1. 一个框架,一个领域 一个好的框架必然凝聚了领域知识。WebMagic的设计参考了业界最优秀的爬虫Scrapy,而实现则应用了HttpClient、Jsoup等Java世界最成熟的工具,目标就是做一个Java语言Web爬虫的教科书般的实现。 如果你...
-
数据采集及预处理——针对“数据”“采集”“预处理”的理解与解析
数据采集及预处理——大数据的关键技术之一 文章目录 数据采集及预处理——大数据的关键技术之一 前言 数据采集与预处理是大数据学习的重要部分; 本篇笔记是对《数据采集与预处理》这个标题的解析 , 我将它分为三个词语进行了详细的理解; 因为...
-
Python爬虫开源项目代码分享,100个
今天博主给大家带来了一份大礼,100个Python爬虫开源项目代码分享,都是完整的项目源码!!! 本文下面所有的爬虫项目都有详细的配套教程以及源码,都已经打包好上传到百度云了,百度云下载链接在文章结尾处! 大家自行获取即可~~~ Python爬虫...
-
python爬虫大作业
Python爬虫大作业 一、大作业要求 结合所选专业方向(信息处理、嵌入式、人工智能、大数据处理),用所学Python技术设计并实现一个与专业方向技术相关的、功能完整的系统,并撰写总结报告。 实现要求: (1)实现时必须涵盖以下技术: 图形界面、...
-
OpenTelemetry 项目解读
Opentelemetry Architecture 在 Collector 内部设计中,一套数据的流入、处理、流出的过程称为 pipeline。一个 pipeline 有三部分组件组合而成,它们分别是 receiver/ processor/ expo...