-
PHP PHP_EOL 换行符
换行符unix系列用 \nwindows系列用 \r\nmac用 \rPHP中可以用PHP_EOL来替代，以提高代码的源代码级可移植性如： <?php echoPHP_EOL; //windows平台相当于 echo "\r\n"...
-
AIGC专栏7——EasyPhoto 人像训练与生成原理详解
AIGC专栏7——EasyPhoto 人像训练与生成原理详解 学习前言 源码下载地址 为什么是Lora EasyPhoto的训练流程 1、数据的预处理 a、人像排序 i、人脸特征向量提取过程 ii、人脸偏移角度计算 iii、人像排序 b...
-
LLMs：LLaMA Efficient Tuning(一款可高效微调【全参数/LoRA/QLoRA】主流大模型【ChatGLM-2/LLaMA-2/Baichuan等】的高效工具【预训练+指令监督微
LLMs：LLaMA Efficient Tuning(一款可高效微调【全参数/LoRA/QLoRA】主流大模型【ChatGLM-2/LLaMA-2/Baichuan等】的高效工具【预训练+指令监督微调+奖励模型训练+PPO 训练+DPO 训练】 的简介、...
-
Stable Diffusion WebUI linux部署问题
当我部署好环境后，准备大张旗鼓开搞时，进入项目地址运行python launch.py后发现 下面连接着的报错是 OSError: Can't load tokenizer for 'openai/clip-vit-large-patch14'....
-
秋叶大神的Stable Diffusion整合包
前段时间在研究Stable Diffusion本地化部署，但是对于新手小白来说算是比较难得，不过没关系，我在B站发现了秋叶大神的Stable Diffusion整合包，我在用很方便，必须分享出来。 Stable Diffusion整合包下载地址链接: 链...
-
【AI绘画--七夕篇】：如何训练Lora模型打造令人惊叹的AI绘画
目录 前言 一、? 选择合适的云端平台 1-1、云端平台的优势 1-2、选择适合的云端平台 二、? 账号注册 三、? 开始炼丹 3-1、购买算力并创建工作空间 3-2、启动工作空间 3-3、应用市场一键安装 四、? 使用Stable-D...
-
语音识别开源框架 openAI-whisper
Whisper 是一种通用的语音识别模型。 它是OpenAI于2022年9月份开源的在各种音频的大型数据集上训练的语音识别模型，也是一个可以执行多语言语音识别、语音翻译和语言识别的多任务模型。 GitHub - yeyupiaoling/Whispe...
-
中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）
本文目的是让大家先熟悉模型的部署，简单入门；所以只需要很小的算力，单台服务器 单GPU显卡（显存不低于12GB），操作系统需要安装 Ubuntu 18.04。 1 服务器&操作系统 1.1服务器的准备...
-
IoT与鸿蒙、低代码、生成式AI，引爆技术浪潮——华为云开发者日南京站成功举办
本文分享自华为云社区《IoT与鸿蒙、低代码、生成式AI，引爆技术浪潮——华为云开发者日南京站成功举办》，作者：华为云社区精选 。 近日，华为云开发者日HDC.Cloud Day南京站成功举行，开发者不仅聆听了华为云技术专家IoT与鸿蒙的结合，低代码，生成...
-
Stable Diffusion下载完身体有点吃不消（内附秋叶集合安装包）
大家好！今天我来介绍一款令人惊叹的开源软件——Stable Diffusion。这是一款基于AI技术的图片生成软件，可以让用户轻松随心所欲地创建出各种令人惊叹的图片。 在这里插入图片描述 Stable Diffusion拥有强大的AI算法，不管是风景、人...
-
万字长文解读Stable Diffusion的核心插件—ControlNet
目录 一、介绍 二、使用方法 三、ControlNet结构 1.整体结构 2.ControlLDM 3.Timestep Embedding 4.HintBlock 5.ResBlock 6.SpatialTransformer 7.S...
-
【多图杀猫贴】：用AIGC描绘虚拟世界哲学
之前我在《9个关键词，2万字漫谈元宇宙》这篇长文的“科幻”章节中，提到过几个有趣的哲学概念： 缸中之脑、庄周梦蝶、费米悖论、洞穴之喻...等等。 哲学概念，特点是既抽象、又可以发散出画面感。托AIGC的热潮，我们可以念念咒语，就能生成惊艳（或...
-
Stable Diffusion Lora模型训练详细教程
1. 介绍 通过Lora小模型可以控制很多特定场景的内容生成。 但是那些模型是别人训练好的，你肯定很好奇，我也想训练一个自己的专属模型（也叫炼丹～_～）。 甚至可以训练一个专属家庭版的模型（family model），非常有意思。 将自己的训练好...
-
【腾讯云 HAI域探秘】——自行搭建Stable Diffusion模型服务用于生成AI图片 | 自行搭建ChatGL M26BAI模型服务用于AI对话
自行搭建Stable Diffusion模型服务用于生成AI图片 一、服务创建 1、服务地址： 高性能应用服务HAI 新品内测 2、等待审核(大概24小时 二、创建服务 1、新建服务 2、选择AI模型：Stable Diffus...
-
让大模型分析csdn文章质量 —— 提取csdn博客评论在文心一言分析评论区内容
文章目录 ⭐前言 ⭐技术栈选择 ⭐前端页面搭建 ⭐后端获取数据暴露接口 ?requests获取数据 ? django 抛出api 接口 ⭐效果 ⭐结束 ⭐前言 大家好，我是yma16，本文分享关于 让大模型分析csdn文章质量...
-
DeepMind指出「Transformer无法超出预训练数据实现泛化」，但有人投来质疑
距离马斯克的 xAI 公布 Grok 才过去一天，刚刚，xAI 又公布了另一款 AI 产品，一个可用于 prompt 工程和可解释性研究的集成开发环境：PromptIDE。 接连不断的新品发布，也让网友纷纷感叹：「xAI 团队的开发速度简直是疯了！」...
-
1个APP的生产过程
数据准备 可以手动录入 可以从其他采集scrapy 数据存储，关系型mysql,sqlite,非关系型redis,mongodb 接口准备 开发接口，用熟悉的语言node，php，python。熟悉的架构express,fla...
-
MySQL server has gone away 问题的解决方法
我的原因是数据库导出之后，从新导入新库sql语句太长 set interactive_timeout=24*3600 mysql出现ERROR : (2006, 'MySQL server has gone away' 的问题意思就是指clien...
-
基于TableStore/MaxCompute的数据采集分析系统介绍
摘要 在互联网高度发达的今天，ipad、手机等智能终端设备随处可见，运行在其中的APP、网站也非常多，如何采集终端数据进行分析，提升软件的品质非常重要，例如PV/UV统计、用户行为数据统计与分析等。虽然场景简单，但是数据量大，对系统的吞吐量、实时性、分析...
-
Webrtc 屏幕共享
功能简介 屏幕共享包括屏幕采集和视频流推送两部分功能。与远程桌面不同，屏幕共享只是将本地桌面内容以视频流的方式分享到网络。本文的重点，是讲解如何应用 webrtc 的屏幕采集功能。对于 webrtc 视频编码传输功能的应用，需要专门的文章进行讲解，这里暂...
-
MQ对比
MQ分类ActiveMQ 优点:单机吞吐量万级,时效性ms级,可用性高,基于主从架构实现高可用性，消息可靠性较低的概率丢失数据 缺点:官方社区现在对ActiveMQ 5.x维护越来越少，高吞吐量场景较少使用。 Kafka 适用场景 Kafka主要特...
-
Xhprof php性能测试工具用法小结
简介 改进php应用程序的性能是一项非常耗时耗力的工作，但是究竟程序中是哪些函数消耗掉了大部分执行时间，这通常都不是非常明显的。 Xhprof 是facebook推出的轻量级的php性能分析工具，下面简单介绍下Xhprof的安装及使用。 准备 下...
-
恶意爬虫防护 | 京东云技术团队
引言 如果您仔细分析过任何一个网站的请求日志，您肯定会发现一些可疑的流量，那可能就是爬虫流量。根据Imperva发布的《2023 Imperva Bad Bot Report》在2022年的所有互联网流量中，47.4%是爬虫流量。与2021年的42.3%...
-
迅睿CMS 小说采集方法
本方法是一次采集一个分类里面所有小说及其章节，数据量有点大，电脑不好的会卡，自己可以一本书一本书采集，最主要的是要采集到的数据以及web发布配置要跟手册中的一样。 注：采集数据以及web发布将导致你后期发布到网站的小说章节及小说会不会重复。请在写采...
-
#研发解决方案介绍#基于StatsD+Graphite的智能监控解决方案
本文档适用人员：研发和运维员工 提纲： 监控平台要做到什么程度？为什么要自己做？ 几个通用技术问题 绘图所依赖的数据如何收集？如何加工？如何存储？ 图形...
-
可观测数据采集端的管控方案的简单对比
概述 当前，主流的日志采集产品除了SLS的ilogtail，还有Elastic Agent、Fluentd、Telegraf、Sysdig、Logkit、Loggie、Flume等。详细的对比结果见下表： 备注： 集群监控：表示工具可以查看管理采集...
-
基于Flume+Log4j+Kafka的日志采集架构方案（上）
Flume是一个完善、强大的日志采集工具，关于它的配置，在网上有很多现成的例子和资料，这里仅做简单说明不再详细赘述。 Flume包含Source、Channel、Sink三个最基本的概念： Source——日志来源，其中包括：Avro Source、...
-
第二章 西门子数控机床采集方案
第二章 西门子数控机床采集方案 前言 一、西门子官方网站介绍 二、828D与840D SL介绍 三、OPC UA采集方案 四、机床端设置 4.1 数控软件版本确认 4.2 V4.05的OPC UA激活设置 4.2.1 设置系统选项 4.2....
-
数据采集及采集工具八爪鱼的使用
数据采集及采集工具八爪鱼的使用 一个数据的走势是由多个维度影响的，因此我们需要通过多源的数据采集，尽可能收集到更多的数据维度，公司保证数据质量，才能得到高质量的数据挖掘结果。 数据源分类： 开放数据源：政府、企业、高校等 爬虫获取：网页、APP...
-
APP爬虫如何采集数据
APP爬虫和网页爬虫都是一种类型。APP的数据接口需要抓包解析，而基本上都则使用HTTPS发送数据，与网页爬虫不同。 如何抓包： 使用Fiddler抓包工具，用Fiddler对APP应用软件进行抓包。需要证书认证和使用全局代理发送HTTPS协议传送数据...
-
重磅！「神策数据开源社区」官网正式上线！
近日，神策数据开源社区官网（Sensors Data Open Source）正式上线。神策数据开源社区是一个关于数据采集的开放社区，致力于帮助企业构建数据根基，网址：http://opensource.sensorsdata.cn。 立足于重构中国互联...
-
服务器反爬虫攻略：Apache/Nginx/PHP禁止某些User Agent抓取网站
我们都知道网络上的爬虫非常多，有对网站收录有益的，比如百度蜘蛛（Baiduspider），也有不但不遵守robots规则对服务器造成压力，还不能为网站带来流量的无用爬虫，比如宜搜蜘蛛（YisouSpider）。最近张戈发现nginx日志中出现了好多宜搜等垃...
-
php curl 内容采集
function contentCollection($url { $data = array('list'=>null,'status'=>0 ; if(!$url { $data['i...
-
python网络爬虫用到哪些技术_Python爬虫所用到的技术有哪些
python爬虫一般用哪个模块XPath 是一门在 XML 文档中查找信息的语言。python的爬虫框架scrapy不是用正则匹配来查找字符串，而是用xpath。 python爬虫需要学什么模块和框架 框架常用的有：scrapy ,pyspi...
-
国内最具影响力科技创投媒体36Kr的容器化之路
本文由1月19日晚36Kr运维开发工程师田翰明在Rancher技术交流群的技术分享整理而成。微信搜索rancher2，添加Rancher小助手为好友，加入技术群，实时参加下一次分享~ 田翰明，36Kr 运维开发工程师，在 36Kr 主要负责运维...
-
python爬虫selenium操作下拉框详解
使用python爬虫的selenium操作网页的下拉框。 以该网站为例：https://www.17sucai.com/pins/demo-show?id=5926 该网页下存在多个可供测试的下拉框。 基本脚手架代码： from selenium.we...
-
浅谈网络爬虫
浅谈网络爬虫 什么是网络爬虫？ 爬虫能干什么 搜索引擎 抢票、刷票等自动化软件 部分破解软件 金融等行业数据挖掘、分析数据来源 其他 爬虫很简单 语言的选择 两种语言的小demo 爬虫也不简单 ip、浏览器头(User-Agent 、...
-
Python—WebSocket爬虫实战
1. WebSocket WebSocket 是 HTML5 开始提供的一种在单个 TCP 连接上进行全双工通讯的协议。在 WebSocket API 中，浏览器和服务器只需要做一个握手的动作，然后，浏览器和服务器之间就形成了一条快速通道。两者之间...
-
网络爬虫：Python如何从网上爬取数据？
网络爬虫，就是按照一定规则自动访问互联网上的信息并把内容下载下来的程序或脚本。 在整个的Python爬虫架构里，从基础到深入我分为了10个部分：HTTP、网页、基本原理、静态网页爬取、动态网页爬取、APP爬取、多协程、爬虫框架、分布式爬虫以及反爬虫机制与...
-
在代码中如何使用账密形式爬虫ip
随着人工智能与大数据技术的快速发展，大数据作为智能时代的产物，他能帮助各行各业分析解决问题。网络爬虫应运而生，帮助更多企业更高效的采集数据，那么在数据采集中如何使用账密形式的爬虫ip？ 当您选择了“用户名+密码”授权模式，希望这篇帮助文档能对您有所帮助。...
-
java可以进行爬虫吗_java可以写爬虫吗
我们经常会使用网络爬虫去爬取需要的内容，提到爬虫，可能大家伙都会想到python，其实除了python，还有java。java的编程语言简单规范，是很好的爬虫工具。而且java爬虫的语言运行速度比python快，另外，java的多线程是可以利用...
-
【Scrapy爬虫】批量采集百度网页_知道_新闻_360图片_优酷视频
Scrapy爬虫】批量采集百度网页_百度知道_百度新闻_360图片_优酷视频 有一堆关键词，采集一批对应的内容，仅需一个脚本：说白就是一个关键词对应有几篇内容、知道、新闻以及图片和视频 可以用来干什么：使用web框架（Flask、Django），CMS...
-
八、python爬虫伪装 [免费伪装ip伪装请求头]
python爬虫伪装，伪装请求头以及使用代理ip 前言 一、爬虫都拿走了些什么 二、伪造请求头 1.下载my-fake-useragent库 三、使用代理ip 1、Redis在win10上的安装 2、开源项目的使用 总结 前言...
-
爬虫知识超详细讲解(零基础入门，老年人都看的懂)
1.爬虫是什么？ 网络爬虫是一种按照一定的规则、自动的抓取万维网信息的脚本或者程序 简单来说：爬虫是用事先写好的程序去抓取网络上的数据，这样的程序叫爬虫 2.爬虫的分类 按照使用场景来分，可以分为两类：通用爬虫 和 聚焦爬虫 通用爬虫：搜...
-
Python爬虫之入门保姆级教程，学不会我去你家刷厕所
注重版权，转载请注明原作者和原文链接 作者：Bald programmer 今天这个教程采用最简单的爬虫方法，适合小白新手入门，代码不复杂 文章目录 今天这个教程采用最简单的爬虫方法，适合小白新手入门，代码不复杂 首先打开咋们的网...
-
《爬虫逆向进阶实战》书籍介绍
《爬虫逆向进阶实战》书籍介绍 内容简介 《爬虫逆向进阶实战》以爬虫逆向方向的相关技术和岗位要求进行撰写，结合作者多年工作经验，总结了爬虫的架构体系、主流框架、技术体系和未来发展。 书中包括各种自动化工具、抓包工具、逆向工具的使用，包括Play...
-
学习爬虫心得体会
什么是爬虫：使用编程语言所编写的一个用于爬取Web或Appd数据的应用程序。 爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web Crawl...
-
Android网络性能监控方案
背景 移动互联网时代，移动端极大部分业务都需要通过App和Server之间的数据交互来实现，所以大部分App提供的业务功能都需要使用网络请求。如果因为网络请求慢或者请求失败，导致用户无法顺畅的使用业务功能，会对用户体验造成极大影响。 此外，EMAS对外...
-
Python快速爬虫入门（简洁，高效）
爬虫也许对于大家并不陌生，所谓爬虫，即：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息，简单来说就是按照一定的规则，自动地抓取万维网信息的程序或脚本，就比如爬取知乎，百度文库里面的付费内容，抢火车票等各种优惠券，以及爬取vip的音乐视频等...
-
自建优质爬虫代理池
代理池说明 在进行网络爬虫开发时，我们经常需要使用代理来隐藏我们的真实 IP 地址，防止被目标网站封锁。然而，公共代理 IP 的速度和稳定性往往难以保证，会给我们的爬虫开发带来很大的麻烦。因此，自己搭建一个稳定的爬虫代理池是非常必要的。 Spider...