-
VScode中过时的几个插件，赶快卸载吧！VScode实用设置，快来开启！及Copilot的开启！
⭐ 简介：大家好，我是zy阿二，我是一名对知识充满渴望的自由职业者。 ☘️ 最近我沉溺于Python的学习中。你所看到的是我的学习笔记。 ❤️ 如果对你有帮助，请关注、点赞，让我们共同进步。有不足之处请留言指正！ 以下功能已经在VScode版本: 1...
-
GPT-4V新玩法登顶GitHub热榜，随手一画就能生成网页，web开发者：感受到了威胁
随手一画就能生成网页!GPT-4V新玩法登顶GitHub热榜，狂揽3000+?: 现在只要简单画一画，框一框，点击执行: “啪”地一下，一个带有各种“按钮”的网页就做好了: 对应代码也一览无余: 整个操作过程十分快捷简单。 新玩法不只在GitHub上...
-
强推集成GPT-4的编辑器Cursor；面向ChatGPT编程18种方法；如何将AI绘画融合于工作流；ChatGPT SEO公式大揭秘 | ShowMeAI日报
?日报合辑 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦！ ? 『AI 作品不受版权法保护？假的！』保护「人工」不保护「智能」，技术工具可以成为创造过程的一部分 3月16日，美政府网站 Federal Register 发布...
-
AI视野：ChatGPT测试新功能“从聊天中学习”；Kimi Chat全面开放服务；文心生物计算大模型宣布升级；Meta发布AI视频编辑工具Emu Video；贾跃亭也开始搞AI了
???AI新鲜事 ChatGPT测试新功能“从聊天中学习” ChatGPT测试新功能，能学习用户历史聊天、理解偏好，还支持重置记忆和阅后即焚功能，使其更像个性化的朋友。 【AiBase提要:】 ? 学习历史聊天: ChatGPT将能够在一个新的“My C...
-
使用 ChatGPT、Stable Diffusion、React 和 NodeJS 构建网站画廊
TLDR 在本文中，您将学习如何构建一个 Web 应用程序，该应用程序使用 ChatGPT 和 Stable Diffusion 为您提供的任何网站描述生成徽标和合适的域名。 介绍 人工智能正在接管世界。这些技术每天都在震撼着我们的世界：...
-
微软开发定制AI芯片“由软变硬”，到底打的什么算盘？
传闻是真的，微软正在开发定制AI芯片，它可以用来训练大语言模型，让微软获得更多独立，避免过度依赖英伟达。不只如此，微软还在开发Arm CPU，主要供云计算网络使用。两款芯片瞄准的都是Azure数据中心，微软企业客户可以用它们来搭建AI平台。 最新消息显...
-
GPT-4V新玩法登顶GitHub热榜，随手一画就能生成网页！web开发者：感受到了威胁
随手一画就能生成网页!GPT-4V新玩法登顶GitHub热榜，狂揽3000+?: 现在只要简单画一画，框一框，点击执行: “啪”地一下，一个带有各种“按钮”的网页就做好了: 对应代码也一览无余: 整个操作过程十分快捷简单。 新玩法不只在GitHub...
-
GPT-4V新玩法登顶GitHub热榜，随手一画就能生成网页！Web开发者：感受到了威胁
随手一画就能生成网页！GPT-4V新玩法登顶GitHub热榜，狂揽3000+?： 现在只要简单画一画，框一框，点击执行： “啪”地一下，一个带有各种“按钮”的网页就做好了： 对应代码也一览无余： 整个操作过程十分快捷简单。 新玩法不只在GitH...
-
AI原型“Make It Real”震惊开发者，将草图转化为可运行软件
在本周三，一款名为"tldraw"的协作白板应用发布了一项名为"Make It Real"的功能原型，引起了开发者社区的热议。该功能利用OpenAI的GPT-4V API，将用户绘制的矢量图转化为可运行的Tailwind CSS和JavaScript we...
-
AI开源项目screenshot-to-code 借助GPT-4V直接把网页截图制作成HTML网页
这是一个简单的应用程序，可将截图转换为HTML/Tailwind CSS。它利用GPT-4Vision生成代码，并使用DALL-E3生成类似的图像。用户只需上传截图，即可获得整洁的前端代码，包括HTML、Tailwind CSS和JavaScript。...
-
【微信小程序开发】小程序的事件处理和交互逻辑（最详细）
前言 在微信小程序中，事件处理和交互逻辑是开发过程中非常重要的环节，它们直接影响到用户体验和功能实现。今天为大家继续详解小程序的事件处理和交互逻辑 文章目录 前言 为什么要学习事件处理和交互逻辑？ 事件处理基础 事件类型和...
-
.Net 使用OpenAI开源语音识别模型Whisper
.Net 使用OpenAI开源语音识别模型 Whisper 前言 Open AI在2022年9月21日开源了号称其英文语音辨识能力已达到人类水准的 Whisper 神经网络，且它亦支持其它98种语言的自动语音辨识。 Whisper系统所提供的自动语音...
-
如何在VS Code中运用GitHub Copilot提高编程效率
本文首发于公众号：更AI (power_ai ，欢迎关注，编程、AI干货及时送! 在Visual Studio Code中开始使用GitHub Copilot GitHub Copilot是一个AI配对编程工具。这是一个花哨的说法，称它为"第二程...
-
集成AIGC能力的多数据库客户端工具Chat2DB免费试用
一、简介 Chat2DB一款由阿里巴巴开源免费的多数据库客户端工具，支持windows、mac本地安装，也支持服务器端部署，web网页访问。和传统的数据库客户端软件Navicat、DBeaver 相比Chat2DB集成了AIGC的能力，能够将自然语言转换...
-
NLP-分词器：SentencePiece【参考Chinese-LLaMA-Alpaca在通用中文语料上训练的20K中文词表并与原版LLaMA模型的32K词表进行合并的代码】
背景 随着ChatGPT迅速出圈，最近几个月开源的大模型也是遍地开花。目前，开源的大语言模型主要有三大类：ChatGLM衍生的大模型（wenda、ChatSQL等）、LLaMA衍生的大模型（Alpaca、Vicuna、BELLE、Phoenix、Chim...
-
python爬虫入门教程(非常详细)
1、什么是爬虫 爬虫指的是一种自动化程序，能够模拟人类在互联网上的浏览行为，自动从互联网上抓取、预处理并保存所需要的信息。 爬虫运行的过程一般是先制定规则（如指定要抓取的网址、要抓取的信息的类型等），紧接着获取该网址的HTML源代码，根据规则对源代码进...
-
使用JSoup+CSSPath采集和讯网人物信息
使用JSoup+CSSPath采集和讯网人物信息 代码见github 模型类： public class Person { private String name; //基本信息 private Map&l...
-
可观测数据采集端的管控方案的简单对比
概述 当前，主流的日志采集产品除了SLS的ilogtail，还有Elastic Agent、Fluentd、Telegraf、Sysdig、Logkit、Loggie、Flume等。详细的对比结果见下表： 备注： 集群监控：表示工具可以查看管理采集...
-
防止网页被搜索引擎爬虫和网页采集器收录的方法汇总
防止网页被搜索引擎爬虫和网页采集器收录的方法汇总 博客分类： 搜索引擎，爬虫 最常规的防止网页被搜索引擎收录的方法是使用robots.txt，但是这样做的弊端是要将所有已知的搜索引的爬虫信息都罗列进去，难免有疏漏。下面的这些方法是可以标本兼治的...
-
关于php网络爬虫phpspider
$configs = array( 'name' => '糗事百科', 'domains' => array( 'qiushibaike.com', 'www.qiushibaike.com' , 'scan_urls' =&...
-
java爬虫实时采集小说+springboot推荐算法+实现在线小说免费阅读推荐系统
总结，本文从系统建设涉及到的技术介绍到框架搭建，对系统涉及到的商品推荐算法给出了详细的设计流程及核心代码块，从整体上完成了本应用商品推荐系统的开发过程。 如何针对互联网各大小说阅读网站的小说数据进行实时采集更新，建立自己的小说资源库，针对海量的小说数据开...
-
浅谈网络爬虫
浅谈网络爬虫 什么是网络爬虫？ 爬虫能干什么 搜索引擎 抢票、刷票等自动化软件 部分破解软件 金融等行业数据挖掘、分析数据来源 其他 爬虫很简单 语言的选择 两种语言的小demo 爬虫也不简单 ip、浏览器头(User-Agent 、...
-
网络爬虫：Python如何从网上爬取数据？
网络爬虫，就是按照一定规则自动访问互联网上的信息并把内容下载下来的程序或脚本。 在整个的Python爬虫架构里，从基础到深入我分为了10个部分：HTTP、网页、基本原理、静态网页爬取、动态网页爬取、APP爬取、多协程、爬虫框架、分布式爬虫以及反爬虫机制与...
-
爬虫知识超详细讲解(零基础入门，老年人都看的懂)
1.爬虫是什么？ 网络爬虫是一种按照一定的规则、自动的抓取万维网信息的脚本或者程序 简单来说：爬虫是用事先写好的程序去抓取网络上的数据，这样的程序叫爬虫 2.爬虫的分类 按照使用场景来分，可以分为两类：通用爬虫 和 聚焦爬虫 通用爬虫：搜...
-
【爬虫进阶】常见的反爬手段和解决方法（建议收藏）
爬虫进阶：常见的反爬手段和解决思路 1 服务器反爬的原因 2 服务器常反什么样的爬虫 3 反爬虫领域常见的一些概念 4 反爬的三个方向 5 常见基于身份识别进行反爬 5.1 通过headers字段来反爬 5.2 通过请求参数来反爬 6 常见...
-
WebMagic之优秀爬虫框架
1. 一个框架，一个领域 一个好的框架必然凝聚了领域知识。WebMagic的设计参考了业界最优秀的爬虫Scrapy，而实现则应用了HttpClient、Jsoup等Java世界最成熟的工具，目标就是做一个Java语言Web爬虫的教科书般的实现。 如果你...
-
爬虫管理平台Crawlab v0.4.1发布（可配置爬虫）
前言 Crawlab是基于Golang的分布式爬虫管理平台，支持Python、NodeJS、Java、Go、PHP等多种编程语言以及多种爬虫框架。 相信已经对 Crawlab 有所了解的同学应该大概了解 Crawlab 是一个爬虫管理平台。如果不理解什...
-
网站数据统计分析之二：前端日志采集是与非
在上一篇《网站数据统计分析之一：日志收集原理及其实现》中，咱们详细的介绍了整个日志采集的原理与流程。但是不是这样在真实的业务环境中就万事大吉了呢？事实往往并非如此。比如针对前端采集日志，业务的同学经常会有疑问：你们的数据怎么和后端日志对不上呢？后端比你们多...
-
爬虫中常见的反爬手段和解决方法
每日分享： 欲成大树，莫与草争；将军有剑，不斩草蝇；遇烂入及时止损，遇烂事及时抽身。格局小的人喜欢诋毁和嫉妒，因为我不好，我也不想让你好。格局大的人都懂得一个道理，强者互帮，弱者互撕。人性最大的愚蠢就是互相为难。人生匆匆：自渡是一种能力，渡人就是一种格...
-
BS1071-基于javaweb+springboot实现医疗健康档案大数据采集清洗数据分析可视化系统
本医疗健康档案大数据采集清洗数据分析可视化的设计与实现，系统主要采用java，springboot，动态图表echarts，vue，mysql，mybatisplus，医疗健康档案数据分析，html，css，javascript等技术实现，主要通过互联网采...
-
爬虫的基本原理：爬虫概述及爬取过程
一、什么是爬虫 爬虫就是获取网页并提取和保存信息的自动化程序。 1）我们可以把互联网比作一张大网，而爬虫（网络爬虫）便是在网上爬行的蜘蛛。把网的节点比作一个个网页，爬虫爬到这就相当于访问了该页面，获取了其信息。可以把节点间的连线比作网页与网页之间的链...
-
python爬虫1
1.1 网络爬虫概述 网络爬虫（又被称为网络蜘蛛、网络机器人，在某社区中经常被称为网页追逐者），可以按照指定的规则（网络爬虫的算法）自动浏览或抓取网络中的信息，通过 Python 可以很轻松地编写爬虫程序或者是脚本。 在学习爬虫时不仅需要了解爬虫的实...
-
爬虫学习总结
记录mac使用chromedriver的解决办法 CSDN解决办法链接chr=webdriver.Chrome(r'/Users/a./opt/chromedriver/chromedriver' # 带完整路径的写法 我的插件所在地址/Us...
-
【PHP】Nginx+Php服务器环境部署
Nginx+Php服务器环境部署 1、安装环境及软件版本 1.1 windows版本 10 1.2 php服务版本：php-5.2.17-nts-Win32-VC6-x86 1.3 nginx版本：nginx-1.20...
-
开源网站访问统计系统Piwik的基本使用
#piwik简介# 最近试用了开源的网站访问统计系统——piwik，觉得功能非常强大，一点不输于商业产品百度统计与google analysis，替代他们完全没有问题。 关于piwik的简介可以去piwik的官网( http://piwik.org ...
-
大数据的关键技术之——大数据采集
大数据的关键技术之——大数据采集 本文目录： 一、写在前面的话 二、大数据采集概念 三、大数据采集步骤 3.1、大数据采集步骤（总体角度） 3.2、大数据采集步骤（数据集角度） 3.3、大数据采集步骤（数据集角度） 四、数据源与数据类型...
-
数据采集的基本原理
爬虫基本原理 爬虫是 模拟用户在浏览器或者App应用上的操作，把操作的过程、实现自动化的程序 当我们在浏览器中输入一个url后回车，后台会发生什么？比如说你输入https://www.baidu.com 简单来说这段过程发生了以下四个步骤： 查找...
-
初识PHP(1)：PHP是什么
PHP，Hypertext Preprocessor，翻译过来就是超文本预处理器，是一种在服务器上执行的脚本语言。 PHP可以做什么？ 那么为什么在HTML，CSS的基础上，还需要PHP呢？ 前2者在为我们提供静态页面内容的时候，PHP可以为我们...
-
【转】社会化海量数据采集爬虫框架搭建
随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。...
-
python数据采集（requests+）
前言 在开始数据采集之前，需要了解的知识： 采集的本质就是通过调用网页或者接口请求到数据。 在采集的过程中，我们常常需要对程序进行伪装才可以进行完整的采集。 python采集涉及到的热门框架：scrapy，selenium，beautiful...
-
爬虫入门（一）：基础知识与原理
前言 一直以来，对爬虫技术都十分向往，虽然是学Java出身，但是很少有编码的机会，因为热爱，想认真学习一下这方面的技术，故用此系列文章来记录自己的学习过程。一方面是提升自己的学习效果，另一方面希望能对同样想学习爬虫技术的同学能提供一些小小的帮助。...
-
python爬虫详解
python爬虫详解 1、基本概念 1.1、什么是爬虫 网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利...
-
一篇万字博文带你入坑爬虫这条不归路 【万字图文】
?最近，很多粉丝私信我问——爬虫到底是什么？学习爬虫到底该从何下手？? ?其实，我想说的也是曾经的我身为小白的时候某些大牛对我说过的——很多时候我们都有一颗想要学习新知识的心，却总是畏惧于对想要学习内容的无知，这也是多数人失败甚至后悔终身的：因为他们从来...
-
Nginx 作为web server 的优化要点
常用优化要点 nginx使用的是固定数量的workers, 每个worker都处理进入的请求。最佳实践是每个CPU内核配置一个worker. 如何知道您的系统有几个CPU？ $ grep ^processor /proc/cpuinfo...
-
Python爬虫入门必学知识点
Python爬虫是一种您可以轻松地做的技术，并且可以深入挖掘。例如爬取1000万个数据可能需要一周时间。但是，如果您的爬虫玩得更好，那么您可以在分布式爬虫中完成1000万个数据。虽然它们是爬虫，但菜鸟和大牛之间的区别！这就和太极拳似的，易学难精！ 这里面...
-
使用python编写网络爬虫
使用python编写网络爬虫 前言 1、为何使用爬虫 2、编写爬虫的知识要求 3、确定爬虫使用的工具库 4、确定要获取的数据集 4.1 分析Url地址变化 4.2 获取目标数据集所在的HTML区域 5、开始爬取页面 5.1 模拟浏览器...
-
爬虫的基本原理：爬虫能爬什么数据
爬虫可以爬取的数据大致有四类： 网页源代码。最常见的便是常规网页，它们对应着HTML代码，而最长抓取的便是HTML源代码。 JSON字符串。可能有些网页返回的不是HTML源代码，而是一个JSON字符串（API接口大多采用这种形式），这种格式的数据方...
-
用c# 实现一个爬虫
什么是爬虫？ 爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，简单来说就是模拟浏览器发送http 请求，然后获取数据 实战 目标网站：https://www.baidu.com/ 第一步 分析 打开浏览器的开发者工具，快捷键f12...
-
Python之爬虫 搭建代理ip池
文章目录 前言 一、User-Agent 二、发送请求 三、解析数据 四、构建ip代理池，检测ip是否可用 五、完整代码 总结 前言 在使用爬虫的时候，很多网站都有一定的反爬措施，甚至在爬取大量的数据或者频繁地访问该网站多次时还...
-
织梦CMS初试-套用指定的html模板，解析内容列表【笔记】
1、以下是从官方摘抄的下来的织梦cms的目录结构，方便以后认识了解织梦cms的组成部分，从而更好的学习和使用。 /dede 管理后台目录（建议：安全起见，正式发布后，修改目录名称） /freelist 自由文档列表生成目录 /ht...