-
使用Python爬虫根据关键字获取目标信息的方法与步骤
使用Python爬虫根据关键字获取目标信息的方法与步骤 一、网页分析 1.打开所要爬取的目标URL 2.选择任意地区，输入想要搜索的关键字 3.使用开发者工具获取参数、请求头等（MAC：fn+F12，Win：F12） 4、城市编码...
-
抖音数据采集教程，Retrofit 开发与 hook
抖音数据采集教程，Retrofit 开发与 hook 短视频、直播数据实时采集接口，请查看文档： TiToData 免责声明：本文档仅供学习与参考，请勿用于非法用途！否则一切后果自负。 Retrofit 文中所有 Retrofit 都...
-
Python013--爬虫01（工具准备）
python计算机语言在爬虫方面有着非常大的优势，能够导入几个模块，并使用这些模块来爬取我们需要的数据，一般来说，我们要爬取数据之前必须确定我们的浏览器是什么（推荐下载谷歌浏览器），要下载并安装selenium及tld。如下我们将逐一进行下载和安装。...
-
composer 自动载入 autoload 的使用详解 psr0/psr4/classmap/files
composer 的自动载入 autoload 可以很方便的帮我们快速的构建一套自己的框架结构。 而自动载入本身其实是利用命名空间进行对应规则或标准的路径映射，从而找到我们所需的类文件，读取载入都当前运行时。利用命名空间的自动载入都是懒加载形式的，并不会...
-
Python爬虫简单入门教程
这篇 Python 爬虫教程主要讲解以下 5 部分 了解网页结构； 使用 requests 库抓取网站数据； 使用 Beautiful Soup 解析网页； 清洗和组织数据； 爬虫攻防战； 了解网页结构 网页一般由三部分组成，分别是 HT...
-
005：认识Python爬虫框架之Scrapy
本篇文章带大家认识一下网络爬虫框架Scrapy。 什么是框架： 在建筑学概念中，框架是一个基本概念上的结构，用于去解决或者处理复杂的问题。通俗来说也就是一个有约束性的架子。 在我们计算机领域中，特指为解决一个开放性问题而设计的具有一定约...
-
bilibili用户信息爬虫（全网最全）
bilibili用户信息爬虫 bilibili用户已经突破7亿了（根据UID来看） Github: Leopard-C/BiliUserSpider 0. 成果 bilibili御坂网络计划：https://misaka.sisters.top...
-
ELK日志采集
ELK 即 Elasticsearch、Logstash、Kibana,组合起来可以搭建线上日志系统，在目前这种分布式微服务系统中，通过 ELK 会非常方便的查询和统计日志情况. 本文以 pigx 的 upms 模块为例 ELK 中各个服务的作用...
-
java爬虫与python爬虫对比
java爬虫与python爬虫的对比： python做爬虫语法更简单，代码更简洁。java的语法比python严格，而且代码也更复杂 示例如下： url请求： java版的代码如下： public String call (String url ...
-
Python3 网络爬虫 ＜教程全集＞
1.1 最简单的爬虫 @ 我的老师：Jack Cui PS：我是通过 看 Jack Cui 老师的文章 学习的爬虫，也为我之后的 爬虫打开了大门。 1.1.1 URL 是什么？ 在学习 爬虫之前，我们必须知道 我们 平常 所说的网址，实际上...
-
采集电子报纸
项目托管于Github 1、接口 /** *报纸采集器 * @author 杨尚川 */ public interface PaperCollector { /** * 下载当日报纸，一个文件对应一个版面 ...
-
一文带你了解Python爬虫（一）——基本原理介绍
一、“大数据时代”，数据获取的方式： 1. 企业生产的用户数据： 大型互联网公司有海量用户，所以他们积累数据有天然的优势。有数据意识的中小型企业，也开始积累的数据。2. 数据管理咨询公司： 通常这样的公司有很庞大的数据采集团队，一般会通过市场调研、问卷...
-
php实现爬虫
爬虫技术 简介 目前主流实现爬虫的方法都是使用pathon,但是不一定只有pathon，php也有很多爬虫工具，比如自带的curl，还有querylist，都能实现爬虫，只要能够实现爬数据，不要用什么样的方法都行。 querylist使用 Q...
-
Play Framework - 数据采集
准备工作： 环境： A.mysql5.6 mysql设置编码： ...
-
数据采集实战（二）-
1. 概述 京粉（https://union.jd.com/）是京东联盟下的网站，通过分享其中的商品链接可以赚取佣金，类似淘客联盟。 采集京粉的商品，既可以练习 puppeteer的使用，平时想在京东购物时，也能用得上（采集看看有类似商品的价格和评价）...
-
STM32HAL ADC+TIM+DMA采集交流信号 基于cubemx
ADC+TIM+DMA采集交流 前言 本文主要讲解定时器触发ADC去采集交流信号，DMA把数据搬移到内存。 所需工具： 开发板:STM32F103C8T6 STM32CubeMX IDE: Keil-MDK 相关文章： STM32HAL...
-
file_get_contents()与curl
我们来采集一个页面，通常情况下，我们会使用file_get_contents( 函数来获取： 像这样： <?php $str = file_get_contents('http://bbs.lampbrother.net' ; //或者...
-
php链路追踪框架skywalking介绍
+ 目录 Skywalking介绍 Skywalking是一个国产的开源框架，2015年有吴晟个人开源，2017年加入Apache孵化器，国人开源的产品，主要开发人员来自于华为，2019年4月17...
-
phpQuery使用错误解决
phpQuery是一个服务器端的jQuery php版的实现，可以对读取到的文档(从本地文件或者url 用类似 jQuery的语法进行查询和操作，十分方便。 对信息采集很有用，当然也产生了大量重复信息 在 thinkphp3.2.2中使用phpQue...
-
LabVIEW控制Arduino采集多路模拟量、数字量（进阶篇—1）
目录 1、项目概述 2、项目架构 3、硬件环境 4、Arduino功能设计 5、LabVIEW功能设计 5.1、前面板设计 5.2、程序框图设计 1、项目概述 数据采集，是指从传感器和其他待测设备的模拟和数字被测单元中自动采集信息的过程...
-
百度翻译php接口，火车头插件
<?php define("CURL_TIMEOUT", 30 ; define("URL", "http://api.fanyi.baidu.com/api/trans/vip/translate" ; define...
-
LabVIEW控制Arduino采集DHT11温湿度数值（进阶篇—4）
目录 1、项目概述 2、项目架构 3、硬件环境 4、Arduino功能设计 5、LabVIEW功能设计 5.1、前面板设计 5.2、程序框图设计 1、项目概述 在多数情况下，测量温度的同时需要测量湿度，本篇博文将介绍使用DHT11温湿度...
-
三星发布生成式AI模型Samsung Gauss
三星于2023年11月7日首次公开发布了自家的生成式AI模型，命名为Samsung Gauss。这一举措旨在将AI的力量运用到公司未来的各种产品中。Samsung Gauss由语言、代码和图像模型组成，为用户提供更高效的工作和更智能的设备控制。 三星的生...
-
关于世界模型的一点迷思，以及与自动驾驶结合的几点思考~
本文经自动驾驶之心公众号授权转载，转载请联系出处。 什么是world models? 什么是world models, 可以参考Yann LeCun的PPT解释 即输入历史1到t时刻的状态信息, 结合当前的动作, 能够预测接下来的状态。 通俗地理解,...
-
你知道程序员再过几年会没落？
《Computer World》杂志曾经写过一篇文章，说“编程到1960年就会消失”，因为IBM开发了一种新语言FORTRAN，这种新语言可以让工程师写出他们所需的数学公式，然后提交给计算机运行，所以编程就会终结。 图片 又过了几年，我们听到了一种新...
-
马斯克版ChatGPT背后开发工具上线！xAI产品两连发，网友：交付速度太疯狂
马斯克版ChatGPT才刚吸引一波眼球，xAI第二款大模型产品就突然登场了！ 就在刚刚，马斯克旗下xAI官宣：推出PromptIDE。 一个用于提示工程和可解释性研究的集成开发环境。 xAI表示，他们打造PromptIDE的最初目的，是加速其聊天AI机...
-
GPT-4完成正确率仅6%！北大等提出首个「多轮、多模态」PPT任务完成基准PPTC
【新智元导读】为了填补LLM在复杂多模态环境中利用复杂工具完成多轮、多模态指令的评估空白，研究人员引入了PowerPoint任务完成（PPTC）基准测试，以评估LLM创建和编辑PPT文档的能力。 最近对大型语言模型（例如ChatGPT和GPT-4）进行的评...
-
科普神文，GPT背后的Transformer模型
上次《解读AI大模型，从了解token开始》一文中，我从最基础的概念“token”着手，跳过了复杂的算法逻辑，相信已经让大家建立起对AI大模型工作原理的清晰认知。 但如果仅仅只是依靠对文本的编码与数据分析，那人工智能时代应该早就到来了，为什么唯独是GPT...
-
实战 | 详解Apollo 换道
本文经自动驾驶之心公众号授权转载，转载请联系出处。 1.介绍 1.1. 换道的功能 简单地说, 换道的作用就是从待选地参考线中选择其中一个参考线, 供 Planning 后续模块进行使用. 需要说明的是, Apollo 所开源出的换道代码经过了过多的...
-
OpenAI 推出 Assistants API，开发者可“一键”为自家应用定制 AI 助手
IT之家 11 月 7 日消息，在今天的 OpenAI 首届开发者大会上，OpenAI 推出了 Assistants API，这是一种“专门构建的 AI 工具”，可利用“额外的知识”帮助开发者在自家应用程序中构建 AI 助手。 OpenAI 表示，...
-
交叉验证太重要了！
首先需要搞明白，为什么需要交叉验证？ 交叉验证是机器学习和统计学中常用的一种技术，用于评估预测模型的性能和泛化能力，特别是在数据有限或评估模型对新的未见数据的泛化能力时，交叉验证非常有价值。 那么具体在什么情况下会使用交叉验证呢？ 模型性能评估：交叉...
-
AI视野：xAI首个大模型Grok炸场;李开复官宣开源大模型Yi-34B;ChatGPT原型Gizmo新功能曝光;百度网盘引入大模型智能助理
????大模型动态 李开复官宣全球最强开源大模型Yi-34B 一次可处理40万汉字 零一万物发布全球最强的开源大模型Yi-34B，具备超强的语言理解和处理能力，支持处理40万汉字，在中文指标上表现卓越，标志着中国在大模型领域的重大突破。 项目地址:htt...
-
蚂蚁集团CodeFuse代码大模型开源ModelCache大模型语义缓存
蚂蚁集团旗下CodeFuse 代码大模型宣布开源了 ModelCache 大模型语义缓存，可以降低大型模型应用的推理成本，提升用户体验。 ModelCache 的架构包括 adapter、embedding、similarity 和 data_manage...
-
DB-GPT:使用专有LLM技术改变与数据库互操作的方式
DB-GPT是一个开源项目，旨在改变与数据库的互操作方式，它采用了本地化的大型GPT模型，为处理各种数据库相关情境提供了全面的解决方案。这个工具强调了隐私和数据安全，通过业务模块的定制化实施和分割，确保了LLM功能的完全机密性、安全性和可管理性。 随着大...
-
红帽将IBM Watsonx 代码生成应用于 Ansible 自动化
红帽（Red Hat Inc）近日宣布，搭载IBM watsonx Code Assistant（一种用于信息技术自动化的生成式人工智能服务）的Ansible Lightspeed已全面上市。 该服务于今年5月发布，接受用户输入的提示，并与watson...
-
元象XVERSE开源650亿参数通用大模型XVERSE-65B
元象XVERSE宣布 开源650亿参数高性能通用大模型XVERSE-65B，无条件免费商用。 XVERSE-65B 是由深圳元象科技开发的一种支持多语言的大型语言模型。它采用了 Transformer 网络结构，参数规模达到了650亿。 模型通过训练了2....
-
使用LIME解释各种机器学习模型代码示例
机器学习模型变得越来越复杂和准确，但它们的不透明性仍然是一个重大挑战。理解为什么一个模型会做出特定的预测，对于建立信任和确保它按照预期行事至关重要。在本文中，我们将介绍LIME，并使用它来解释各种常见的模型。 LIME LIME (Local Inter...
-
王者GPT-4已来，32k上下文！OpenAI首届开发者大会最新爆料，全新UI可定制GPT，xAI大模型大范围可用
OpenAI首届开发者大会开启前，ChatGPT各种爆料已出，全新UI界面，人人可定制GPT，将引领「智能体工程师」新职业诞生。另一边，马斯克自家的xAI大模型也开启了大范围内测。 OpenAI首届开发者大会，开启了倒计时! 还记得周一，OpenAI悄无...
-
字节“开盒”OpenAI所有大模型，揭秘GPT-3到GPT-4进化路径！把李沐都炸出来了
GPT-3究竟是如何进化到GPT-4的？ 字节给OpenAI所有大模型来了个“开盒”操作。 结果还真摸清了GPT-4进化路上一些关键技术的具体作用和影响。 比如： SFT是早期GPT进化的推动者 帮助GPT提升编码能力的最大功臣是SFT和RLHF 在...
-
马斯克的xAI，向特定用户发布第一款AI产品
11月3日晚，马斯克在社交平台宣布，其新成立的xAI人工智能公司，在11月4日向特定用户发布第一款产品，并声称“在某些重要方面，这是目前存在最好的。” 根据xAI官网的介绍和马斯克与OpenAI的“恩怨”来看，xAI发布的可能是一款类ChatGPT产品，能...
-
AI为DevOps体验带来的改变远不止眼前所见
Cycode的联合创始人兼首席技术官Ronen Slavin表示，人工智能实现的自动化有助于“减少花在琐碎任务上的时间，使团队能够专注于战略沟通和计划”。 DevOps技术团队非常欣赏人工智能在协助和自动化代码开发和部署方面的作用，这可能会使DevOp...
-
AI视野：Gen-2支持生成4K高清视频；Midjourney推出Style Tuner工具；钉钉 AI 魔法棒正式上线；马斯克𝕏AI团队首批产品曝光
???AI应用 Gen-2史诗级更新 允许用户通过简单文本生成4K高清视频 Runway的AI视频生成工具Gen-2经历了一次重大更新，允许用户通过简单的文本输入来生成4K高清视频，彻底改变了创意软件的方式。 Gen-2体验地址:https://rese...
-
代码能力超越GPT-4，这个模型登顶Big Code排行榜，YC创始人点赞
一款号称代码能力超越GPT-4的模型，引发了不少网友的关注。 准确率比GPT-4高出超过10%，速度却接近GPT-3.5，而且窗口长度也更长。 据开发者描述，他们的模型取得了74.7%的Pass@1通过率，超过了原始GPT-4的67%，登上了Big C...
-
SAP 让每位开发者都成为生成式人工智能开发人员：旨在推动 AI 时代的业务转型
在 2023 年的 SAP TechEd 活动中，SAP SE 宣布了一系列全面的生成式人工智能（AI）能力和进步，旨在赋予所有技能水平的开发者，在 AI 时代为其业务注入强大动力。 SAP 揭示了生成式 AI 应用开发和向量数据库能力的创新，以及为开发...
-
科普神文，一次性讲透AI大模型的核心概念
图片 令牌，向量，嵌入，注意力，这些AI大模型名词是否一直让你感觉熟悉又陌生，如果答案肯定的话，那么朋友，今天这篇科普神文不容错过。我将结合大量示例及可视化的图形手段，为你由浅入深一次性讲透AI大模型的核心概念。 引言 随着科技公司及国际竞争的不断推进，...
-
蚂蚁集团发布DevOps领域大模型评测基准DevOps-Eval
蚂蚁集团联合北京大学发布了面向 DevOps 领域的大语言模型评测基准 ——DevOps-Eval。 该评测基准包含了计划、编码、构建、测试、发布、部署、运维和监控等8个类别的选择题，共计4850道题目。 此外，还针对 AIOps 任务做了细分，并添加了日...
-
使用Ray创建高效的深度学习数据管道
用于训练深度学习模型的GPU功能强大但价格昂贵。为了有效利用GPU，开发者需要一个高效的数据管道，以便在GPU准备好计算下一个训练步骤时尽快将数据传输到GPU。使用Ray可以大大提高数据管道的效率。 1、训练数据管道的结构 首先考虑下面的模型训练伪代码。...
-
机器学习 | PyTorch简明教程上篇
前面几篇文章介绍了特征归一化和张量，接下来开始写两篇PyTorch简明教程，主要介绍PyTorch简单实践。 1、四则运算 import torch a = torch.tensor([2, 3, 4] b = torch.tensor([3, 4,...
-
AI视野：Stability AI推出Stable3D；阿里云发布通义灵码；OpenAI称ChatGPT意识已觉醒；全球AI网络安全协议签署
???AI应用 Stability AI推出Stable3D以及一键替换图片天空功能 Stability AI宣布推出Stable3D，一款支持文本生成高质量3D模型的新工具。用户可以使用文本、图片或插图来轻松生成3D模型，并在多个3D开发平台上进行编辑。...
-
机器学习|PyTorch简明教程下篇
接着上篇《PyTorch简明教程上篇》，继续学习多层感知机，卷积神经网络和LSTMNet。 1、多层感知机 多层感知机通过在网络中加入一个或多个隐藏层来克服线性模型的限制，是一个简单的神经网络，也是深度学习的重要基础，具体图如下： import num...