-
eBPF 实践 -- 网络可观测
简介 观测云采集器，是一款开源、一体式的数据采集 Agent，它提供全平台操作系统支持，拥有全面数据采集能力，涵盖基础设施、指标、日志、应用性能、用户访问以及安全巡检等各种场景。通过 eBPF 技术的引入，观测云采集器实践了网络传输层和应用层的部分协议的...
-
如何自动化采集数据？
举个例子，你做量化投资，基于大数据预测未来股票的波动，根据这个预测结果进行买卖。你当前能够拿到以往股票的所有历史数据，是否可以根据这些数据做出一个预测率高的数据分析系统呢？ 实际上，如果你只有股票历史数据，你仍然无法理解股票为什么会产生大幅的波动。比如，...
-
大数据导论（三：大数据的采集及预处理）
1、大数据采集 1.1 大数据采集概念 数据采集（DAQ）又称数据获取，通过RFID射频数据、传感器数据、社交网络数据、移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。 1.2 常用的数据采集方式 大数据的采集通常采用...
-
浅谈网络爬虫
浅谈网络爬虫 什么是网络爬虫？ 爬虫能干什么 搜索引擎 抢票、刷票等自动化软件 部分破解软件 金融等行业数据挖掘、分析数据来源 其他 爬虫很简单 语言的选择 两种语言的小demo 爬虫也不简单 ip、浏览器头(User-Agent 、...
-
【监控体系】全面系统的Zabbix讲解 | 含源码&监控类型整理
主讲人：王鸿杰，云智慧/企业效能部/架构师 讲师简介：云智慧架构师，PHP/PECL 开发组成员，PECL/SeasClick、PECL/SeasLog Maintainer。6 年研发经验，2018 年加入透视宝团队，致力于 APM 产品的架构与研发...
-
数据采集及预处理——针对“数据”“采集”“预处理”的理解与解析
数据采集及预处理——大数据的关键技术之一 文章目录 数据采集及预处理——大数据的关键技术之一 前言 数据采集与预处理是大数据学习的重要部分； 本篇笔记是对《数据采集与预处理》这个标题的解析 ， 我将它分为三个词语进行了详细的理解； 因为...
-
08 | 数据采集：如何自动化采集数据？
上一节中我们讲了如何对用户画像建模，而建模之前我们都要进行数据采集。数据采集是数据挖掘的基础，没有数据，挖掘也没有意义。很多时候，我们拥有多少数据源，多少数据量，以及数据质量如何，将决定我们挖掘产出的成果会怎样。 举个例子，你做量化投资，基于大数据预测未来...
-
使用百度EasyDL实现电动车进电梯自动预警
项目说明 业务背景 近年来，电动车进楼入户发生火灾的事故屡见不鲜，针对该问题，社区物业已明令禁止电动车入户，但是依然有住户忽视这个问题的严重性。 业务难点 由于小区电梯多，人工监控很难及时发现电瓶车入户违规，最终造成严重的人员伤亡事故。 同...
-
1.网络爬虫概述
目录 导读 一、网络爬虫是什么？ 二、数据如何产生？ 三、有哪些数据获取途径？ 四、爬虫可以做什么？ 五、网络爬虫的分类 六、爬虫开发中有哪些技术？ 七、开发环境准备 八、学习建议 导读 通过本篇文章的阅读，你将简单了解网络爬虫...
-
大数据项目实战——基于某招聘网站进行数据采集及数据分析（一）
大数据项目实战 第一章 项目概述 文章目录 大数据项目实战 第一章 项目概述 学习目标 一、项目需求和目标 二、预备知识 三、项目架构设计及技术选取 四、开发环境和开发工具介绍 五、项目开发流程 总结 学习目标 掌...
-
玩转大数据系列之一：数据采集与同步
数据的采集和同步，是先将数据从设备、或者本地数据源采集、同步到阿里云上，然后在阿里云上对数据进行分析和处理，最终完成您的业务要求。本文向您介绍阿里云各产品的数据采集和同步的操作实战文章，您可以根据您使用阿里云产品，查看相应的文档教程。 关于数据采集，Da...
-
大数据（四）大数据采集
说明 本博客每周五更新一次。 数据处理分为入库、计算和输出，本文主要分享数据入库。 数据采集 数据采集是大数据平台数据处理流程的第一步，如何让数据以合适的效率和方式在大数据平台落地，根据场景不同，有着不同方案。一般情况如下。 实时数...
-
【大数据采集技术与应用】【第一章】【大数据采集技术与应用概述】
文章目录 1.1 大数据概述 1.1.1 大数据时代 1.1.2 大数据的概念 1.1.3 大数据的特征 1.1.4 大数据的应用 1.1.5 大数据关键技术 1.1.6 大数据处理流程 1.2 大数据采集技术概述 1.2.1 数据采集与...
-
大数据的关键技术之——大数据采集
大数据的关键技术之——大数据采集 本文目录： 一、写在前面的话 二、大数据采集概念 三、大数据采集步骤 3.1、大数据采集步骤（总体角度） 3.2、大数据采集步骤（数据集角度） 3.3、大数据采集步骤（数据集角度） 四、数据源与数据类型...
-
手机被“秒解锁”？活体检测+3D人脸识别让刷脸更安全
如今，人们使用智能手机进行刷脸解锁、刷脸支付就像吃饭喝水一样自然。人脸识别技术的进步为人们的日常生活带来了诸多便利，但同时也引发了隐私安全问题。 近日，来自清华的 Real AI（瑞莱智慧）展示了一项简单的攻击技术：测试者佩戴了一副含有对抗样本图案的眼镜...
-
Flink CDC + Hudi 海量数据入湖在顺丰的实践
本文整理自顺丰大数据研发工程师覃立辉在 5月 21 日 Flink CDC Meetup 的演讲。主要内容包括： 顺丰数据集成背景 Flink CDC 实践问题与优化 未来规划 点击查看直播回放 & 演讲PDF...
-
智能工厂数据采集方案
智能工厂是在数字化工厂的基础上，以实现生产过程和经营业务最优化为目的，利用物联网技术和监 控技术加强信息管理服务，提高生产过程可控性、减少生产线人工干预，合理计划排程，实现信息统一， 集团化统一监控，实现产品生...
-
用电信息采集系统常见故障
一、用电信息采集系统简介 用电信息采集系统由采集主站、采集设备、电能表以及之间的通信组成，其结构如下图所示： 采集主站是采集系统的管理和控制中心，主要功能是对数据传输、数据处理和数据应用及系统安全与运行进行管理，同时也能实现与不同系统的数据集成和交...
-
场景采集感知测评软件 INTEWORK-ARS
概述 工欲善其事，必先利其器。在“软件定义汽车”的新时代下，开发者们总结了一条适用于自动驾驶的开发流程，这条开发线路大致包括实车数据采集->数据存储->数据处理->数据分析->数据标注->模型训练->仿真测试->...
-
图像识别-数据采集
1 图像采集说明 算力、模型和数据是人工智能的三个要素。当一个算法模型设计好后，就需要大量标注好的数据去训练机器，从而使得机器更加“智能”，得以在实际应用场景中施展拳脚。若希望算法进一步提升性能，则需要更多精细化的数据加以训练，不断迭代。可以说，AI的...
-
【云原生 | 32】Docker运行数据采集和分析引擎Elasticsearch
作者简介：?云计算领域优质创作者?新星计划第三季python赛道第一名? 阿里云ACE认证高级工程师? ✒️个人主页：小鹏linux ?个人社区：小鹏linux（个人社区）欢迎您的加入！ 目录 1. 关于 Elasticsearch 1.1 El...
-
大数据采集与预处理技术
文章目录 第1章 大数据概念 1.1大数据的概念 1.2大数据的关键技术 1.3大数据采集与数据预处理技术 1.3.1大数据采集技术 1.3.2数据预处理技术 第二章 数据采集基础 2.1 传统数据采集技术 2.2大数据采集基础 第...
-
使用python编写网络爬虫
使用python编写网络爬虫 前言 1、为何使用爬虫 2、编写爬虫的知识要求 3、确定爬虫使用的工具库 4、确定要获取的数据集 4.1 分析Url地址变化 4.2 获取目标数据集所在的HTML区域 5、开始爬取页面 5.1 模拟浏览器...
-
数据采集 复习题
考前回顾记忆点： 爬虫python代码(urllib,bs4库 正则表达式基础 书p129规范化变换数据的三个计算。 传感器节点结构 如何运用传感器节点构造一个数据采集系统?（第二章作业） 6.常用的数据采集命令行:hadoop命令行 ** 第...
-
LC3视角：Kubernetes下日志采集、存储与处理技术实践
摘要： 在Kubernetes服务化、日志处理实时化以及日志集中式存储趋势下，Kubernetes日志处理上也遇到的新挑战，包括：容器动态采集、大流量性能瓶颈、日志路由管理等问题。本文介绍了“Logtail + 日志服务 + 生态”架构，介绍了：Logta...
-
AI数据采集标注类型：揭秘数据采集与标注的关键环节
随着人工智能技术的快速发展，数据采集和标注已成为人工智能领域中不可或缺的一部分。数据采集是获取高质量数据的第一步，而数据标注则是保证数据质量的关键环节。在这篇文章中，我们将深入探讨AI数据采集标注类型，包括数据采集的方式、数据标注的流程和注意事项等方面。...
-
爬虫之验证码处理
文章目录 验证码处理 一、 字符验证码 1、 难点 2、 图像处理 3、 实例代码 二、 滑块验证码 1、 难点 2、 实现示例 三、 点触验证码 1、 问题 2、 解决方案 3、 使用案例 验证码处理 一、 字...
-
数据采集为什么那么重要？其4大基本特征是什么？
今日主题——数据采集，数据采集是数据分析、挖掘的一个环节，在数据处理过程中是非常基本和重要的，但经常被忽视。但再好的分析原理、建模算法，没有高质量的数据都是没有用的。以下小编将介绍数据采集的概念、基本特征和企业在数据采集过程中面临的主要问题这几个方面，来为...
-
爬虫基本原理介绍、实现以及问题解决
文章目录 一、爬虫的意义 1.前言 2.爬虫能做什么 3.爬虫有什么意义 二、爬虫的实现 1.爬虫的基础原理 2.api的获取 3.爬虫实现 三、反爬解决方案 1.反爬的...
-
数栈技术分享：如何使用数栈进行数据采集？
数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢...
-
数据分析的根基：数据采集的4大基本特征
相信大家都知道数据分析和数据挖掘的概念，但是你知道数据分析和数据挖掘的基础是什么吗？今日小编就和大家一起来了解一下数据分析、数据挖掘基础——数据采集。数据采集是数据分析、挖掘的一个环节，在数据处理过程中是非常基本和重要的，但经常被忽视。但再好的分析原理、建...
-
数据采集与预处理
目录 1.采用哪些方式可以获取大数据？ 2.常用大数据采集工具有哪些？ 3.简述什么是Apache Kafka数据采集。 4.Topic可以有多少个分区，这些分区有什么用？ 5.Kafka抽象具有哪种模式的特征消费组？ 6.简述数据预处理的...
-
大数据采集（hdu）第二章笔记
2.1大数据采集概述 大数据采集技术就是指对数据进行提取（Extract）、转换（Transform）、加载（Load）操作（即ETL操作），将不同来源的数据整合成为一个新的数据集，为后续的查询和分析处理提供统一的数据视图。 系统日...
-
【深度讲解】iOS应用性能数据采集原理和优化实践 | 内附代码&案例
作者简介 刘徐兵（Alvin Liu），云智慧/开发经理。曾在高德、当当有多年大型App开发经验，在云智慧从事APM SDK研发工作5+年。对App开发和性能优化有深入的研究和实践。 iOS应用数据采集的基础 Objective-C Runtime...
-
基于SLS构建RDS审计合规监控
云产品采集渠道 单账号同地域采集场景（只能将RDS审计日志采集到同地域的日志库中） • SLS控制台首页“接入数据”区域，选择“RDS 审计”。下文以采集张家口实例为例说明。 • 因为采集的实例位于张家口，所以需要在张家口新建或者...
-
多模态音乐AI框架Video2Music 为视频生成情感相符的音乐
近日，一款创新的人工智能多模态音乐生成框架Video2Music引起了广泛关注。该框架利用独特的数据集和经过用户研究验证的转换器模型，能够为视频生成情感上相符的音乐，填补了这一领域的空白。据悉，Video2Music的GitHub Repo已经发布，为研究...
-
百度智能云千帆大模型平台推出千帆SDK开源版本
百度智能云千帆大模型平台再次升级，推出千帆 SDK，全面开源并免费下载使用。 该 SDK 提供了从数据集管理、模型训练、模型评估到服务部署等一系列功能，用户可以通过代码接入并调用百度智能云千帆大模型平台的能力，轻松实现 LLMOps 全流程的落地，快速构建...
-
北大推出首个多轮多模态PPT任务完成基准PPTC GPT-4完成正确率仅6%
北大和微软亚洲研究院的研究人员提出了一项新的评估基准PPTC，旨在评估大型语言模型在复杂多轮多模态PPT任务中的表现。 他们通过创建包含数百个多模态指令的数据集，挑战大模型在多轮人机对话中生成PPT文档的能力。结果显示，GPT-4在创建新PPT文档任务中表...
-
GPT-4完成正确率仅6%！北大等提出首个「多轮、多模态」PPT任务完成基准PPTC
【新智元导读】为了填补LLM在复杂多模态环境中利用复杂工具完成多轮、多模态指令的评估空白，研究人员引入了PowerPoint任务完成（PPTC）基准测试，以评估LLM创建和编辑PPT文档的能力。 最近对大型语言模型（例如ChatGPT和GPT-4）进行的评...
-
自动驾驶系统中相机相对地面的在线标定
本文经自动驾驶之心公众号授权转载，转载请联系出处。 文章：Online Camera-to-ground Calibration for Autonomous Driving 作者：Binbin Li, Xinyu Du, Yao Hu, Hao Yu...
-
目标检测标注的时代已经过去了？
在快速发展的机器学习领域，有一个方面一直保持不变：繁琐和耗时的数据标注任务。无论是用于图像分类、目标检测还是语义分割，长期以来人工标记的数据集一直是监督学习的基础。 然而，由于一个创新性的工具 AutoDistill，这种情况可能很快会发生改变。 G...
-
让大模型自主探索开放世界，北大&智源提出训练框架LLaMA-Rider
大语言模型因其强大而通用的语言生成、理解能力，展现出了成为通用智能体的潜力。与此同时，在开放式的环境中探索、学习则是通用智能体的重要能力之一。因此，大语言模型如何适配开放世界是一个重要的研究问题。 北京大学和北京智源人工智能研究院的团队针对这个问题提出了...
-
北大&智源提出训练框架LLaMA-Rider 让大模型自主探索开放世界
北京大学和北京智源人工智能研究院的团队提出了名为LLaMA-Rider的训练框架，旨在让大型语言模型在开放世界中具备自主探索和学习任务的能力。这个框架通过反馈-修改机制来实现主动探索，使模型在环境中接收反馈信息，不断调整决策，从而逐渐适应开放环境。 项目...
-
强化学习与多任务推荐
一、短视频推荐两阶段约束强化学习算法 首先介绍的一项快手自研的 WWW 2023 Research Track 工作，主要解决短视频推荐场景下的带约束多目标优化问题。 在短视频推荐单列场景中，用户通过上下滑形式和系统进行交互，观看多个视频。用户对每个...
-
让大模型忘记哈利波特，微软新研究上演Llama 2记忆消除术，真·用魔法打败魔法（doge）
最近微软一项研究让Llama 2选择性失忆了，把哈利波特忘得一干二净。 现在问模型“哈利波特是谁？”，它的回答是这样婶儿的： 木有赫敏、罗恩，木有霍格沃茨…… 要知道此前Llama 2的记忆深度还是很给力的，比如给它一个看似非常普通的提示“那年秋天，哈...
-
交叉验证太重要了！
首先需要搞明白，为什么需要交叉验证？ 交叉验证是机器学习和统计学中常用的一种技术，用于评估预测模型的性能和泛化能力，特别是在数据有限或评估模型对新的未见数据的泛化能力时，交叉验证非常有价值。 那么具体在什么情况下会使用交叉验证呢？ 模型性能评估：交叉...
-
AI视野：xAI首个大模型Grok炸场;李开复官宣开源大模型Yi-34B;ChatGPT原型Gizmo新功能曝光;百度网盘引入大模型智能助理
????大模型动态 李开复官宣全球最强开源大模型Yi-34B 一次可处理40万汉字 零一万物发布全球最强的开源大模型Yi-34B，具备超强的语言理解和处理能力，支持处理40万汉字，在中文指标上表现卓越，标志着中国在大模型领域的重大突破。 项目地址:htt...
-
大型语言模型（LLM）技术精要，不看亏了
哈喽，大家好。 今天分享一篇知乎高赞文章，作者是张俊林老师。 图片 读完收获很多，能帮大家更好地理解、学习大模型。原文有2.8w字，我提炼了核心要点，阅读需要10min。 ChatGPT的出现给很多人带来了惊喜和醒悟。有人惊喜地发现大型语言模型（LLM）...
-
Silobreaker推AI威胁情报助手：协助组织迅速应对风险
领先的安全和威胁情报技术公司Silobreaker正式宣布推出其全新生成式人工智能工具，名为Silobreaker AI。这一工具的主要目标是为威胁情报团队提供支持，帮助他们更快地生成高质量的情报报告，以助力组织做出以情报为主导的决策。 Silobreak...
-
PubDef：使用公共模型防御迁移攻击
译者 | 布加迪 审校 | 重楼 对抗性攻击对机器学习系统的可靠性和安全性构成了严重威胁。通过对输入进行微小的变动，攻击者就可以导致模型生成完全错误的输出。防御这种攻击是一个很活跃的研究领域，但大多数提议的防御措施都存在重大的缺点。 这篇来自加州大学伯克...