-
数据资产管理实施路径盘点，一文读懂如何建设企业数据资产管理体系
完备的企业数据资产管理体系，首先依赖于数据资产管理规划及机制等上层设计，其次基于数据资产管理职能，使用有效的数据资产管理工具，将数据转化为数据资产，从而把数据价值真正发挥出来。数据资产管理架构如下图所示： 具体而言，数据资产管理包括数据开发、数据标准管...
-
深入探究Python数据爬虫：原理、实践与未来发展
在当今信息爆炸的时代，数据已成为一种宝贵的资源。为了获取这些数据，数据爬虫技术应运而生，而Python因其简洁易懂的语法和强大的功能库，成为数据爬虫领域的首选语言。本文将从Python数据爬虫的基本原理、实践应用以及未来发展趋势等方面进行深入探究。一、Py...
-
魔众图床系统爬虫：探索图像数据的新维度
在当今数字化时代，图像数据已经成为我们日常生活和工作中不可或缺的一部分。随着网络技术的不断发展和普及，海量的图像数据在互联网上不断生成和传播，如何高效地获取和利用这些图像数据成为了一个重要的问题。而“魔众图床系统爬虫”作为一种强大的工具，能够帮助我们探索和...
-
“Morning爬虫”：探索数据背后的新世界
在当今大数据时代，信息是无处不在，无时不在涌现。为了能够更好地获取信息，人们发明了各种各样的工具，其中，爬虫技术就是其中一种非常重要且实用的信息获取方式。而“Morning爬虫”作为一种高效、智能的爬虫工具，正逐渐走进人们的视野，成为数据获取与分析的得力助...
-
探秘“wehalo爬虫”：技术细节、应用与风险解析
一、引言在当今信息爆炸的时代，数据已经成为了一种新的资源，而爬虫技术则是获取这些数据的重要手段之一。其中，“wehalo爬虫”以其独特的技术特性和广泛的应用场景，逐渐走进了人们的视野。本文将从技术细节、应用领域以及潜在风险等方面，对“wehalo爬虫”进行...
-
探秘免费Discuz! X2爬虫：开启社区数据Functor新纪元
在当今社会，信息技术的高速发展与创新已经深刻改变了我们生活的方方面面。互联网作为信息技术的杰出代表，孕育出了形形色色的网络社区，其中，以Discuz! X2为代表的论坛系统更是成为网民们交流信息、分享知识的重要平台。然而，随着网络数据规模的不断扩大，如何高...
-
探究Gelato CMS爬虫：功能、应用与未来发展
随着互联网技术的飞速发展，内容管理系统（CMS）已成为众多网站建设不可或缺的一部分。而Gelato CMS，作为市场上备受瞩目的CMS之一，其功能和特性吸引了大量用户的关注。而在众多功能中，Gelato CMS所支持的爬虫技术更是成为关注的焦点。本文将围绕...
-
爬取CSDN博客的实践与探索
在当今信息爆炸的时代，数据作为一种重要的资源，已经渗透到各行各业。为了获取大量的数据，爬虫技术应运而生，它能够帮助我们高效地收集网络上的信息。CSDN（Chinese Software Developer Network，中国软件开发者网络）作为国内知名的...
-
建发弘爱 X 袋鼠云：加速提升精细化、数字化医疗健康服务能力
厦门建发弘爱医疗集团有限公司（简称“建发弘爱”）创立于2022年，是厦门建发医疗健康投资有限公司的全资子公司，专业从事医疗健康领域的医疗服务。 建发弘爱通过医疗、健康及产业服务三大板块，为百姓提供医疗和健康全生命周期解决方案。以医疗机构为核心，管理及运营...
-
指标+AI：迈向智能化，让指标应用更高效
近日，以“Data+AI，构建新质生产力”为主题的袋鼠云春季发布会圆满落幕，大会带来了一系列“+AI”的数字化产品与最新行业沉淀，旨在将数据与AI紧密结合，打破传统的生产力边界，赋能企业实现更高质量、更高效率的数字化发展。会上，袋鼠云业务总经理申杭带来了以...
-
金融案例：构建高效统一的需求登记与管理方案
在金融行业数字化转型背景下，银行等金融机构面临着业务模式创新与数据应用的深度融合。业务上所需要的不再是单纯的数据，而是数据背后映射的业务趋势洞察，只有和业务相结合转化为业务度量指标，经过数据分析处理呈现为报表进行展示，才能真正体现它们的价值。 但在需求转...
-
数据要素价值创新2023年度示范案例发布 蚂蚁数科FAIR入选
3月29日，由新一代信息技术产业研究院、赛迪未来产业研究中心共同主办，中国电子学会区块链分会、至顶科技联合承办的“2024未来信息技术大会暨首届数据要素创新发展论坛”在北京举行。会上，《数据要素价值创新2023年度示范案例》正式发布，蚂蚁数科隐私增强型数据...
-
基于开源Wiki系统的采集插件研究与应用
随着网络信息的爆炸式增长，如何高效地从海量数据中提取有价值的信息成为了亟待解决的问题。在这一背景下，基于开源Wiki系统的采集插件应运而生，为数据的抓取、整合与再利用提供了有力支持。本文将详细探讨开源Wiki系统采集插件的设计原理、应用场景及其对信息处理的...
-
《行业指标体系白皮书》重磅发布，剖析指标建设困境，构建前瞻性的指标体系（附下载）
正处于企业指标建设过程中的你，是否经常遇到这样的问题： • 各个部门独立建设信息系统，由此产生的指标定义和计算方式各异，导致管理层无法快速准确地掌握整体业务运行状况 • 缺乏对指标的统一管理和规范，产生重复的指标计算工作，导致数据计算资源被过度消耗，增加...
-
从 HPC 到 AI：探索文件系统的发展及性能评估
随着 AI 技术的迅速发展，模型规模和复杂度以及待处理数据量都在急剧上升，这些趋势使得高性能计算（HPC）变得越来越必要。HPC 通过集成强大的计算资源，比如 GPU 和 CPU 集群，提供了处理和分析大规模数据所需的算力。 然而，这也带来了新的挑战，尤...
-
ECShop数据采集与整合方案
ECShop采集：电商数据抓取与应用的全面解析随着电子商务的迅猛发展，电商平台上商品信息的采集、分析和应用成为了众多商家和开发者关注的焦点。ECShop，作为一款在国内广泛使用的开源电商平台，其数据采集的需求也日益增长。本文将围绕“ECShop采集”这一主...
-
人工智能如何影响汽车行业
汽车行业正在经历快速的技术变革，从传统机械转向电气化和自动驾驶。汽车已经发展成为复杂、可持续的系统，为乘客提供安全、数字化、互联且娱乐性的系统。该行业向软件定义汽车的转变要求汽车软件开发人员调整他们的方法。质量管理在数字基础设施中至关重要，要求在保持消...
-
每日互动（个推）CTO叶新江：AIGC时代，大模型推动数据要素商业化
ChatGPT在一夜之间火爆互联网，让AIGC受到世界范围内的高度关注。时至今日，AIGC热度持续高涨，各大互联网公司争相布局这一领域。日渐成熟的技术、显著的降本增效优势以及日益增长的市场需求等因素，已经推动AIGC成为互联网公司新一轮必争之地。 在近期...
-
AIGC的隐私安全问题及隐私保护技术
作者:京东科技 杨博 ChatGPT 才出现两个月，就已经引起了学术界的关注。微软成为ChatGPT母公司OpenAI的合作伙伴，并确认投资百亿美元。同时，微软正计划将 OpenAI 的技术整合到其产品中，包括Bing搜索引擎和其他软件，以增强它们的能力...
-
用AIGC生成大数据教程
编写一部大数据教程的书 当然，我很高兴帮助您编写一部大数据教程的书。下面是一个基本的大纲，您可以根据自己的需要和偏好进行调整和扩展。 目录 第一章：引言 介绍大数据的概念和重要性 解释为什么大数据在当今世界中如此关键 第二章：大数据基础知识...
-
百分点科技宣布接入百度文心一言能力
2月16日， 百分点科技宣布成为百度文心一言（英文名：ERNIE Bot）首批生态合作伙伴。后续，百分点科技将全面体验并接入文心一言的能力。 百分 点科技专注于数据科学理论和技术的创新实践，长期坚持基础技术和行业应用并重的自主研发...
-
2023世界人工智能大会，和鲸科技入选中国信通院《2023大模型和AIGC产业图谱》
近日，2023 世界人工智能大会（WAIC）“聚焦·大模型时代 AIGC 新浪潮”论坛上，中国信息通信研究院（以下简称“中国信通院”）正式发布《2023 大模型和AIGC产业图谱》（以下称“图谱”）。和鲸作为大模型时代 AI 基础设施的入口，凭借在大模型的...
-
AIGC 大模型纷纷部署，企业如何为 AI 数据降本增效
编辑 | 宋慧 出品 | CSDN 云计算 AIGC 从年初开始持续爆火，国内各种大模型纷纷涌现，其中模型参数轻松突破千亿数量级。模型中数据的形态、部署也是多种多样的，庞大数据量背后的管理和成本不容小觑。 混合数据厂商肯睿 Cloudera...
-
人工智能在数据安全中的应用场景
场景一：数据资产梳理 数据资产梳理是数据安全的基础。知道企业究竟有多少数据，这些数据在哪里？有哪些类型的数据？其中哪些是敏感数据？这些数据的敏感等级分别是什么？只有明确了保护的目标，才能有针对性的对安全风险进行防护。 对于大数据来说，首先要做的一项工作就...
-
AIGC与搜索深度融合，百度定义“生成式搜索”
设想一下，当你搜索“公司活动通知怎么写”时，搜索引擎直接“写”了一篇送到眼前是什么体验？百度的“生成式搜索”正在让这样的场景成为现实。 日前，百度宣布，百度搜索将升级“生成式搜索”能力，基于百度自研的生成式模型能力，为用户开放式的搜索提问或定制化...
-
基于盘古打造！华为交通大模型研发正式启动
快科技12月14日消息，据华为中国官微消息，近日华为技术有限公司联合云南省交通投资建设集团有限公司以及长安大学在昆明举行交通大模型研发启动仪式”，正式开启人工智能大模型技术在交通领域的研究探索。 为加速推动交通行业智能化发展水平，抢占行业发展先机，加速交通...
-
大宗商品贸易集团数据治理实践，夯实数字基座 | 数字化标杆
某大型央企是首批全国供应链创新与应用示范企业，在“十四五”规划期内以聚焦供应链管理核心主业作为主要战略发展方向。供应链运营管理以大宗商品贸易为主，其交易往往具有交易量巨大、交易环节复杂、风险交易难识别、风险客商难管控等痛点。 随着集团数字化转型不断深化，...
-
数据分层：打造数据资产管家
一、引言 随着企业数据规模的增长，数据的价值变得越来越重要。然而，传统的数据库在承载大量数据时面临挑战，需要高效有序的维护。因此，建立高效的数据仓库成为了企业决策和管理的基石，但现代技术的背景下，数据管理和保护仍然存在着重要挑战。 为了解决这些挑战，数...
-
浅谈埋点及其质量保障 | 京东云技术团队
1、埋点是什么 埋点又称为事件追踪（Event Tracking），指的是针对用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。用大白话说：就是通过技术手段“监听”用户在APP、网站内的行为。 2、埋点的作用 如果我们想要收集用户行为数据...
-
一个平台搞定数据治理，让数据资产发挥价值
根据北京研精毕智信息咨询发布的调查报告，2018-2021年，全球数据存储量由30ZB上升至55ZB左右，年平均增长率约为27.8%。到2022年，数据总存储量进一步增加至65ZB以上，较2021年同期新增了约10ZB，同比增长18.2%。各市场主体对数据...
-
【大数据采集技术与应用】【第一章】【大数据采集技术与应用概述】
文章目录 1.1 大数据概述 1.1.1 大数据时代 1.1.2 大数据的概念 1.1.3 大数据的特征 1.1.4 大数据的应用 1.1.5 大数据关键技术 1.1.6 大数据处理流程 1.2 大数据采集技术概述 1.2.1 数据采集与...
-
大数据的关键技术之——大数据采集
大数据的关键技术之——大数据采集 本文目录： 一、写在前面的话 二、大数据采集概念 三、大数据采集步骤 3.1、大数据采集步骤（总体角度） 3.2、大数据采集步骤（数据集角度） 3.3、大数据采集步骤（数据集角度） 四、数据源与数据类型...
-
用电信息采集系统常见故障
一、用电信息采集系统简介 用电信息采集系统由采集主站、采集设备、电能表以及之间的通信组成，其结构如下图所示： 采集主站是采集系统的管理和控制中心，主要功能是对数据传输、数据处理和数据应用及系统安全与运行进行管理，同时也能实现与不同系统的数据集成和交...
-
使用python编写网络爬虫
使用python编写网络爬虫 前言 1、为何使用爬虫 2、编写爬虫的知识要求 3、确定爬虫使用的工具库 4、确定要获取的数据集 4.1 分析Url地址变化 4.2 获取目标数据集所在的HTML区域 5、开始爬取页面 5.1 模拟浏览器...
-
数据采集为什么那么重要？其4大基本特征是什么？
今日主题——数据采集，数据采集是数据分析、挖掘的一个环节，在数据处理过程中是非常基本和重要的，但经常被忽视。但再好的分析原理、建模算法，没有高质量的数据都是没有用的。以下小编将介绍数据采集的概念、基本特征和企业在数据采集过程中面临的主要问题这几个方面，来为...
-
数栈技术分享：如何使用数栈进行数据采集？
数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢...
-
数据分析的根基：数据采集的4大基本特征
相信大家都知道数据分析和数据挖掘的概念，但是你知道数据分析和数据挖掘的基础是什么吗？今日小编就和大家一起来了解一下数据分析、数据挖掘基础——数据采集。数据采集是数据分析、挖掘的一个环节，在数据处理过程中是非常基本和重要的，但经常被忽视。但再好的分析原理、建...
-
2020、2021、2022数控机床数据采集方案汇总
一、机床数据采集应用背景 随着当下智能制造和工业4.0的热度发展，同时大数据、边缘计算等技术的兴起，实时记录设备的各类运行数据，成为目前比较火的一个行业，部分厂家仅仅以此为契机，便收获几千万的融资；机床的数据采集，乃至制造业装备系统的数据采集发展，也就...
-
教育大数据采集机制与关键技术研究
点击上方蓝字关注我们 教育大数据采集机制与关键技术研究 柴唤友1, 刘三女牙1,2, 康令云1, 张雅娴1, 李卿2, 刘智2 1 华中师范大学国家数字化学习工程技术研究中心，湖北 武汉 430079 2 华中师范大...
-
五个优秀开源RPA框架
这两年，RPA+AI（智能自动化流程）经常被提及，在企业/机构数字化转型过程中，自动化和智能化是提升效能的重要方式，而迈向自动化和智能化的第一步则是机器人流程自动化（RPA）。 什么是RPA？什么是RPA+AI？ 如果把RPA比作人的躯干神经，那么AI...