-
[AIGC] Doris：一款高效的MPP数据仓库引擎
在大数据处理的领域中，Apache Doris（原百度 Palo）是一个高效的MPP（大规模并行处理）数据仓库，最初由百度开发，现在已经成为Apache的孵化项目。 (图片取自百度 – 文章目录 1. Doris的基础知识 2....
-
克服指标管理痛点，实现数据价值最大化
在当下的企业管理中，由于数据量的激增，管理方式逐渐从基于经验转向基于数据。在此过程中，我们能够通过数据探查业务情况、分析数据，从而获取更优的决策支持数据。这通常通过数据报表或分析平台来实现，对于临时性场景，则会基于日常取数方式进行临时数据分析。 但在此过...
-
DataWorks Copilot：大模型时代数据开发的新范式
导读 DataWorks 是阿里云一站式智能化数据开发与治理平台，支持搭配MaxCompute/Hologres/AnalyticDB/StarRocks/EMR/CDH 等大数据引擎，为企业构建数据仓库、数据湖以及湖仓一体（Lakehouse）现代数据...
-
金融案例：统一查询方案助力数据治理与分析应用更高效、更安全
随着企业数据规模的增长和业务多元化发展，海量数据实时、多维地灵活查询变成业务常见诉求。同时多套数据库系统成为常态，这既带来了数据管理的复杂性，又加大了数据使用的难度，面对日益复杂的数据环境和严格的数据安全要求，需要解决多数据库系统并存、数据孤岛严重、权限管...
-
AI小镇现在可以通过Llama3在本地运行 支持Convex、Ollama等服务器
a16z 团队开发的 AI 小镇是一个创新的虚拟城镇项目，现在可以通过 Llama3完全在本地运行。这个项目不仅支持 Convex、Ollama，还可以支持本地 Vite 网络服务器，为开发者提供了一个强大的平台来构建和定制自己的虚拟 AI 社区。 AI...
-
对接HiveMetaStore，拥抱开源大数据
用户在使用本特性前，将需要创建Server，创建Server过程与已有Server创建过程相同 对于创建OBS server有两种方式，一种是通过永久AK、SK的方式创建。（此种方式前提是可以获取永久AK、SK，但是此种方式不安全，AK/SK直接...
-
[AIGC 大数据基础]hive浅谈
在当今大数据时代，随着数据量的不断增大，如何高效地处理和分析海量数据已经成为一个重要的挑战。为了满足这一需求，Hive应运而生。 Hive作为一个基于Hadoop的数据仓库基础设施，为用户提供了类SQL的查询语言和丰富的功能，使得处理大规模数据变得更...
-
AIGC：如何开启人工智能驱动的数据分析新时代大门？
随着人工智能技术的不断突破，我们已经迈入了数据分析的新纪元。在这个时代，AIGC（ 具备生成能力的人工智能）的应用正成为引领潮流的先锋。本文将带你一探究竟，深入剖 析GPTs应用商店的魔力所在、Python技术栈的无限可能、生成代码与开发提效的秘诀、数...
-
借助gpt生成ppt：文心一言（chatgpt）、chatppt
提供一种简单的基于gpt快速生成ppt的方式。前置条件： 文心一言 chatppt wps/office ppt Step1: 下载chatppt插件 https://chat-ppt.com/invitelinke?share_code=383...
-
开源一个整合了AIGC大语言模型的SpringBoot智慧医药系统
前言 哈喽兄弟们，好久不见哦～ 最近整理了一下之前写过的一些小项目/毕业设计。发现还是有很多存货的，虽然这些项目普遍都写的比较简单，但想一想既然放在电脑里面也吃灰，那么还不如开源分享出去，没准还可以帮助到一些小白新手。 本期就在其中选取了一个医...
-
[AIGC] Apache Spark 简介
Apache Spark是一个开源的大数据处理框架，它提供了高效的分布式数据处理和分析能力。Spark通过将数据加载到内存中进行计算，可以大幅提高数据处理速度。以下是Apache Spark的几个基本概念： 弹性分布式数据集（RDD）：RDD是Spa...
-
数据资产入表在即，企业如何把握机遇，进行数据资产管理？
数据作为新时代重要的生产要素之一，数据资产化的相关工作正在提速。自今年10月1日起，中国资产评估协会制定的《数据资产评估指导意见》正式施行。同时，《企业数据资源相关会计处理暂行规定》近期转为正式稿，也将于明年1月1日起施行。 《暂行规定》规定：企业使用的...
-
百度搜索内容HTAP表格存储系统
作者 | Chaos 导读 本文主要介绍百度搜索内容存储团队应对海量互联网数据分析计算需求时，在构建HTAP表格存储系统方向上的一些技术思考。 全文4683字，预计阅读时间12分钟。 01 业务背景 百度搜索内容存储团队主...
-
AntDB数据库受邀参加第六届上海人工智能大会，分享AIGC时代核心交易系统升级方案
近日，第六届上海人工智能大会春季论坛圆满落幕。大会以“数智互联，瞰见未来”为主题，邀请了来自国内外十余个国家和地区的学术界顶级学者和业内知名企业的技术大咖，探讨人工智能的学术、人才、技术、行业发展痛点。亚信科技AntDB数据库作为数智转型时代的基础软件受邀...
-
如何构建新一代实时湖仓？袋鼠云基于数据湖的探索升级之路
在之前的实时湖仓系列文章中，我们已经介绍了实时湖仓对于当前企业数字化转型的重要性，实时湖仓的功能架构设计，以及实时计算和数据湖结合的应用场景。 在本篇文章中，将介绍袋鼠云数栈在构建实时湖仓系统上的探索与落地实践，及未来规划。 数栈为什么选择实时湖仓...
-
数栈技术分享：带你详解数栈FlinkX实时采集原理与使用
一、FlinkX实时采集功能的基本介绍 首先为大家介绍下FlinkX实时模块的分类，如下图所示： 1、实时采集模块(CDC 1）MySQL Binlog插件 利用阿里开源的Canal组件实时从MySQL中捕获变更数据。 2）PostgreS...
-
实时温度监测网关可远程告警
冷库温度采集远程告警网关是一种专门用于监测和采集冷库温度数据的设备。它可以实时检测冷库内的温度，并将采集到的数据传输至云平台。通过与阿里云和华为云等云服务商的连接，冷库温度采集远程告警网关实现了数据的远程存储和管理。这样，用户可以随时随地通过云平台获取冷库...
-
数仓项目之用户行为数据采集
一、什么是数据仓库 数据仓库是为企业制定决策，提供数据支持的。可以帮助企业改进业务流程，提高产品质量。 数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等。 二、项目需求分析 1、用户行为数据采集平台搭建 2、业务数据采集平台...
-
搞不清 TDengine 的“复杂”查询？一文让它变简单
小 T 导读：作为一款专业的时序数据库（Time Series Database，TSDB），为满足用户在不同场景下的查询需求，TDengine 提供了丰富的查询功能。除了一些主要的查询外，还包括多表聚合查询、降采样查询及连续查询，本文将从实际操作层面对这...
-
利用Python网络爬虫采集天气网的实时信息—BeautifulSoup选择器
相信小伙伴们都知道今冬以来范围最广、持续时间最长、影响最重的一场低温雨雪冰冻天气过程正在进行中。预计，今天安徽、江苏、浙江、湖北、湖南等地有暴雪，局地大暴雪，新增积雪深度4～8厘米，局地可达10～20厘米。此外，贵州中东部、湖南中北部、湖北东南部、江西西北...
-
油烟安全监测解决方案
随着人们对环境保护的重视和国内油烟控制水平的不断提高，各地区对油烟污染防治的要求越来越高，油烟安全监测已成为主要的应用手段。 油烟安全监测利用物联网感知技术、GPRS无线通信技术等开发的集油烟监测、数据采集、数据传输为一体的系统。对餐饮单位或相关环...
-
BS1071-基于javaweb+springboot实现医疗健康档案大数据采集清洗数据分析可视化系统
本医疗健康档案大数据采集清洗数据分析可视化的设计与实现，系统主要采用java，springboot，动态图表echarts，vue，mysql，mybatisplus，医疗健康档案数据分析，html，css，javascript等技术实现，主要通过互联网采...
-
OpenTelemetry 项目解读
Opentelemetry Architecture 在 Collector 内部设计中，一套数据的流入、处理、流出的过程称为 pipeline。一个 pipeline 有三部分组件组合而成，它们分别是 receiver/ processor/ expo...
-
带你动手设计一个高速公路多节点温度采集系统
本篇文章主要介绍设备上云的详细流程，介绍华为云物联网云端产品、设备创建流程，数据转存方式，应用侧开发接口等等。 硬件选型： （1）STM32开发板: STM32F103C8T6 （2）NBIOT模块--BC26 BC26模块是一款高性能、低...
-
Qt编写物联网管理平台45-采集数据转发
一、前言 本系统严格意义上说是一个直连硬件的客户端软件，下面接的modbus协议的设备直接通过网络或者串口和软件通信，软件负责解析数据和存储记录。有时候客户想要领导办公室或者分管这一块的部门经理办公室，也安装一套这样的软件，能够查看到对应设备的数据，一种...
-
用电信息采集系统常见故障
一、用电信息采集系统简介 用电信息采集系统由采集主站、采集设备、电能表以及之间的通信组成，其结构如下图所示： 采集主站是采集系统的管理和控制中心，主要功能是对数据传输、数据处理和数据应用及系统安全与运行进行管理，同时也能实现与不同系统的数据集成和交...
-
vivo服务端监控架构设计与实践
一、业务背景 当今时代处在信息大爆发的时代，信息借助互联网的潮流在全球自由的流动，产生了各式各样的平台系统和软件系统，越来越多的业务也会导致系统的复杂性。 当核心业务出现了问题影响用户体验，开发人员没有及时发现，发现问题时已经为时已晚，又或者当服务器的...
-
第02期：Prometheus 数据采集（一）
上篇文章（第01期：详解 Prometheus 专栏开篇）介绍了 Prometheus 的架构，本文开始将介绍 Prometheus 数据采集。本文首先会介绍采集数据的格式和分类，然后会给出一些使用上的建议。 一、采集数据格式及分类 1.1 采集数据的...
-
构建日志采集方案的三要素和四原则
使用接入工具和缓存组件构建日志采集方案时，我们需要考虑的三个要素：时效性、数量级、复杂度。 • 时效性就是日志是否需要保障低时间延迟的传输，即我的设备和程序发生的事件需要在最短时间内拿到，还是可以允许有延迟，允许多长时间的延迟，几分钟还是几小时、或者半天...
-
安卓端gis_通图采集手机版(GIS数据采集软件)V1.31 安卓版
通图采集手机版(GIS数据采集软件 是一款移动端的GIS数据采集软件，软件不仅可以进行工程管理，还能在线加载谷歌卫星的影像，加载大数据，进行数据的采集、查询以及导航功能，是一款操作非常简单，但是功能却非常强大的手机软件。 应用介绍 通图采集安...
-
GPT手把手教你你回答百度面试
写在前面 大家好， 我是小牛，最近GPT让人打开眼界，我最近会出一系列利用GPT回答面试官后端面试的系列文章，希望对大家有所帮助！下面开始面试题和回答 简述Semaphore Semaphore 是一种用于控制并发访问的机制，它可以限制同时访问某个资源的...