-
用电信息采集系统常见故障
一、用电信息采集系统简介 用电信息采集系统由采集主站、采集设备、电能表以及之间的通信组成，其结构如下图所示： 采集主站是采集系统的管理和控制中心，主要功能是对数据传输、数据处理和数据应用及系统安全与运行进行管理，同时也能实现与不同系统的数据集成和交...
-
场景采集感知测评软件 INTEWORK-ARS
概述 工欲善其事，必先利其器。在“软件定义汽车”的新时代下，开发者们总结了一条适用于自动驾驶的开发流程，这条开发线路大致包括实车数据采集->数据存储->数据处理->数据分析->数据标注->模型训练->仿真测试->...
-
图像识别-数据采集
1 图像采集说明 算力、模型和数据是人工智能的三个要素。当一个算法模型设计好后，就需要大量标注好的数据去训练机器，从而使得机器更加“智能”，得以在实际应用场景中施展拳脚。若希望算法进一步提升性能，则需要更多精细化的数据加以训练，不断迭代。可以说，AI的...
-
【云原生 | 32】Docker运行数据采集和分析引擎Elasticsearch
作者简介：?云计算领域优质创作者?新星计划第三季python赛道第一名? 阿里云ACE认证高级工程师? ✒️个人主页：小鹏linux ?个人社区：小鹏linux（个人社区）欢迎您的加入！ 目录 1. 关于 Elasticsearch 1.1 El...
-
大数据采集与预处理技术
文章目录 第1章 大数据概念 1.1大数据的概念 1.2大数据的关键技术 1.3大数据采集与数据预处理技术 1.3.1大数据采集技术 1.3.2数据预处理技术 第二章 数据采集基础 2.1 传统数据采集技术 2.2大数据采集基础 第...
-
使用python编写网络爬虫
使用python编写网络爬虫 前言 1、为何使用爬虫 2、编写爬虫的知识要求 3、确定爬虫使用的工具库 4、确定要获取的数据集 4.1 分析Url地址变化 4.2 获取目标数据集所在的HTML区域 5、开始爬取页面 5.1 模拟浏览器...
-
数据采集 复习题
考前回顾记忆点： 爬虫python代码(urllib,bs4库 正则表达式基础 书p129规范化变换数据的三个计算。 传感器节点结构 如何运用传感器节点构造一个数据采集系统?（第二章作业） 6.常用的数据采集命令行:hadoop命令行 ** 第...
-
LC3视角：Kubernetes下日志采集、存储与处理技术实践
摘要： 在Kubernetes服务化、日志处理实时化以及日志集中式存储趋势下，Kubernetes日志处理上也遇到的新挑战，包括：容器动态采集、大流量性能瓶颈、日志路由管理等问题。本文介绍了“Logtail + 日志服务 + 生态”架构，介绍了：Logta...
-
AI数据采集标注类型：揭秘数据采集与标注的关键环节
随着人工智能技术的快速发展，数据采集和标注已成为人工智能领域中不可或缺的一部分。数据采集是获取高质量数据的第一步，而数据标注则是保证数据质量的关键环节。在这篇文章中，我们将深入探讨AI数据采集标注类型，包括数据采集的方式、数据标注的流程和注意事项等方面。...
-
爬虫之验证码处理
文章目录 验证码处理 一、 字符验证码 1、 难点 2、 图像处理 3、 实例代码 二、 滑块验证码 1、 难点 2、 实现示例 三、 点触验证码 1、 问题 2、 解决方案 3、 使用案例 验证码处理 一、 字...
-
数据采集为什么那么重要？其4大基本特征是什么？
今日主题——数据采集，数据采集是数据分析、挖掘的一个环节，在数据处理过程中是非常基本和重要的，但经常被忽视。但再好的分析原理、建模算法，没有高质量的数据都是没有用的。以下小编将介绍数据采集的概念、基本特征和企业在数据采集过程中面临的主要问题这几个方面，来为...
-
爬虫基本原理介绍、实现以及问题解决
文章目录 一、爬虫的意义 1.前言 2.爬虫能做什么 3.爬虫有什么意义 二、爬虫的实现 1.爬虫的基础原理 2.api的获取 3.爬虫实现 三、反爬解决方案 1.反爬的...
-
数栈技术分享：如何使用数栈进行数据采集？
数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢...
-
数据分析的根基：数据采集的4大基本特征
相信大家都知道数据分析和数据挖掘的概念，但是你知道数据分析和数据挖掘的基础是什么吗？今日小编就和大家一起来了解一下数据分析、数据挖掘基础——数据采集。数据采集是数据分析、挖掘的一个环节，在数据处理过程中是非常基本和重要的，但经常被忽视。但再好的分析原理、建...
-
数据采集与预处理
目录 1.采用哪些方式可以获取大数据？ 2.常用大数据采集工具有哪些？ 3.简述什么是Apache Kafka数据采集。 4.Topic可以有多少个分区，这些分区有什么用？ 5.Kafka抽象具有哪种模式的特征消费组？ 6.简述数据预处理的...
-
大数据采集（hdu）第二章笔记
2.1大数据采集概述 大数据采集技术就是指对数据进行提取（Extract）、转换（Transform）、加载（Load）操作（即ETL操作），将不同来源的数据整合成为一个新的数据集，为后续的查询和分析处理提供统一的数据视图。 系统日...
-
【深度讲解】iOS应用性能数据采集原理和优化实践 | 内附代码&案例
作者简介 刘徐兵（Alvin Liu），云智慧/开发经理。曾在高德、当当有多年大型App开发经验，在云智慧从事APM SDK研发工作5+年。对App开发和性能优化有深入的研究和实践。 iOS应用数据采集的基础 Objective-C Runtime...
-
基于SLS构建RDS审计合规监控
云产品采集渠道 单账号同地域采集场景（只能将RDS审计日志采集到同地域的日志库中） • SLS控制台首页“接入数据”区域，选择“RDS 审计”。下文以采集张家口实例为例说明。 • 因为采集的实例位于张家口，所以需要在张家口新建或者...
-
多模态音乐AI框架Video2Music 为视频生成情感相符的音乐
近日，一款创新的人工智能多模态音乐生成框架Video2Music引起了广泛关注。该框架利用独特的数据集和经过用户研究验证的转换器模型，能够为视频生成情感上相符的音乐，填补了这一领域的空白。据悉，Video2Music的GitHub Repo已经发布，为研究...
-
百度智能云千帆大模型平台推出千帆SDK开源版本
百度智能云千帆大模型平台再次升级，推出千帆 SDK，全面开源并免费下载使用。 该 SDK 提供了从数据集管理、模型训练、模型评估到服务部署等一系列功能，用户可以通过代码接入并调用百度智能云千帆大模型平台的能力，轻松实现 LLMOps 全流程的落地，快速构建...
-
北大推出首个多轮多模态PPT任务完成基准PPTC GPT-4完成正确率仅6%
北大和微软亚洲研究院的研究人员提出了一项新的评估基准PPTC，旨在评估大型语言模型在复杂多轮多模态PPT任务中的表现。 他们通过创建包含数百个多模态指令的数据集，挑战大模型在多轮人机对话中生成PPT文档的能力。结果显示，GPT-4在创建新PPT文档任务中表...
-
GPT-4完成正确率仅6%！北大等提出首个「多轮、多模态」PPT任务完成基准PPTC
【新智元导读】为了填补LLM在复杂多模态环境中利用复杂工具完成多轮、多模态指令的评估空白，研究人员引入了PowerPoint任务完成（PPTC）基准测试，以评估LLM创建和编辑PPT文档的能力。 最近对大型语言模型（例如ChatGPT和GPT-4）进行的评...
-
自动驾驶系统中相机相对地面的在线标定
本文经自动驾驶之心公众号授权转载，转载请联系出处。 文章：Online Camera-to-ground Calibration for Autonomous Driving 作者：Binbin Li, Xinyu Du, Yao Hu, Hao Yu...
-
目标检测标注的时代已经过去了？
在快速发展的机器学习领域，有一个方面一直保持不变：繁琐和耗时的数据标注任务。无论是用于图像分类、目标检测还是语义分割，长期以来人工标记的数据集一直是监督学习的基础。 然而，由于一个创新性的工具 AutoDistill，这种情况可能很快会发生改变。 G...
-
让大模型自主探索开放世界，北大&智源提出训练框架LLaMA-Rider
大语言模型因其强大而通用的语言生成、理解能力，展现出了成为通用智能体的潜力。与此同时，在开放式的环境中探索、学习则是通用智能体的重要能力之一。因此，大语言模型如何适配开放世界是一个重要的研究问题。 北京大学和北京智源人工智能研究院的团队针对这个问题提出了...
-
北大&智源提出训练框架LLaMA-Rider 让大模型自主探索开放世界
北京大学和北京智源人工智能研究院的团队提出了名为LLaMA-Rider的训练框架，旨在让大型语言模型在开放世界中具备自主探索和学习任务的能力。这个框架通过反馈-修改机制来实现主动探索，使模型在环境中接收反馈信息，不断调整决策，从而逐渐适应开放环境。 项目...
-
强化学习与多任务推荐
一、短视频推荐两阶段约束强化学习算法 首先介绍的一项快手自研的 WWW 2023 Research Track 工作，主要解决短视频推荐场景下的带约束多目标优化问题。 在短视频推荐单列场景中，用户通过上下滑形式和系统进行交互，观看多个视频。用户对每个...
-
让大模型忘记哈利波特，微软新研究上演Llama 2记忆消除术，真·用魔法打败魔法（doge）
最近微软一项研究让Llama 2选择性失忆了，把哈利波特忘得一干二净。 现在问模型“哈利波特是谁？”，它的回答是这样婶儿的： 木有赫敏、罗恩，木有霍格沃茨…… 要知道此前Llama 2的记忆深度还是很给力的，比如给它一个看似非常普通的提示“那年秋天，哈...
-
交叉验证太重要了！
首先需要搞明白，为什么需要交叉验证？ 交叉验证是机器学习和统计学中常用的一种技术，用于评估预测模型的性能和泛化能力，特别是在数据有限或评估模型对新的未见数据的泛化能力时，交叉验证非常有价值。 那么具体在什么情况下会使用交叉验证呢？ 模型性能评估：交叉...
-
AI视野：xAI首个大模型Grok炸场;李开复官宣开源大模型Yi-34B;ChatGPT原型Gizmo新功能曝光;百度网盘引入大模型智能助理
????大模型动态 李开复官宣全球最强开源大模型Yi-34B 一次可处理40万汉字 零一万物发布全球最强的开源大模型Yi-34B，具备超强的语言理解和处理能力，支持处理40万汉字，在中文指标上表现卓越，标志着中国在大模型领域的重大突破。 项目地址:htt...
-
大型语言模型（LLM）技术精要，不看亏了
哈喽，大家好。 今天分享一篇知乎高赞文章，作者是张俊林老师。 图片 读完收获很多，能帮大家更好地理解、学习大模型。原文有2.8w字，我提炼了核心要点，阅读需要10min。 ChatGPT的出现给很多人带来了惊喜和醒悟。有人惊喜地发现大型语言模型（LLM）...
-
Silobreaker推AI威胁情报助手：协助组织迅速应对风险
领先的安全和威胁情报技术公司Silobreaker正式宣布推出其全新生成式人工智能工具，名为Silobreaker AI。这一工具的主要目标是为威胁情报团队提供支持，帮助他们更快地生成高质量的情报报告，以助力组织做出以情报为主导的决策。 Silobreak...
-
PubDef：使用公共模型防御迁移攻击
译者 | 布加迪 审校 | 重楼 对抗性攻击对机器学习系统的可靠性和安全性构成了严重威胁。通过对输入进行微小的变动，攻击者就可以导致模型生成完全错误的输出。防御这种攻击是一个很活跃的研究领域，但大多数提议的防御措施都存在重大的缺点。 这篇来自加州大学伯克...
-
AI治理的内容、方式及其产生的原因
自诞生以来，AI一直是一个强大的工具，通过自动化任务和简化操作，构建更好的技术，并使最终用户体验更轻松和更个性化，帮助改善内部运营。虽然AI对社会的影响并不新鲜，但更先进的AI解决方案的崛起引发了人们对这些技术将如何利用的担忧。 AI的繁荣创造了对强大...
-
人工智能如何改变城市景观
人工智能(AI 和深度学习无处不在，如今它们具有重塑城市景观的潜力。分析景观图像的深度学习模型可以帮助城市规划者可视化重建计划，以提高美观度并防止代价高昂的错误。然而，为了使这些模型有效，它们需要准确地识别和分类图像中的元素，这是一个称为实例分割的挑战...
-
马斯克xAI公布大模型详细进展，Grok只训练了2个月
近几日，马斯克的人工智能公司 xAI 公布了他们用来对标 OpenAI ChatGPT 的产品 ——Grok ，直接把网友的好奇心拉满。 和总是一本正经回答问题的 ChatGPT 不同，Grok 自带幽默和嘲讽技能。 就像下图所展示的，Grok 在被...
-
Together AI发布RedPajama v2 用于大模型训练
Together AI发布了RedPajama v2，这是一个包含30万亿标记的数据集，旨在支持大型语言模型的研究和开发。高质量的数据对于这些模型的成功至关重要，但获取适当的数据集是一项繁琐的任务，需要大量时间、资源和金钱。 研究人员从CommonCraw...
-
谷歌DeepMind力证：GPT-4终局是人类智慧总和！Transformer模型无法超越训练数据进行泛化
Transformer模型是否能够超越预训练数据范围，泛化出新的认知和能力，一直是学界争议已久的问题。 最近谷歌DeepMind的3位研究研究人员认为，要求模型在超出预训练数据范围之外泛化出解决新问题的能力，几乎是不可能的。 LLM的终局就是人类智慧总和...
-
元象XVERSE开源650亿参数通用大模型XVERSE-65B
元象XVERSE宣布 开源650亿参数高性能通用大模型XVERSE-65B，无条件免费商用。 XVERSE-65B 是由深圳元象科技开发的一种支持多语言的大型语言模型。它采用了 Transformer 网络结构，参数规模达到了650亿。 模型通过训练了2....
-
北大具身智能新成果：无需训练，听指令就能灵活走位
北京大学董豪团队具身导航最新成果来了： 无需额外建图和训练，只需说出导航指令，如： Walk forward across the room and walk through the panty followed by the kitchen. Stan...
-
使用LIME解释各种机器学习模型代码示例
机器学习模型变得越来越复杂和准确，但它们的不透明性仍然是一个重大挑战。理解为什么一个模型会做出特定的预测，对于建立信任和确保它按照预期行事至关重要。在本文中，我们将介绍LIME，并使用它来解释各种常见的模型。 LIME LIME (Local Inter...
-
Together AI发布RedPajama v2：包内30万亿token数据集，用于训练大型语言模型
Together AI最近发布了RedPajama v2，这是一个庞大的在线数据集，包含了30万亿token，成为目前公开可用的最大数据集之一，专门用于学习型机器学习系统的培训。 对于像Llama、Mistral、Falcon、MPT和RedPajama等...
-
全球首发！总结七十余种开源数据集，一览自动驾驶开源数据体系
本文经自动驾驶之心公众号授权转载，转载请联系出处。 基于数据驱动的各类深度学习模型任务，近年来随着数据集规模的不断扩大，性能逐渐被提升，国内外各大自动驾驶公司都在不断建立自己的数据库，以及数据闭环系统，期待数据的丰富能够解决下半场自动驾驶问题，那么如何...
-
什么是机器学习中的正则化？
1. 引言 在机器学习领域中，相关模型可能会在训练过程中变得过拟合和欠拟合。为了防止这种情况的发生，我们在机器学习中使用正则化操作来适当地让模型拟合在我们的测试集上。一般来说，正则化操作通过降低过拟合和欠拟合的可能性来帮助大家获得最佳模型。 在本文...
-
中科院物理研究所等发布材料合成AI大语言模型MatChat
近期，中国科学院计算机网络信息中心人工智能部和物理研究所SF10组合作，通过使用来自400多万篇论文中提取的35675个无机材料固相反应合成过程，将数据处理为13878条高可信度的合成路径描述数据，并对开源大语言模型LLaMA2-7B进行微调训练，研发了专...
-
一篇学会大模型浪潮下的时间序列预测
今天跟大家聊一聊大模型在时间序列预测中的应用。随着大模型在NLP领域的发展，越来越多的工作尝试将大模型应用到时间序列预测领域中。这篇文章介绍了大模型应用到时间序列预测的主要方法，并汇总了近期相关的一些工作，帮助大家理解大模型时代时间序列预测的研究方法。...
-
GitHub黑市曝光，高档刷星6元一颗，最奇葩开源项目97%都是刷的
在黑市买GitHub星星多少钱？ 最贵的高达6元一颗。 有创业者Yassin Eldeeeb自掏腰包测试了一把。他足足花20欧元（约156人民币），只买到25颗“高级星星”。 没错，在黑市上刷GitHub星星也是分高低贵贱的。 高级的都是注册一年以上的...
-
20步内越狱任意大模型！更多“奶奶漏洞”全自动发现
1分钟不到、20步以内“越狱”任意大模型，绕过安全限制！ 而且不必知道模型内部细节—— 只需要两个黑盒模型互动，就能让AI全自动攻陷AI，说出危险内容。 听说曾经红极一时的“奶奶漏洞”已经被修复了: 那么现在搬出“侦探漏洞”、“冒险家漏洞”、“作家漏...
-
给大模型评分的基准靠谱吗？Anthropic来了次大评估
现阶段，大多数围绕人工智能 （AI）对社会影响的讨论可归结为 AI 系统的某些属性，例如真实性、公平性、滥用的可能性等。但现在面临的问题是，许多研究人员并没有完全意识到建立稳健可靠的模型评估是多么困难。当今许多现有的评估套件在各个方面的表现都很有限。 A...
-
AI「脑补」画面太强了！李飞飞团队新作ZeroNVS，单个视图360度全场景生成
近来，利用3D感知扩散模型训练模型，然后对单个物体进行SDS蒸馏的研究数不胜数。 但是，能够真正做到「场景级」的画面生成，从未实现。 现如今，斯坦福李飞飞和谷歌团队打破了这个记录！ 比如，输入一张从某个角度拍摄的客厅图片，整个客厅的样貌就出来了。 再来...