-
GPU＋生成式人工智能助力提升时空数据分析
译者 | 朱先忠 审校 | 重楼 摘要：通过实战案例介绍，本文指出随着基于GPU加速的数据库技术为时间序列和空间数据带来更好的性能和精度水平，生成式人工智能技术将使得非领域专家也能够进行复杂的时空数据处理。 引言 时空数据来自手机、气候传感器、金融市场交...
-
吞吐量提升5倍，联合设计后端系统和前端语言的LLM接口来了
大型语言模型 (LLM 越来越多地用于需要多个链式生成调用、高级 prompt 技术、控制流以及与外部环境交互的复杂任务。然而，用于编程和执行这些应用程序的现有高效系统存在着明显的缺陷。 现在，开源社区的研究者们面向 LLM 提出了一种结构化生成语言（...
-
防火墙再“进化”，更智能是否更安全？
当黑客进行网络攻击时，首先会扫描系统对外开放的端口，例如公司公网 IP中用于SSH服务的22 端口，然后尝试爆破登录，以获取服务器的控制权。如果企业部署了防火墙防火墙，就可以屏蔽掉开放的 22 端口，并能拦截爆破的请求。 防火墙作为面向外部入侵的第一道防...
-
Midjourney的一些“咒语”【自用-1】
学习思路：翻译成英文就可以 公式是：主体描绘 + 核心主体 + 主体动作 + 风格 + 光效 + 色彩 + 视角 + 质量 + 命令 描写人物可添加的修饰词：服装细节精致， 咒语001：中国风 一位穿着红色汉服、中式风格的女孩，原始照片，长发，...
-
数据计算任务工具Fluid在AIGC模型推理场景中的优化方案
Fluid的介绍 Fluid是一个在Kubernetes环境中编排数据和使用数据的计算任务的工具。它的编排不仅涉及空间上的优化，还包括时间上的调度。从空间角度看，计算任务会优先被分配到存有缓存数据或靠近缓存的节点上，从而提升数据密集型应用的性能。从时间角...
-
如何高效部署大模型？CMU最新万字综述纵览LLM推理MLSys优化技术
在人工智能（AI）的快速发展背景下，大语言模型（LLMs）凭借其在语言相关任务上的杰出表现，已成为 AI 领域的重要推动力。然而，随着这些模型在各种应用中的普及，它们的复杂性和规模也为其部署和服务带来了前所未有的挑战。LLM 部署和服务面临着密集的计算强...
-
从GPT-4、文心一言再到Copilot，AIGC的长期价值被逐渐确立
@数科星球原创 作者丨苑晶 编辑丨十里香 动荡和富有戏剧性的一周行将结束，在本周，百度发布文心一言、OpenAI发布GPT-4、微软发布Microsoft 365 Copilot。围绕科技圈，人们的话题从赞叹GPT-4的强大、百度的股价再...
-
百度沈抖：做好AI原生应用，两个步骤至关重要
2024年1月10日，在荣耀MagicOS 8.0发布会及开发者大会上，荣耀终端有限公司CEO赵明宣布了“百模生态计划”，并与百度集团执行副总裁、百度智能云事业群总裁沈抖共同宣布，百度智能云成为荣耀大模型生态战略合作伙伴。 沈抖在现场演讲中表示，“端云协...
-
为AI而生的超级芯片，会将云端算力遣返回企业本地吗？
近年来，IT部门对于企业采取的“一切尽在云端”做法感到失望，这已经不是什么秘密了。但总的来说，他们并没有采取任何措施加以改进或扭转。因为大多数人认为，企业可以从云计算的可扩展性和更高效率中得到好处。 那么，这种情况会在2024年或2025年发生变化吗？...
-
突破 Pytorch 核心点，自动求导 ！！
嗨，我是小壮！ 关于pytorch中的自动求导操作，介绍有关pytorch自动求导的概念. 自动求导是深度学习框架中的一项重要功能，它允许机器学习模型自动计算梯度，进而进行参数更新和优化。 PyTorch是一个流行的深度学习框架，它通过动态计算图和自动...
-
AI测出你几岁死亡？Transformer「算命」登Nature子刊，成功预测意外死亡
【新智元导读】AI算命将可以预测人类的意外死亡?丹麦科学家用全国600万人的公开数据训练了一个基于Transformer的模型，成功预测了意外死亡和性格特点。 AI真的可以用来科学地算命了!? 丹麦技术大学 （DTU） 的研究人员声称他们已经设计出一种人工...
-
看见这张图没有，你就照着画：谷歌图像生成AI掌握多模态指令
用图2的风格画图1的猫猫并给它戴上一顶帽子。谷歌新设计的一种图像生成模型已经能做到这一点了!通过引入指令微调技术，多模态大模型可以根据文本指令描述的目标和多张参考图像准确生成新图像，效果堪比 PS 大神抓着你的手助你 P 图。 在使用大型语言模型（LLM...
-
物联网和人工智能的结合有哪些用例？
物联网正在迅速改变现代企业和整个经济领域。这种革命性的技术允许收集大量数据流，从而产生丰富的信息。然而，管理和解释它是一项艰巨的活动。 而人工智能和物联网将结合起来，重塑了商业世界的基本结构。它们共同展示了智能连接的巨大潜力，帮助企业简化运营，改善客户...
-
人工智能利用深度学习技术增强高级驾驶辅助系统(ADAS)
译者 | 李睿 审校 | 重楼 人工智能和机器学习利用深度学习技术的优势，使高级驾驶辅助系统(ADAS 发生了重大变革。ADAS在很大程度上依赖深度学习来分析和解释从各种传感器获得的大量数据。摄像头、激光雷达(光探测和测距 、雷达和超声波传感器都是传感器...
-
高情商的NPC来了，刚伸出手，它就做好了要配合下一步动作的准备
在虚拟现实、增强现实、游戏和人机交互等领域，经常需要让虚拟人物和屏幕外的玩家互动。这种互动是即时的，要求虚拟人物根据操作者的动作进行动态调整。有些互动还涉及物体，比如和和虚拟人物一起搬动一把椅子，这就需要特别关注操作者手部的精确动作。智能、可交互的虚拟人...
-
IT领导者在不断变化的需求和AI力量的权衡中探索立足点
2023年给世界各地的IT部门带来了许多变化，到目前为止最大的惊喜是GenAI，许多技术领军企业已经在预测性维护和供应链规划等方面与AI合作了十多年，有些人甚至实现了自己的虚拟个人助理，其中至少包括自然语言处理 - 有时还包括更多的智能。例如，在新...
-
测试时领域适应的鲁棒性得以保证，TRIBE在多真实场景下达到SOTA
测试时领域适应（Test-Time Adaptation）的目的是使源域模型适应推理阶段的测试数据，在适应未知的图像损坏领域取得了出色的效果。然而，当前许多方法都缺乏对真实世界场景中测试数据流的考虑，例如： 测试数据流应当是时变分布（而非传统领域适应中...
-
AI Native工程化：百度App AI互动技术实践
作者 | GodStart 导读 随着AI浪潮的兴起，越来越多的应用都在利用大模型重构业务形态，在设计和优化Prompt的过程中，我们发现整个Prompt测评和优化周期非常长，因此，我们提出了一种Prompt生成、评估与迭代的一体化解决方案，...
-
【小沐学Python】Python实现语音识别（Whisper）
文章目录 1、简介 1.1 whisper简介 1.2 whisper模型 2、安装 2.1 whisper 2.2 pytorch 2.3 ffmpeg 3、测试 3.1 命令测试 3.2 代码测试：识别声音文件 3.3 代码测试：...
-
AIGC 场景下存储与数据管理的挑战与应对
10月28日，"寻宝 AI 时代——OSC 源创会苏州站暨 Techo TVP 技术沙龙"在苏州圆满落幕。腾讯云存储专家解决方案架构师屠伟新带来《AIGC 场景下存储与数据管理的挑战与应对》主题分享。下面我们一起来学习回顾一下AIGC场景下的存储解决方案。...
-
STM32串口接收不定长数据（空闲中断+DMA）
玩转 STM32 单片机，肯定离不开串口。串口使用一个称为串行通信协议的协议来管理数据传输，该协议在数据传输期间控制数据流，包括数据位数、波特率、校验位和停止位等。由于串口简单易用，在各种产品交互中都有广泛应用。 但在使用串口通讯的时候，我们并不知道对方...
-
使用Flink完成流数据统计 | 京东云技术团队
一、统计流程 所有流计算统计的流程都是： 1、接入数据源 2、进行多次数据转换操作(过滤、拆分、聚合计算等 3、计算结果的存储 其中数据源可以是多个、数据转换的节点处理完数据可以发送到一个和多个下一个节点继续处理数据 Fli...
-
现代技术能解决供应链危机吗?
通过利用先进技术，企业可以更好地了解和控制其供应链。 物联网、人工智能(AI 、区块链和数据分析可以帮助解决当前的供应链危机。 作为消费者，我们并不经常看到“无形”的供应链——所有人和移动部件背后的简单动作，点击购买产品，并能在家门口找到。然而，健康的...
-
关于数字孪生的制造业应用，我们需要了解的一切
在智能制造领域，AI驱动的数字孪生已然成为一项关键技术。作为现实世界系统的数字模型/副本，数字孪生使用来自传感器和物联网（IoT）设备的数据提供数字表示，从而实时模拟物理对象或系统。 但在实际应用中，人们对于数字孪生的理解往往参差不齐。下面是一些常见的...
-
没有数据智能的人工智能是人工的
å¾ç 你在工作中看过机器人吸尘器吗？它一开始很有趣，当你看到它错过了你想要它清洗的一块污垢时，它变得越来越恼人。人工智能的前景是一样的。它可以使日常工作自动化，并带来显著的实际价值；但如果你不小心，你可能会花大部分时间反复撞到同一面墙上，或者在第...
-
whisper 语音识别项目部署
1.安装anaconda软件 在如下网盘免费获取软件： 链接：https://pan.baidu.com/s/1zOZCQOeiDhx6ebHh5zNasA 提取码：hfnd 2.使用conda命令创建python3.8环境 conda create...
-
浅谈人工智能中的算力、算法和数据
Labs 导读 随着科技的飞速发展，人工智能（Artificial Intelligence，AI）已经成为当今最热门的话题之一。在人工智能的应用中，算力、算法和数据是三个不可或缺的要素，也是生成式人工智能（AIGC）发展的核心。通过对人工智能中算...
-
深度解读AIGC存储解决方案
5月26日，2023数据基础设施技术峰会在苏州举办，腾讯云首席存储技术专家温涛受邀出席并分享了腾讯云领先的存储技术在AIGC场景中的应用，通过对AIGC业务流程和场景的提炼，从内容生成、内容审核和内容智理三要素介绍了如何智能的存储和管理数据。下面我们一起回...
-
今日思考（2） — 训练机器学习模型用GPU还是NUP更有优势（基于文心一言的回答）
前言 深度学习用GPU，强化学习用NPU。 1.训练深度学习模型，强化学习模型用NPU还是GPU更有优势 在训练深度学习模型时，GPU相比NPU有优势。GPU拥有更高的访存速度和更高的浮点运算能力，因此更适合深度学...
-
AIGC数据处理与存储解决方案
针对在AIGC的场景下，如何解决在AIGC训练过程中数据的存储和数据处理的问题，杨冠军从三个方面进行介绍与解读： 一是AIGC对存储提的新需求； 二是介绍腾讯云可以给用户提供的整体存储解决方案； ...
-
历数5年89篇研究，这篇综述告诉我们深度学习中的代码数据增强怎么样了
当今深度学习以及大模型的飞速发展，带来了对创新技术的不断追求。在这一进程中，代码数据增强技术显现出其不可忽视的价值。 最近，由蒙纳士大学、新加坡管理大学、华为诺亚方舟实验室、北京航空航天大学以及澳大利亚国立大学联合进行的对近 5 年的 89 篇相关研究调...
-
浅谈埋点及其质量保障 | 京东云技术团队
1、埋点是什么 埋点又称为事件追踪（Event Tracking），指的是针对用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。用大白话说：就是通过技术手段“监听”用户在APP、网站内的行为。 2、埋点的作用 如果我们想要收集用户行为数据...
-
谷歌发布 Mirasol：30 亿参数，将多模态理解扩展到长视频
11 月 16 日消息，谷歌公司近日发布新闻稿，介绍了小型人工智能模型 Mirasol，可以回答有关视频的问题并创造新的记录。 AI 模型目前很难处理不同的数据流，如果要让 AI 理解视频，需要整合视频、音频和文本等不同模态的信息，这大大增加了难度。...
-
如何构建新一代实时湖仓？袋鼠云基于数据湖的探索升级之路
在之前的实时湖仓系列文章中，我们已经介绍了实时湖仓对于当前企业数字化转型的重要性，实时湖仓的功能架构设计，以及实时计算和数据湖结合的应用场景。 在本篇文章中，将介绍袋鼠云数栈在构建实时湖仓系统上的探索与落地实践，及未来规划。 数栈为什么选择实时湖仓...
-
如何利用人工智能释放非结构化数据的力量
随着几乎所有垂直行业都走向数字化，人们常说“数据就是新石油”。然而，人们往往没有足够重视的是，石油在经过精炼并以柴油、汽油、天然气或航空燃料等所需形式存在之前，不适合驱动我们的机器，非结构化数据的情况几乎相同。 据估计，非结构化数据约占全球组织生成和存...
-
中国AIGC数据标注全景报告：百亿市场规模，百万就业缺口
数据标注，正迎来关键洗牌时刻。 大模型时代到来，以数据为中心的AI开发模式加速走向台前，数据的价值从未向今天这样被充分挖掘—— 大模型从训练到部署应用迭代，AIGC众多垂直场景落地，通用智能、具身智能等前沿领域探索，都与高质量、专业化的场景数据密不可分。...
-
谷歌DeepMind爆火动画18秒解释LLM原理，网友蒙圈！组团求GPT-4下场分析
Google DeepMind最近在自己的视频博客上上传了一段视频，「简单明了地」演示了大语言模型的工作原理，引发了网友的激烈讨论。 网友看了之后纷纷表示： 「终于，他们发了点普通人能看懂的东西了」。 「哦豁，这下懂了」 「对，就是这么简单！」 「太...
-
Meta最新模型LLaMA细节与代码详解
Meta最新模型LLaMA细节与代码详解 0. 简介 1. 项目环境依赖 2. 模型细节 2.1 RMS Pre-Norm 2.2 SwiGLU激活函数 2.3 RoPE旋转位置编码 3. 代码解读 3.1 tokenizer 3.2 m...
-
万字长文解读Stable Diffusion的核心插件—ControlNet
目录 一、介绍 二、使用方法 三、ControlNet结构 1.整体结构 2.ControlLDM 3.Timestep Embedding 4.HintBlock 5.ResBlock 6.SpatialTransformer 7.S...
-
数栈技术分享：详解FlinkX中的断点续传和实时采集
如果是第一次运行，或者上一次任务失败时还没有触发checkpoint，那么offset就不存在，根据offset和通道可以确定具体的查询sql: offset存在时 第一个通道： select * from data_test where i...
-
基于TableStore/MaxCompute的数据采集分析系统介绍
摘要 在互联网高度发达的今天，ipad、手机等智能终端设备随处可见，运行在其中的APP、网站也非常多，如何采集终端数据进行分析，提升软件的品质非常重要，例如PV/UV统计、用户行为数据统计与分析等。虽然场景简单，但是数据量大，对系统的吞吐量、实时性、分析...
-
DirectShow流媒体数据的采集及图片的捕获
DirectShow位于应用层中。它使用一种叫Filter Graph的模型来管理整个数据流的处理过程；参与数据处理的各个功能模块叫Filter；各个Filter 在Filter Graph中按一定的顺序连接成一条“流水线”协同工作。按照功能来分，...
-
#研发解决方案介绍#基于StatsD+Graphite的智能监控解决方案
本文档适用人员：研发和运维员工 提纲： 监控平台要做到什么程度？为什么要自己做？ 几个通用技术问题 绘图所依赖的数据如何收集？如何加工？如何存储？ 图形...
-
大数据导论（三：大数据的采集及预处理）
1、大数据采集 1.1 大数据采集概念 数据采集（DAQ）又称数据获取，通过RFID射频数据、传感器数据、社交网络数据、移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。 1.2 常用的数据采集方式 大数据的采集通常采用...
-
爬虫技术浅析
在WEB2.0时代，动态网页盛行起来。那么爬虫就应该能在页面内爬到这些有javascript生成的链接。当然动态解析页面只是爬虫的一个技术点。下面，我将按照如下顺序分享下面的这些内容的一些个人经验（编程语言为Python）。 1，爬虫架构。 2，页面下...
-
WebMagic之优秀爬虫框架
1. 一个框架，一个领域 一个好的框架必然凝聚了领域知识。WebMagic的设计参考了业界最优秀的爬虫Scrapy，而实现则应用了HttpClient、Jsoup等Java世界最成熟的工具，目标就是做一个Java语言Web爬虫的教科书般的实现。 如果你...
-
1.网络爬虫概述
目录 导读 一、网络爬虫是什么？ 二、数据如何产生？ 三、有哪些数据获取途径？ 四、爬虫可以做什么？ 五、网络爬虫的分类 六、爬虫开发中有哪些技术？ 七、开发环境准备 八、学习建议 导读 通过本篇文章的阅读，你将简单了解网络爬虫...
-
网络爬虫是否合法？
网络爬虫合法吗？ 网络爬虫领域目前还属于早期的拓荒阶段，虽然互联网世界已经通过自身的协议建立起一定的道德规范（Robots协议），但法律部分还在建立和完善中。从目前的情况来看，如果抓取的数据属于个人使用或科研范畴，基本不存在问题；而如果数据属于商业盈利...
-
直击 | 认识和了解bboss
1. BBoss是什么 bboss是一个基于开源协议Apache License发布的开源项目，由开源团队bboss运维，主要由以下三部分构成： Elasticsearch Highlevel Java Restclient ， 一个高性能高兼容性的...
-
使用DCA1000和EVM板进行数据采集
目录 1. 准备工作 1.1 硬件 1.2 软件 2. 驱动安装 3. 设置静态IP地址 4. 采集数据 5. 采集的数据文件的格式 6. 数据采集存储的数据流 参考资料 1. 准备工作 1.1 硬件 EVM板，电源线（5V，&...