-
数据分层：打造数据资产管家
一、引言 随着企业数据规模的增长，数据的价值变得越来越重要。然而，传统的数据库在承载大量数据时面临挑战，需要高效有序的维护。因此，建立高效的数据仓库成为了企业决策和管理的基石，但现代技术的背景下，数据管理和保护仍然存在着重要挑战。 为了解决这些挑战，数...
-
PyTorch团队重写「分割一切」模型，比原始实现快八倍
从年初到现在，生成式 AI 发展迅猛。但很多时候，我们又不得不面临一个难题：如何加快生成式 AI 的训练、推理等，尤其是在使用 PyTorch 的情况下。 本文 PyTorch 团队的研究者为我们提供了一个解决方案。文章重点介绍了如何使用纯原生 PyTo...
-
人工智能会取代专业技术人员吗？
人工智能(AI 已经存在一段时间了。在过去的十年里，深度学习彻底改变了计算机视觉和自然语言处理等领域。但在过去一年左右的时间里，生成式人工智能席卷了整个世界。人工智能正在超越分类和预测，积极创造和影响各种行业，并具有即时应用。IT行业本身一直是这一切的...
-
运行基于云的生成式AI系统的几个优秀实践
译者 | 布加迪 审校 | 重楼 您猜怎么着？云计算会议现在是生成式AI会议。怎么会这样？很简单，云提供商将生成式AI视为销售更多云服务的最佳方式了。 随着企业界转向AI驱动的生态系统，这一幕主要在云计算环境中上演。在这里您通常可以找到最先进的生成式A...
-
李彦宏：百度文心一言是率先实现收费的大型语言模型之一
在昨日的财报电话会议上，针对AI相关问题，百度董事长兼CEO李彦宏表示，公司在利用生成式人工智能技术推动广告业务增长，包括创意建设、精准投放、竞价优化方面的工作，这些努力也在逐步起效，所推动的营收增长也将在四季度超过数亿元人民币。 李彦宏还称，文心一言4....
-
UC伯克利研究人员推出Ghostbuster:用于检测 LLM 生成文本的最先进 AI 方法
LLM，如 ChatGPT，可以轻松地产生各种流利的文本，但是它们的准确性有多高呢?语言模型容易产生事实错误和幻觉，这让读者在决定是否相信一个信息来源时知道是否使用了这些工具来做新闻文章或其他信息文本的幽灵写作。这些模型的发展也引发了对文本的真实性和原创性...
-
一种全新的日志异常检测评估框架：LightAD
本文分享自华为云社区《【AIOps】一种全新的日志异常检测评估框架：LightAD，相关成果已被软工顶会ICSE 2024录用》，作者： DevAI。 深度学习（DL）虽然在日志异常检测中得到了不少应用，但在实际轻量级运维模型选择中，必须仔细考虑异常检测...
-
gpt crawler：从URL爬取网站生成结构化知识，创建定制GPT
gpt crawler是一款强大的工具，能够将网站内容全面地爬取下来，并将其转换成结构化知识，为GPTs的学习提供了有力支持。 这个工具的应用场景广泛，比如，如果你想打造一个数字人分身，可以先将自己在社交媒体或个人博客上的内容抓取下来，然后提交给ChatG...
-
百度文心一言怎么样？
文心一言在3月16号发布，刚发布时只有邀请码体验，没有申请体验通道。到了晚上看到申请体验通道，便提交了申请，到4月1号过了半个月终于收到短信可以体验了。 本来想看看接口，也没什么恶意，但是却遭到了拒绝，感觉是小心翼翼，生怕泄露了什么。 另外...
-
大模型「幻觉」，看这一篇就够了
大模型“幻觉”，终于有系统综述了！ 一口气49页，详细阐述了幻觉定义、分类、导致幻觉的原因，还有检测幻觉、减轻幻觉的方法。 这篇最新综述来自哈工大和华为，一po出就在网上火得不行： 具体来说，文中用一套新的范畴框架来定义模型幻觉，并将其分为事实性幻觉、...
-
OpenAI 新发布GPT 最佳实践；WordPress新增 AI写作助手；国产语言模型TigerBot发布
? AI新闻 ? WordPress新增Jetpack AI Assistant AI写作助手 摘要：Automattic公司宣布，为其WordPress新增AI写作助手–Jetpack AI Assistant。该工具可根据用户提示撰写博文、详情...
-
解释：生成式 AI的工作机制与差异
像 ChatGPT 这样强大的生成式 AI 系统是如何工作的，它们与其他类型的人工智能有何不同？ 快速浏览一下头条新闻，就会发现生成式人工智能如今无处不在。事实上，其中一些标题实际上可能是由生成式人工智能撰写的，例如 OpenAI 的 ChatGPT，...
-
S-LoRA：一个GPU运行数千大模型成为可能
一般来说，大语言模型的部署都会采用「预训练 — 然后微调」的模式。但是，当针对众多任务（如个性化助手）对 base 模型进行微调时，训练和服务成本会变得非常高昂。低秩适配（LowRank Adaptation，LoRA）是一种参数效率高的微调方法，通常用...
-
使用Python从图像中提取表格
大约一年前，我被分配任务从文件中提取和结构化数据，主要是包含在表格中的数据。我之前对计算机视觉没有了解，并且很难找到一个合适的“即插即用”的解决方案。当时可选的方案要么是基于最新神经网络（NN）的解决方案，这些解决方案庞大而繁琐，要么是基于OpenCV的...
-
Ghostbuster：一个准确度高的AI生成文本检测工具
大语言模型如ChatGPT，以其卓越的写作能力引发了问题。学生们纷纷利用这些模型代写作业，导致一些学校不得不采取禁止ChatGPT的措施。此外，这些模型还存在生成带有事实错误的文本的倾向，因此谨慎的读者可能想知道，在信任某些新闻文章或其他来源之前，是否有生...
-
如何利用人工智能释放非结构化数据的力量
随着几乎所有垂直行业都走向数字化，人们常说“数据就是新石油”。然而，人们往往没有足够重视的是，石油在经过精炼并以柴油、汽油、天然气或航空燃料等所需形式存在之前，不适合驱动我们的机器，非结构化数据的情况几乎相同。 据估计，非结构化数据约占全球组织生成和存...
-
LLaMA微调记录
本文基于开源代码https://github.com/Lightning-AI/lit-llama/tree/main执行微调 其他参考链接： Accelerating LLaMA with Fabric: A Comprehensive Guide...
-
刚刚，出行行业首个！百亿估值玩家联合国有运营商开卷大模型
首个落地的交通出行大模型，它来了! 这两年的出行行业，有的卷补贴、规模，有的卷自动驾驶、卷定制车，终于有人开始卷大模型了! 名为“阡陌”，背后是国家队级别的选手:T3出行和中国电信。 T3出行，出行领域快速崛起的明星玩家，曾创造77亿元融资业内纪录，估值早...
-
创作没灵感？可视化图谱+搜索引擎助你无障碍生成内容 #ATLAS + Stable Diffusion
AIGC 的发展带动了内容创作产品生态的变革。从纯粹的设计生产工具，扩展到数据集、内容社区、搜索引擎等功能形式多样的产品。对于设计师而言，生成式设计工具与传统设计工具的区别，主要体现在工作流。 Mixlab 小杜 传统设计工具...
-
LoRAShear:微软在LLM修剪和知识恢复方面的最新研究
LoRAShear是微软为优化语言模型模型(llm 和保存知识而开发的一种新方法。它可以进行结构性修剪，减少计算需求并提高效率。 LHSPG技术（ Lora Half-Space Projected Gradient）支持渐进式结构化剪枝和动态知识恢复...
-
【文末送书】AIGC时代的数据分析与可视化
欢迎关注博主 Mindtechnist 或加入【智能科技社区】一起学习和分享Linux、C、C++、Python、Matlab，机器人运动控制、多机器人协作，智能优化算法，滤波估计、多传感器信息融合，机器学习，人工智能等相关领域的知识和技术。搜索关注公粽号...
-
AIGC：自动化内容生成，AI 的下一个引爆点？
来源｜晨山资本 作者｜吴文超 晨山资本副总裁，主要关注底层技术创新、人工智能和信息安全等领域。曾主导并参与了优锘科技、达观数据、雪浪数制、摩尔元数、LinkedMe、富数科技等多个企业的投资。在加入晨山资本之前，吴文超曾就职于明略科技集团，从事大数据研发...
-
[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora（部分）
文章目录 LLaMA大模型及其衍生模型 1. LLaMA 2. stanford_alpaca 3. ChatDoctor 4. alpaca-lora 5. Chinese-LLaMA-Alpaca 6. BELLE 大模型综述 A Su...
-
AIGC 爆火，浪潮信息要做大模型的数据存储大底座
AIGC 在 2023 年爆火，各类大模型层出不穷，参数动辄达到千亿数量级。这些背后，数据的类型和形式也走向复杂多样。例如大模型会采用到我们真实物理世界中的文字、视觉、音频、3D、雷达、多谱等复杂多样的不同模态信号和数据，数据则又存在结构化、半结构化、非结...
-
AIGC图像分辨率太低？快来试试像素感知扩散超分模型，你想要的细节都在这里
FaceChain写真开源项目插播： 最新 FaceChain支持多人合照写真、上百种单人写真风格，项目信息汇总：ModelScope 魔搭社区 。 github开源直达（觉得有趣的点个star哈。）：GitHub - mo...
-
数据分类分级 数据识别-识别日期类型数据
前面针对数据安全-数据分类分级方案设计做了分析讲解，具体内容可点击数据安全-数据分类分级方案设计，不再做赘述 上面图片是AI创作生成！如需咒语可私戳哦！ 目录 前言 需求 日期格式 代码 日期类型数据对应正则表达式...
-
全面对比GPT-3.5与LLaMA 2微调
通用大模型虽好，但通过微调得到一个专属大模型不仅可以提高模型的可操控性、输出格式的可靠性和语气的一致性，还能让用户缩短提示长度，加速API调用，降低成本。 本文作者Sam L'Huillier对GPT-3.5与LLaMA 2的微调进行了基准...
-
【云栖2023】王峰：开源大数据平台3.0技术解读
本文根据2023云栖大会演讲实录整理而成，演讲信息如下： 演讲人：王峰 | 阿里云研究员，阿里云计算平台事业部开源大数据平台负责人 演讲主题：开源大数据平台3.0技术解读 实时化与Serverless是开源大数据3.0时代的必然选择 阿里云开源...
-
让AI模型成为GTA五星玩家，基于视觉的可编程智能体Octopus来了
电子游戏已经成为如今现实世界的模拟舞台，展现出无限可能。以游戏《侠盗猎车手》（GTA）为例，在 GTA 的世界里，玩家可以以第一人称视角，在洛圣都(游戏虚拟城市 当中经历丰富多彩的生活。然而，既然人类玩家能够在洛圣都里尽情遨游完成若干任务，我们是否也能有一...
-
python爬虫从入门到精通
目录 一、正确认识Python爬虫 二、了解爬虫的本质 1. 熟悉Python编程 2. 了解HTML 3. 了解网络爬虫的基本原理 4. 学习使用Python爬虫库 三、了解非结构化数据的存储 1. 本地文件 2. 数据库 四、掌...
-
开发者「第二大脑」来袭，GitHub Copilot更新，人类开发参与进一步减少
是什么让 Andrej Karpathy 感慨，人类在软件开发过程中直接编写代码的贡献将越来越小，直接输入和监督作用将更加抽象化。最终，人类的角色将仅仅是进行基本的审核和确认，而不再是主要的编程和开发者。 原来是 GitHub 新发布的 Copilot...
-
大模型勇闯洛圣都，加封「GTA五星好市民」！南洋理工、清华等发布视觉可编程智能体Octopus：打游戏、做家务全能干
随着游戏制作技术的不断发展，电子游戏已然成为现实世界的模拟舞台。 以游戏《侠盗猎车手》（GTA）为例，在GTA的世界里，玩家可以以第一人称视角，在洛圣都（游戏虚拟城市）当中经历丰富多彩的生活。 然而，既然人类玩家能够在洛圣都里尽情遨游完成若干任务，我们...
-
人工智能如何重塑制造业的未来？
根据调研机构最近发布的一份调查报告，到2022年，人工智能为制造业带来的价值达到23亿美元，预计到2027年将达到167亿美元。从自动化和预测分析，到自然语言处理(NLP 和计算机视觉，采用任何形式的人工智能的结果都可以在IBM、英特尔、通用电气、西门子...
-
AIGC远不止是代码辅助
生成式人工智能（AIGC）对于软件开发人员的生产力有重要的潜力。但要成功利用它，需要将其视为不仅仅是代码生成工具而已。 生成式人工智能（AIGC）可以彻底改变软件开发。它具有驱动软件开发人员显著提高生产力的能力，可以加快创新周期和上市时间。然而，如果将其...
-
矢量数据库如何增强生成式人工智能
矢量数据库充当法学硕士和外部信息之间的桥梁，为生成式人工智能系统提供基本功能。 以ChatGPT为代表的生成式人工智能(GenAI 的出现和大型语言模型(LLM 的兴起，重塑了我们对人工智能潜力的看法。这些发展不仅改变了开发人员构建人工智能应用的方式，...
-
AIGC实战——深度学习 (Deep Learning, DL)
AIGC实战——深度学习 0. 前言 1. 深度学习基本概念 1.1 基本定义 1.2 非结构化数据 2. 深度神经网络 2.1 神经网络 2.2 学习高级特征 3. TensorFlow 和 Keras 4. 多层感知器 (MLP ...
-
知识图谱与大模型相结合的3种方法，1+1>2
本文分享自华为云社区《知识图谱与大模型结合方法概述》，作者： DevAI 。 《Unifying Large Language Models and Knowledge Graphs: A Roadmap》总结了大语言模型和知识图谱融合的三种路线：1）K...
-
理论+实践详解最热的LLM应用框架LangChain
3.3 Chat 聊天模型是语言模型的一个变体，聊天模型以语言模型为基础，其内部使用语言模型，不再以文本字符串为输入和输出，而是将聊天信息列表为输入和输出，他们提供更加结构化的 API。通过聊天模型可以传递一个或多个消息。LangChain 目前支持四类...
-
基于TableStore/MaxCompute的数据采集分析系统介绍
摘要 在互联网高度发达的今天，ipad、手机等智能终端设备随处可见，运行在其中的APP、网站也非常多，如何采集终端数据进行分析，提升软件的品质非常重要，例如PV/UV统计、用户行为数据统计与分析等。虽然场景简单，但是数据量大，对系统的吞吐量、实时性、分析...
-
大数据导论（三：大数据的采集及预处理）
1、大数据采集 1.1 大数据采集概念 数据采集（DAQ）又称数据获取，通过RFID射频数据、传感器数据、社交网络数据、移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。 1.2 常用的数据采集方式 大数据的采集通常采用...
-
新一代云原生日志架构 - Loggie的设计与实践
Loggie萌芽于网易严选业务的实际需求，成长于严选与数帆的长期共建，持续发展于网易数帆与网易传媒、中国工商银行的紧密协作。广泛的生态，使得项目能够基于业务需求不断完善、成熟。目前已经开源：https://github.com/loggie-io/logg...
-
爬虫技术浅析
在WEB2.0时代，动态网页盛行起来。那么爬虫就应该能在页面内爬到这些有javascript生成的链接。当然动态解析页面只是爬虫的一个技术点。下面，我将按照如下顺序分享下面的这些内容的一些个人经验（编程语言为Python）。 1，爬虫架构。 2，页面下...
-
什么是爬虫？Python爬虫工作需要掌握哪些技能？
网络爬虫是Python的应用领域之一，世界上80%的爬虫都是基于Python开发的，那么Python爬虫能干什么呢?我们一起来看看吧。 什么是爬虫? 网络爬虫，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，另外一些不常用的名字还...
-
WebMagic之优秀爬虫框架
1. 一个框架，一个领域 一个好的框架必然凝聚了领域知识。WebMagic的设计参考了业界最优秀的爬虫Scrapy，而实现则应用了HttpClient、Jsoup等Java世界最成熟的工具，目标就是做一个Java语言Web爬虫的教科书般的实现。 如果你...
-
云计算与大数据第8章 大数据采集习题及答案
第8章 大数据采集习题 8.1 选择题 1、数据采集的数据对象类型包括（ D ）。 A. 结构化数据 B. 半结构化数据 C. 非结构化数据 D. 以上都是 2、数据采集的主要性能要求不包括以下的（ B ...
-
后羿采集器快速入门----一款没有编程经验也能轻松使用的数据采集软件
后羿采集器快速入门 一、前言 不知道大家有没有苦恼于如何快速获取网页上的数据？想要进行大量重复性的操作但又要花费大量时间经历学习爬虫，这对于没啥编程基础的朋友们来说简直太不友好了！那么有没有一个软件，能够通过傻白甜式的操作，达到跟爬虫脚本一样的效果...
-
数据采集及预处理——针对“数据”“采集”“预处理”的理解与解析
数据采集及预处理——大数据的关键技术之一 文章目录 数据采集及预处理——大数据的关键技术之一 前言 数据采集与预处理是大数据学习的重要部分； 本篇笔记是对《数据采集与预处理》这个标题的解析 ， 我将它分为三个词语进行了详细的理解； 因为...
-
零代码工具推荐 八爪鱼采集器
简介 八爪鱼采集器是一款全网通用的互联网数据采集器，模拟人浏览网页的行为，通过简单的页面点选，生成自动化的采集流程，从而将网页数据转化为结构化数据，存储于EXCEL或数据库等多种形式。并提供基于云计算的大数据云采集解决方案，实现数据采集。是数据一键采集...
-
云原生在京东丨云原生时代下的监控：如何基于云原生进行指标采集？
从 Kubernetes 成为容器管理领域的事实标准开始，基于云原生也就是基于 Kubernetes 原生。在云的体系下，基础硬件基本上都被抽象化、模糊化，硬故障需要人为干预的频次在逐渐降低，健康检查、失败自愈、负载均衡等功能的提供，也使得简单的、毁灭性的...
-
人脸图像采集及检测
人脸识别系统分析：系统由前端人脸抓拍采集子系统、网络传输子系统和后端解析管理子系统组成，实现对通行人脸信息的采集、传输、处理、分析与集中管理。系统中，前端人脸采集设备负责人脸图像的采集，接入服务器主要实现图片及信息的接收和转发功能，可为多种型号、...