-
大模型存储选型 & JuiceFS 在关键环节性能详解
从去年开始，LLM大语言模型领域发展迅速、如 LLaMA、ChatGLM、Baichuan、Qwen 和 yi-model 等基础模型（Foundation Models）的数量显著增加。众多企业也开始基于这些基础模型做 post-training 的相关...
-
Datawhale X 魔搭 AI夏令营 第四期-AIGC方向Task2笔记
baseline的流程图 Baseline代码 !pip install simple-aesthetics-predictor !pip install -v -e data-juicer !pip uninstall pytorch-...
-
Black Hat USA 2024：微软AI助手Copilot安全隐患曝光
在Black Hat USA 2024，一位研究人员披露了微软AI助手Copilot存在的多个安全隐患，攻击者能够借此漏洞窃取敏感数据和企业凭证。 微软声称，通过将任务委派给AI助手Copilot，每天可以节省数百小时的工作时间。Copilot是微软...
-
OpenAI Whisper API (InvalidRequestError)
题意: OpenAI Whisper API（无效请求错误） 问题背景： I'm trying to use OpenAI Whisper API to transcribe my audio files. When I run it by o...
-
拓数派亮相中国移联“数据要素”生态伙伴大会，正式获批合作伙伴认证
2024年9月20日，由中国移动通信联合会区块链与数据要素专委会主办、中标政联（北京）标准化技术院协办的“数据要素生态合作伙伴”大会暨《数据要素》系列团体标准研讨会在北京召开。拓数派凭借在数据计算领域的卓越表现以及数据要素应用探索的丰富经验，正式成为“数据...
-
Llama 3.1 技术研究报告-2
3.3 基础设施、扩展性和效率 我们描述了⽀持Llama 3 405B⼤规模预训练的硬件和基础设施，并讨论了⼏项优化措施，这些措施提⾼了训练效率。 3.3.1 训练基础设施 Llama 1和2模型在Meta的AI研究超级集群（Lee和Sengup...
-
【AI绘画】颠覆性工作流！ComfyUI如何将图片变为个性化3D盲盒
大家好，我是爱绘画的彤姐。 探秘ComfyUI的创新工作流：从图片到3D盲盒的奇妙转变 你是否曾想过，只需要一张普通的图片，就能瞬间生成一个独一无二的3D盲盒？ 这听起来像是在讲一个天方夜谭的故事，但如今，ComfyUI团队的最新创意工作流让这一...
-
Copilot for Microsoft 365 Plugins 示例项目教程
Copilot for Microsoft 365 Plugins 示例项目教程 Copilot-for-M365-Plugins-Samples Microsoft Copilot for Microsoft 365 Plugins sample...
-
数据资产入表全流程解析，助力企业数据要素价值释放
数据资产入表即数据资产会计核算，指的是把有价值的数据编制进资产负债表，作为企业沉淀的无形资产，让数据要素的交易流通变得合规，数据价值可计算。 2023年8月21日，财政部发布《企业数据资源相关会计处理暂行规定》，并于2024年1月1日开始实施，首次将数据...
-
探索梦境的画布：Stable Diffusion Playground 深度解析与应用探索
探索梦境的画布：Stable Diffusion Playground 深度解析与应用探索 stable_diffusion_playgroundPlaying around with stable diffusion. Generated image...
-
数据资产入表元年，企业如何抓住数据资产增值的机遇？
近年来，政府将数据要素纳入了经济发展的重要指示性文件当中，希望利用数据驱动。《全国数据资源调查报告（2023年）》显示，2024年以来不少地方纷纷成立"数据集团"，加快盘活数据资产。作为数字经济时代的首要生产要素，数据将有望成为政府和企业财务报表以及财政收...
-
【Datawhale X 魔搭 AI夏令营】第四期 AIGC方向 学习笔记
零基础30分钟速通文生图 一、开通阿里云PAI-DSW试用 1、开通阿里云免费试用 链接：https://free.aliyun.com/?productCode=learn 2、在魔搭社区进行授权 链接：https://www.models...
-
node-llama-cpp 使用与安装指南
node-llama-cpp 使用与安装指南 node-llama-cppRun AI models locally on your machine with node.js bindings for llama.cpp. Force a JSON s...
-
Datawhale X 魔搭 AI夏令营AIGC方向task2
第一步：安装 安装 Data-Juicer 和 DiffSynth-Studio !pip install simple-aesthetics-predictor !pip install -v -e data-juicer !pip unins...
-
企业如何构建全面的指标管理体系？
在当今数字化的时代，企业对于数据的管理和利用愈发重视，而构建全面的指标管理体系成为了企业提升数据价值、优化决策流程的关键环节。 构建完整的指标属性体系 指标属性体系是指标管理的核心，我们一般将指标属性划分为四类：基础属性、业务属性、技术属性和管理属...
-
Datawhale X 魔搭 AI夏令营第四期 AIGC方向 Task02笔记
一.认识通义千问 通义千问是一款具有信息查询、语言理解、文本创作等多能力的AI助手。其中，编程与技术支持能力是它的强项之一。 我们可以利用通义千问帮助辅助分析代码结构和功能 二.精读baseline 文生图代码的框架结构： 可以看到，这段代码...
-
JuiceFS 在多云架构中加速大模型推理
在大模型的开发与应用中，数据预处理、模型开发、训练和推理构成四个关键环节。本文将重点探讨推理环节。在之前的博客中，社区用户 BentoML 和贝壳的案例提到了使用 JuiceFS 社区版来提高模型加载的效率。本文将结合我们的实际经验，详细介绍企业版在此场景...
-
Datawhale X 魔塔 AI夏令营 AIGC方向Task1
小白学习笔记，如有错误请各位大佬指正 一、跑通baseline教程 Datawhale 教程链接Datawhale 二、baseline代码分析 1.安装库 !pip install simple-aesthetics-predictor !p...
-
Datawhale X 魔搭 AI夏令营第四期 AIGC方向 学习笔记（一）
本期主要任务是了解AI文生图的原理并进行相关实践 下面是对baseline部分代码的功能介绍： 安装Data-juicere和DiffSynth-Studio !pip install simple-aesthetics-predictor !pip...
-
AI领域的《猫鼠游戏》，盘点那些打假“AI内容”的强大产品，这款检测器已经突破400万用户
莱昂纳多扮演的小弗兰克在《猫鼠游戏》中凭借着高超的假币伪造技术骗过了一众警察。现实中，AI领域的《猫鼠游戏》正在上演，一场有关人工制作内容和 AI 生成内容的判定成为越来越重要的议题。 Human or AI，这是一个问题。 本文介绍了 GPTZero 这...
-
Datawhale X 魔搭 AI夏令营 第四期魔搭-AIGC文生图方向Task1笔记
（赛题链接：可图Kolors-LoRA风格故事挑战赛_创新应用大赛_天池大赛） （学习链接：从零入门AI生图原理&实践） 速通指南 ...
-
OpenAI承认正研发ChatGPT文本水印：可被单独工具检测到
快科技8月5日消息，据媒体报道，OpenAI正深入探索文本水印技术的前沿领域，然而，该公司坦言，这一创新领域仍面临重重技术挑战与待解难题。 OpenAI巧妙地设想通过微妙调整ChatGPT生成文本中的词汇选择，来在字里行间编织一张不可见的数字指纹”即文本水...
-
在 Kubernetes 上用 KubeBlocks + Dify 快速构建生产级 AIGC 应用
前言 在数字化时代，人工智能生成内容（AIGC）技术正以前所未有的速度改变着我们的世界。AIGC 不仅为内容创作者提供了强大的工具，还为企业带来了前所未有的商业机会。通过 AIGC，应用能够自动生成文本、图像、音频甚至视频，极大地提高了内容生产的效率和...
-
[AIGC] ClickHouse分布式表与本地表的区别及如何查询所有本地表记录
在大规模数据处理和分析场景中，ClickHouse是一种高性能的列式数据库管理系统。ClickHouse支持分布式表和本地表两种表类型，本文将介绍这两种表类型的区别，并探讨如何建表以查询所有本地表的记录。 文章目录 一、ClickH...
-
探索大模型：袋鼠云在 Text To SQL 上的实践与优化
Text To SQL 指的是将自然语言转化为能够在关系型数据库中执行的结构化查询语言（简称 SQL）。近年来，伴随人工智能大模型技术的不断进步，Text To SQL 任务的成功率显著提升，这得益于大模型的推理、理解以及指令遵循等能力。 对于大数据平台...
-
4步生成高质量图像，Stable Diffusion WebUI 1.9.0来了！
上周Stable Diffusion WebUI正式发布了1.9.0版本，我也第一时间把AutoDL镜像升级到了最新版本，有几个比较重要的更新再和大家同步下。 1、为SDXL-Lightning模型使用SGM统一调度器 SDXL-Lightning由字...
-
Stable Diffusion WebUI v1.9.0重大更新！
继上次v1.8.0更新后的一个月，Stable Diffusion WebUI 又更新啦，这次是v1.9.0。我们来看看这次更新了哪些内容。 总共104项更新 特性更新（Features）：总共5项； 次要更新（Minor）：总共18项；...
-
AIGC 训练场景下的存储特征研究
云布道师 引言：在传统块存储大行其道的时代，需要针对很多行业的工作负载（Workload）进行调研，包含块大小、随机读、读写比例等等。知道行业的 Workload 对于预估业务的 I/OPS、时延、吞吐等性能有很好的指导意义，其次，也便于制定针对行业的...
-
为数据安全护航，袋鼠云在数据分类分级上的探索实践
在大数据时代，数据具有多源异构的特性，且价值各异，企业需依据数据的重要性、价值指数等予以区分，以利采取不同的数据保护举措，避免数据泄露。故而，数据分类分级管理属于数据安全保护中极为重要的环节之一。 2021 年 12 月 31 日，全国信息安全标准化技术...
-
苹果解释 iOS 18 中的 AI 文本生成表情符号 Genmoji 工作原理
iOS 18 中的一项 Apple Intelligence 功能是 Genmoji，它允许 iPhone 用户通过 AI 根据文本输入生成全新的表情符号角色。根据 iOS 18 在 WWDC 会议上的介绍，Genmoji 看起来类似于传统的表情符号，但它...
-
XSKY对象存储深度结合Alluxio分布式缓存系统，GPU利用率提高至90%以上
近日，Alluxio分布式缓存系统完成了与XSKY星辰天合的 XEOS V6.4 对象存储的兼容性测试，旨在解决数据管理和加速方面的挑战。双方进行了深度的产品对接和联合开发，将 Alluxio 分布式缓存系统与 XEOS 对象存储的众多应用特性进行结合，推...
-
太兴奋了！Stable Diffusion WebUI v1.9.0它来了~重大更新！超详细讲解！
大家好，我是程序员晓晓 距上次 WebUI v1.8的更新发布刚刚过去一个多月，Stable Diffusion WebUI 这次又又又更新了，老徐关注到Stable Diffusion WebUI作者UTOMATIC1111就在前几天在GitHub...
-
在autodl平台使用llama-factory微调Qwen1.5-7B
1 部署环境 step 1. 使用24GB显存以上的显卡创建环境 step 2. 创建好环境之后，关闭环境，使用无卡模式开机（有钱可忽略） step 3. 安装LLaMA-Factory git clone https://github.com/...
-
腾讯云存储面向AIGC全面升级，搭载全面自研存储引擎
云厂商继续为大模型加速落地铺路架桥。 4月8日，腾讯云宣布云存储解决方案面向AIGC场景全面升级，能够针对AI大模型数据采集清洗、训练、推理、数据治理全流程提供全面、高效的云存储支持。数据显示，采用腾讯云AIGC云存储解决方案，可将大模型的数据清洗和训...
-
图片管理系统CMS爬虫：探索与应用
在互联网时代，图片作为信息传递的重要载体，其管理与应用显得愈发重要。随着图片数量的爆炸式增长，如何高效、准确地管理和搜索图片成为了一个亟待解决的问题。而“图片管理系统CMS爬虫”便是应对这一问题的利器，它能够帮助我们更好地爬取、整理和利用图片资源。一、图片...
-
深入解析espcms爬虫：原理、应用与风险防范
随着互联网的迅猛发展，内容管理系统（CMS）在网站建设与运营中扮演着举足轻重的角色。其中，espcms作为一款高效、灵活的CMS系统，广受业内好评。然而，伴随着其流行度的提升，针对espcms的爬虫行为也逐渐增多，这对网站的安全与数据保护提出了新的挑战。本...
-
基于LangChain自查询检索器的RAG系统开发实战
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 最近，我在浏览Max.com网站时想找一部电影看。通常，这个过程包括浏览系统呈现给我的各种列表，阅读一些相关描述，然后挑选一些看起来有...
-
索尼向700多家公司发出警告，禁止使用其音乐数据训练AI模型
索尼音乐集团发出警告，禁止未经许可的公司使用其音乐数据训练大型 AI 模型。 这一警告涉及到700多家公司，索尼明确表示未经许可不得使用其音乐数据进行文本挖掘、网络爬取以及其他形式的数据搜集，包括录音、音乐作品、封面艺术作品和元数据等。这是因为 AI 模型...
-
谷歌隐形AI数字水印技术可辅助识别生成的文本和视频
谷歌在今天宣布的一系列新的 AI 模型和工具中，还将其 AI 内容水印技术扩展到了两个新的媒介。谷歌旗下的 DeepMind 首执行官 Demis Hassabis 在周二的 Google I/O 开发者大会上首次登台，不仅介绍了团队的新 AI 具（如 V...
-
OPPO 下一代大数据 AI 一体架构实践
一、技术架构 OPPO 大数据场景丰富，拥有海外的 AWS 功能云，国内自建机房，机器规模超过万台，在印度则是使用混合云模式。 首先来介绍一下 AWS 上功能云 EMR 的实践。 1. 云原生计算架构 OPPO 早期全部采用 EMR，其存在以下一些问题...
-
一文带您了解数据模型：概念模型、逻辑模型和物理模型
数据模型是组织数据管理的基石，是构建信息基础设施的关键组成部分。数据模型为组织提供了清晰的数据结构和逻辑框架，使得数据管理更加高效和可持续。在数字化时代，数据已成为企业最宝贵的资产之一，而数据模型的设计和实施，则决定了数据在企业运营和决策中的有效性和可信...
-
不怕被骗了！TikTok成为全球首个自动标记AI生成内容的社交媒体平台
快科技5月12日消息，TikTok本周宣布，将对所有AI生成内容、视频、图片进行自动标记，以防止混淆和误导观众。 一年多以来，使用TikTok的AI创作工具制作的内容已经包含了AI标签，未来TikTok 还将标记通过其他平台制作的AI内容。 TikTok在...
-
实战干货｜Spark 在袋鼠云数栈的深度探索与实践
Spark 是一个快速、通用、可扩展的大数据计算引擎，具有高性能、易用、容错、可以与 Hadoop 生态无缝集成、社区活跃度高等优点。在实际使用中，具有广泛的应用场景： · 数据清洗和预处理：在大数据分析场景下，数据通常需要进行清洗和预处理操作以确保数据...
-
对接HiveMetaStore，拥抱开源大数据
用户在使用本特性前，将需要创建Server，创建Server过程与已有Server创建过程相同 对于创建OBS server有两种方式，一种是通过永久AK、SK的方式创建。（此种方式前提是可以获取永久AK、SK，但是此种方式不安全，AK/SK直接...
-
从0到1，聊聊货拉拉如何搭建数据指标体系
一、背景 指标体系是指一系列维度、有组织及结构的指标集合。构建指标体系主要是为公司业务目标落地做辅助决策，以及监控业务运行的稳定性情况等。 具体从业务、技术及产品三个视角来阐述指标体系构建中的痛点： 1. 业务视角： 可信任性：业务口径不一致，导致指...
-
Mixtral：数据流中的生成式稀疏专家混合模型
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ Cloudera公司数据流首席工程师Tim Spann 表示，Mixtral-8x7B大型语言模型(LLM 是一个预先训练的生成式稀疏...
-
面向AI的数据治理体系如何构建？
近年来，随着新技术模型出现、各行业应用场景价值打磨与海量数据积累下的产品效果提升，人工智能应用已从消费、互联网等泛C端领域，向制造、能源、电力等传统行业辐射。各行业企业在设计、采购、生产、管理、营销等经济生产活动主要环节的人工智能技术与应用成熟度在不断...
-
金融案例：构建高效统一的需求登记与管理方案
在金融行业数字化转型背景下，银行等金融机构面临着业务模式创新与数据应用的深度融合。业务上所需要的不再是单纯的数据，而是数据背后映射的业务趋势洞察，只有和业务相结合转化为业务度量指标，经过数据分析处理呈现为报表进行展示，才能真正体现它们的价值。 但在需求转...
-
GPT-5红队测试邮件曝光，最早6月发布？网友在线逼问Altman，数十亿美元超算26年启动
GPT-5已经开始红队测试了? 就在这几天，网上已经有多人晒出了OpenAI发给自己的红队录取通知书。 此前有传闻说，GPT-5将于今年6月发布。看起来，红队测试与模型发布的时间线十分吻合。 有网友直接晒出了自己收到OpenAI邮件邀请的截图。 这...
-
IT团队必须应对的商业智能六个挑战
商业智能(BI 使企业能够从大量数据中获得见解。但这样做需要克服一系列战略和战术挑战。 如今，各种类型的组织都被来自各种来源的数据淹没，试图理解所有这些数据不堪重负。因此，强大的商业智能(BI 策略可以帮助组织流程，并确保业务用户能够访问可操作的业务见...