-
数据挖掘：从理论到实践的完整指南
数据挖掘：从理论到实践的完整指南数据挖掘，这一融合了统计学、机器学习和数据库技术的领域，正逐渐成为信息时代的关键技术之一。它能够帮助企业、科研机构及个人从海量、复杂的数据中挖掘出隐藏的模式、规律和知识，为决策支持、市场分析、科学研究等提供有力依据。本文将从...
-
数据挖掘的基本流程与方法
数据挖掘，作为大数据时代的核心技术之一，旨在从海量、复杂、无序的数据中提取有价值的信息和知识。这一过程不仅依赖于先进的技术手段，还需要严谨的方法论指导。本文将详细介绍数据挖掘的基本流程及其常用方法，以期为读者提供一个全面而深入的理解框架。 一、数据挖掘的基...
-
数据挖掘中的业务指标对齐
数据挖掘作为现代数据分析的核心技术之一，旨在从海量、复杂的数据集中提取有价值的信息，以支持企业的决策制定和业务优化。然而，数据挖掘的成功实施并非仅仅依赖于先进的技术手段，更重要的是如何将挖掘结果与实际的业务需求紧密结合，即实现业务指标的对齐。这一过程对于确...
-
数据标注自动化技术：减少人工干预
标题：数据标注自动化技术：减少人工干预，提升效率与质量的新篇章在人工智能（AI）飞速发展的今天，数据作为AI模型的“粮食”，其质量和数量直接关系到模型训练的效果与最终应用的性能。数据标注，作为将原始数据转化为机器学习可识别格式的关键步骤，一直以来都占据了A...
-
数据质量提升工具选型建议更新：提升数据质量与效率
标题：数据质量提升工具选型建议更新：高效促进数据质量与效率并进在数字化时代，数据已成为企业决策与运营的核心驱动力。然而，数据质量的不稳定和低效处理往往成为制约企业数据价值最大化的瓶颈。为了确保数据的准确性、完整性、一致性和时效性，选用合适的数据质量提升工具...
-
24最新Stable Diffusion Lora模型训练详细教程！
前言 1. 介绍 通过Lora小模型可以控制很多特定场景的内容生成。 但是那些模型是别人训练好的，你肯定很好奇，我也想训练一个自己的专属模型（也叫炼丹～_～）。 甚至可以训练一个专属家庭版的模型（family model），非常有意思。 将自...
-
火山引擎数智平台：高性能ChatBI的技术解读和落地实践
客观而言，从 2018 年开始开发的抖音集团内部 BI 平台起步较晚。 因此其直接跳过了 BI 平台早期发展阶段，从立项之初，它的目标便是成为能够满足公司内部几乎所有数据分析需求的数据分析平台。 在抖音集团内部，BI 平台建设分为以下几个阶段...
-
llamafactory-llama3微调中文数据集
一、定义 https://github.com/SmartFlowAI/Llama3-Tutorial/tree/main 基准模型测试 opencompass 离线测评 数据准备 微调训练 合并 测试 人工审核对比 二、实现 基准模型测试...
-
从腾讯大模型的「实用」路线，我们看到了企业应用AI的新方向
「现在每家公司都是 AI 公司，但引入 AI 之后，利润真的能提高吗?」 在针对 Transformer 作者、Cohere CEO Aidan Gomez 的一次采访中，播客主持人 Harry Stebbings 问出了这样一个问题。 Stebbings...
-
2024外滩大会：WDTA发布首个大模型供应链安全领域的国际标准
9月6日上午，在2024Inclusion·外滩大会“以AI守护AI，大模型时代的攻守之道”论坛上，WDTA世界数字技术院正式发布国际标准《大模型供应链安全要求》。该标准由云安全联盟（CSA）大中华区、蚂蚁集团、微软、谷歌、Meta、PrivateAI等数...
-
Stable Diffusion模型训练：从数据准备到模型优化
Stable Diffusion模型训练：从数据准备到模型优化 开篇引入：探索创意无限的Stable Diffusion 数据集构建秘籍：打造专属训练素材 如何收集高质量图像数据？ 数据预处理小技巧：清洗与标注 模型配置与训练实战：让创意流...
-
Llama中文大模型-模型微调
同时提供了LoRA微调和全量参数微调代码，关于LoRA的详细介绍可以参考论文“[LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685 ”以及...
-
【深度学习】LLaMA-Factory 大模型微调工具, 大模型GLM-4-9B Chat ，微调与部署 (2)
文章目录 数据准备 chat 评估模型 导出模型 部署 总结 资料： https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md https:...
-
Datawhale X 魔搭 AI夏令营第四期 AIGC方向 学习笔记（一）
本期主要任务是了解AI文生图的原理并进行相关实践 下面是对baseline部分代码的功能介绍： 安装Data-juicere和DiffSynth-Studio !pip install simple-aesthetics-predictor !pip...
-
Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task02笔记
1 前言 本次是学习内容是Datawhale AI夏令营第四期-AIGC文生图方向的学习笔记。 2 AIGC简介 AIGC（Artificial Intelligence Generated Content）即人工智能...
-
LLaMA-Factory 大模型微调超简单，从零开始玩转大模型微调
目录 LLaMA-Factory 大模型微调超简单，从零开始开始玩转大模型微调 为什么要使用LLaMA-Factory进行微调？ 如何使用LLaMA-Factory进行微调？ 安装 启动 数据准备 Alpaca 格式 指令监督微调数据集...
-
Stable Diffusion之最全详细图解
Stable Diffusion是一种生成模型，用于生成高质量的图像。这种模型基于扩散过程，能够逐步将噪声转换为清晰的图像。以下是关于Stable Diffusion的详细图解，涵盖其原理、模型结构、训练过程及应用示例。 一、Stable Diffusi...
-
AIGC 文生图 DiffSynth-Studio微调lora训练案例
参考： https://github.com/modelscope/DiffSynth-Studio https://github.com/modelscope/DiffSynth-Studio/tree/main/examples/train/kolor...
-
Llama 3 图片理解能力微调（XTuner+LLaVA 版）实践笔记
基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。 环境、模型、数据准备 conda create -n llama3 python=3....
-
LLama-Factory使用教程
本文是github项目llama-factory的使用教程 注意，最新的llama-factory的github中训练模型中，涉及到本文中的操作全部使用了.yaml配置。 新的.yaml的方式很简洁但不太直观，本质上是一样的。新的readme中的.yam...
-
开源语音转文本 Speech-to-Text 大模型实战之Whisper篇
前言 随着深度学习技术的不断发展，语音转文本（Speech-to-Text，STT）技术取得了显著的进步。开源社区涌现了许多高效的STT大模型，为开发者提供了强大的工具。本文将以OpenAI推出的Whisper模型为例，详细介绍如何使用该模型进行语音转文...
-
llama-factory微调工具使用入门
一、定义 环境配置 案例： https://zhuanlan.zhihu.com/p/695287607 chatglm3 案例 多卡训练deepspeed llama factory 案例Qwen1.5 报错 二、实现 环境配置 git cl...
-
LLaMA原理与代码实例讲解
LLaMA原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：大模型、LLaMA、Transformer、预训练、微调 1. 背景介绍 1.1 问题的由来...
-
Stable Diffusion 实操教程：轻松掌握图像生成技术
一、引言 Stable Diffusion 是一种强大的图像生成技术，通过利用扩散模型，能够生成高质量的图像。在当前的人工智能领域，Stable Diffusion 已被广泛应用于艺术创作、图像增强和生成等多个领域。本篇文章将详细介绍 Stable Di...
-
Denodo9.0发布 通过AI就绪数据功能等实现智能数据交付
最 新版本增强了智能数据自助服务和转换功能，让更多用户能够轻松利用数据获得强大洞察力。 近日，数据管理领域领导 者 Denodo 宣布推出 Denodo 平台 V9.0。这一最 新版本采用人工智能驱动，支持自然语言查询，用户无需了解 SQL 即可获取数据洞...
-
Stable Diffusion 详细教程
Stable Diffusion是一个概念上类似于Diffusion Models的技术，特别是在生成图像和处理自然语言任务方面。然而，“Stable Diffusion”并不是一个直接对应的具体项目或库名称，如DDPM（Denoising Diffusi...
-
五一 Llama 3 超级课堂 | XTuner 微调 Llama3 图片理解多模态 实践笔记
基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。 课程文档：Llama3-Tutorial/docs/llava.md at main · Smart...
-
【AIGC调研系列】llama3微调具体案例
Llama3的微调可以通过多种方式进行，具体案例包括： 使用XTuner进行微调，尝试让Llama3具有"它是SmartFlowAI打造的人工智能助手"的自我认知。这涉及到准备自我认知训练数据集，并通过脚本生成数据[2][8]。 利用Unsloth和G...
-
llama_index微调BGE模型
微调模型是为了让模型在特殊领域表现良好，帮助其学习到专业术语等。 本文采用llama_index框架微调BGE模型，跑通整个流程，并学习模型微调的方法。 已开源：https://github.com/stay-leave/enhance_llm 一、...
-
使用Python实现深度学习模型：序列到序列模型（Seq2Seq）
本文分享自华为云社区《使用Python实现深度学习模型：序列到序列模型（Seq2Seq）》，作者： Echo_Wish。 序列到序列（Seq2Seq）模型是一种深度学习模型，广泛应用于机器翻译、文本生成和对话系统等自然语言处理任务。它的核心思想是将一个序...
-
微调LLama模型：具体步骤与代码实现
微调LLama模型是一个涉及多个步骤的过程，包括数据准备、模型加载、设置优化器和损失函数、训练循环以及模型评估。下面，我们将详细介绍这些步骤，并给出相应的代码实现。 步骤一：数据准备 首先，我们需要准备用于微调的数据集。这通常包括一个输入文本序列和对...
-
AI作画算法原理
1.概述 AI作画算法的原理相当复杂，涉及多个领域的知识，包括计算机视觉、机器学习和神经网络等。我们从以下几个方面来描述AI作画算法的基本原理。 2. 数据准备 在数据准备方面，AI作画算法通常需要大量的图像数据作为训练样本。可以是各种各样的艺术...
-
Stable Diffusion的微调方法详解
Stable Diffusion作为一种强大的文本到图像生成模型，已经在艺术、设计和科研等多个领域取得了广泛的应用。然而，为了使其更好地适应特定任务或领域，微调（Fine-tuning）技术显得尤为重要。本文将详细介绍Stable Diffusion的微调...
-
解读注意力机制原理，教你使用Python实现深度学习模型
本文分享自华为云社区《使用Python实现深度学习模型：注意力机制（Attention）》，作者：Echo_Wish。 在深度学习的世界里，注意力机制（Attention Mechanism）是一种强大的技术，被广泛应用于自然语言处理（NLP）和计算机视...
-
LLaMA-Factory+qwen多轮对话微调测评
目录 训练的时间和效果 数据准备 数据样例 数据配置 环境搭建 模型微调训练 模型预测 运行成功的web UI LLaMA-Factory地址：https://github.com/hiyouga/LLaMA-Factory/blo...
-
【热门话题】AI作画算法原理解析
?个人主页: 鑫宝Code?热门专栏: 闲话杂谈｜ 炫酷HTML | JavaScript基础 ?个人格言: "如无必要，勿增实体" 文章目录 AI作画算法原理解析 AI作画算法概述 基础原理：机器学习与深度学习 卷积...
-
通透！如何选择合适的机器学习算法
算法选择注意事项 为任务选择正确的机器学习算法涉及多种因素，每个因素都会对最终决策产生重大影响。以下是决策过程中需要牢记的几个方面。 1.数据集特征 数据集的特征对于算法的选择至关重要。数据集的大小、包含的数据元素的类型、数据是结构化的还是非结构化的等...
-
GPT-4o再秀神操作，“复现”OpenAI总裁讲课，网友当真了
OpenAI总裁兼联合创始人Greg再次大秀GPT-4o操作，结果网友直接缅怀DALL-E。 图片 直接看效果。 图片 文本拼写达到惊人的一致！手部细节、光照全都有，甚至后背上的Logo也完全正确。 有网友表示：恍惚间还以为真的是本人在讲课。 图片 也有...
-
企业拒绝ChatGPT的五大原因
ChatGPT让人们兴奋不已，为什么苹果、亚马逊、摩根大通、德意志银行、三星和埃森哲等这么多企业都禁止使用它呢?主要是由于担心部署像ChatGPT这样的外部大型语言模型(LLM ，可能导致敏感数据被传输和存储在企业安全环境之外。 生成式人工智能（Gen...
-
用于时间序列概率预测的分位数回归
分位数回归满足这一需求，提供具有量化机会的预测区间。它是一种统计技术，用于模拟预测变量与响应变量之间的关系，特别是当响应变量的条件分布令人感兴趣时。与传统的回归方法不同，分位数回归侧重于估计响应变量的条件量值，而不是条件均值。 图(A : 分位数回归 分...
-
打破壁垒：生成式人工智能如何重塑数据分析场景
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 深入探讨生成式人工智能的原则和模型，以及它在数据分析中的应用。 面对快速变化的市场格局，企业必须不断寻求新的技术突破来保持领先地位。生...
-
AI在企业中的概念验证展示了生产率提升，这加速了AI的采用
像其他CIO一样，Katrina Redmond面临着部署AI的众多机会，这些AI承诺加速业务和运营流程，并优化工作流程。“每个人都在争相应用这种发展迅速的技术，但如果没有业务成果，这一切都毫无意义。”电力管理系统制造商Eaton公司的CIO Red...
-
【热门话题】Stable Diffusion：本地部署教程
?个人主页: 鑫宝Code?热门专栏: 闲话杂谈｜ 炫酷HTML | JavaScript基础 ?个人格言: "如无必要，勿增实体" 文章目录 Stable Diffusion：本地部署教程 一、引言 二、环境准备 1...
-
突破障碍：生成式人工智能如何重塑数据分析领域
在当今市场状况下，企业必须不断寻求新方法来利用技术突破以保持领先地位。生成式人工智能是一个近年来迅速扩展的突出领域。 Gartner预测，到2026年，超过80%的组织将使用生成式人工智能API、模型或应用程序，而2023年这一比例不到5%。生成式人工智...
-
发现数据异常波动怎么办？别慌，指标监控和归因分析来帮你
企业搭建完善、全面的指标体系是企业用数据指导业务经营决策的第一步。但是做完指标之后，对指标的监控，经常被大家忽视。当指标发生了异常波动（上升或下降），需要企业能够及时发现，并快速找到背后真实的原因，才能针对性地制定相应策略，否则就是盲打，原地打转。 指标...
-
stable diffusion 1.5大模型炼制详细教程，几块钱即可炼制大模型
前言 之前已经讲过SDXL_LORA,SD1.5_LORA训练过程，基本说的比较清楚了，有兴趣可以去看看，下面我将讲解一下SD1.5大模型的炼制。 SDXL_LORA：https://tian-feng.blog.csdn.net/article/d...
-
Stability AI发布3D生成模型TripoSR 不用1秒就能生成高质量3D模型
Stability AI 和 Tripo AI 昨晚联合发布了一款名为 TripoSR 的3D 生成模型。这款模型能够在不到1秒的时间内生成高质量的3D 模型，这一创新技术的推出无疑将为3D 建模领域带来革命性的变革。 TripoSR 的推理过程只需要极低...
-
动手实践丨轻量级目标检测与分割算法开发和部署(RK3568)
本文分享自华为云社区《自动驾驶(AIOT - 轻量级目标检测与分割算法开发和部署(RK3568 【玩转华为云】》，作者：HouYanSong。 本文将在ModelArts平台上开发轻量级目标检测与分割算法，并使用ModelBox框架在RK3568开发板...
-
Nomic AI 发布首个完全开源的长文本嵌入模型，超越 OpenAI Ada-002在各项基准测试中的表现
在自然语言处理（NLP）领域不断发展的背景下，理解和处理广泛的文本内容至关重要。最近的一些进展显著提升了语言模型的能力，特别是通过文本嵌入的发展。这些嵌入成为许多应用的基础，包括大型语言模型(LLMs 的检索增强生成和语义搜索。它们将句子或文档转换为低维向...
-
如何探索和可视化用于图像中物体检测的 ML 数据
近年来，人们越来越认识到深入理解机器学习数据（ML-data）的必要性。不过，鉴于检测大型数据集往往需要耗费大量人力物力，它在计算机视觉（computer vision）领域的广泛应用，尚有待进一步开发。 通常，在物体检测（Object Detectio...