-
一种平价的chatgpt实现方案，基于清华的 ChatGLM-6B + LoRA 进行finetune.（aigc大模型风口，校招找工作必备）
** 清华大学的chatglm-6b开源模型对话能力虽然能基本满足对话需求，但是针对专业领域和垂直领域回答显得智商捉急，这个时候就需要进行微调来提升效果，但是但是同学们显卡的显存更捉急，这时候一种新的微调方式诞生了，现在大火的ai作画里面的lora训练方式...
-
今日思考（1） — 算力对机器人的影响（基于文心一言的回答）
目录 1.高tops的算力能支持什么水平的复合机器人控制 2.什么情况下控制机器人需要更高的算力 3.为什么使用人工智能算法，例如深度学习、强化学习等，需要更多的计算资源来实现更精准的决策和控制。 4.将已经训练好的人工智能算法模型，例...
-
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_sft_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的che
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_sft_with_peft.py文件 —模型训练前置工作(参数解析+配置日志 →模型初始化(检测是否存在训练过的checkpoint+加载预训练模型和tokenizer →数...
-
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架 的简介、安装、案例实战应用之详细攻略 导读：2023年07月31日，哈工大讯飞联合实验室，发布Chinese-LLaMA-Alpaca-2，本项目基于Meta发布的...
-
AIGC数据处理与存储解决方案
针对在AIGC的场景下，如何解决在AIGC训练过程中数据的存储和数据处理的问题，杨冠军从三个方面进行介绍与解读： 一是AIGC对存储提的新需求； 二是介绍腾讯云可以给用户提供的整体存储解决方案； ...
-
CART算法解密：从原理到Python实现
本文深入探讨了CART（分类与回归树）算法的核心原理、实现方法以及应用场景。文章首先介绍了决策树的基础知识，然后详细解析了CART算法的工作机制，包括特征选择和树的构建。接着，通过Python和PyTorch的实例代码展示了CART算法在实际问题中的应用。...
-
教你如何使用PyTorch解决多分类问题
本文分享自华为云社区《使用PyTorch解决多分类问题：构建、训练和评估深度学习模型》，作者： 小馒头学Python。 引言 当处理多分类问题时，PyTorch是一种非常有用的深度学习框架。在这篇博客中，我们将讨论如何使用PyTorch来解决多分类...
-
LLMs之Colossal-LLaMA-2：源码解读(train.py文件)基于给定数据集实现持续预训练LLaMA-2—解析命令行参数→初始化配置(分布式训练环境colossalai+训练日志+加速插
LLMs之Colossal-LLaMA-2：源码解读(train.py文件 基于给定数据集实现持续预训练LLaMA-2—解析命令行参数→初始化配置(分布式训练环境colossalai+训练日志+加速插件 →数据预处理(初始化分词器+数据处理器+数据加载器 ...
-
计算机视觉中目标检测的数据预处理
本文涵盖了在解决计算机视觉中的目标检测问题时，对图像数据执行的预处理步骤。 首先，让我们从计算机视觉中为目标检测选择正确的数据开始。在选择计算机视觉中的目标检测最佳图像时，您需要选择那些在训练强大且准确的模型方面提供最大价值的图像。在选择最佳图像时，考...
-
【AIGC】ChatGPT能上传文件了，文档图片数据集秒理解，代码一键执行
文章目录 前言 正文 Python支持的ChatGPT都能干 应用场景 文档理解和摘要 图片分析和描述 数据集处理和分析 文件搜索和检索 任务协作和知识共享 总结 写在最后 前言 在过去的几年中，人工智能技术取得了巨大的进展，...
-
Stable Diffusion XL训练LoRA
主要包括SDXL模型结构，从0到1训练SDXL以及LoRA教程，从0到1搭建SDXL推理流程。 【一】SDXL训练初识 Stable Diffusion系列模型的训练主要分成一下几个步骤，Stable Diffusion XL也不例外： 训练集...
-
AIGC：【LLM（一）】——LoRA微调加速技术
文章目录 一.微调方法 1.1 Instruct微调 1.2 LoRA微调 二.LoRA原理 三.LoRA使用 一.微调方法 Instruct微调和LoRA微调是两种不同的技术。 1.1 Instruct微调 Instr...
-
【大模型系列 06】LLaMA-7B/13B for PyTorch 昇腾迁移
源码链接 https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/PyTorch/built-in/foundation/LLaMA-13B LLaMA-7B/13B for PyTorch...
-
Stable Diffusion云端部署流程与注意点
前言 在今天的大数据时代，AI绘图是企业必备的重要工具之一。而Stable Diffusion作为一款部署的AI绘图，得到了很多企业和团队的认可。在使用Stable Diffusion的过程中，云部署是一个非常重要的话题，本文将详细介绍Stable Di...
-
基于Amazon SageMaker平台部署Stable Diffusion模型实现——图片识别
序言： 当谈到机器学习和人工智能的开发和部署时，Amazon SageMaker是一个非常强大和全面的平台。作为一项托管式的机器学习服务，Amazon SageMaker提供了一套完整的工具和功能，帮助开发者轻松构建、训练和部署机器学习模型。 首先，让...
-
百度搜索深度学习模型业务及优化实践
作者 | Xin 导读 百度搜索架构部模型架构组，致力于将最新的人工智能技术以更低的成本被百度数亿用户体验到。这个过程中会面临非常多的系统、工程层面的问题，甚至在深度学习模型领域，我们看到越来越多的工作并不拘泥于工程本身。 本文主要分享模...
-
昇腾CANN DVPP硬件加速训练数据预处理，友好解决Host CPU预处理瓶
本文分享自华为云社区《昇腾CANN 7.0 黑科技：DVPP硬件加速训练数据预处理，友好解决Host CPU预处理瓶颈》，作者： 昇腾CANN 。 随着人工智能的快速发展，越来越多的应用场景需要使用机器学习和深度学习模型。AI网络模型的训练一般分成...
-
Llama大模型运行的消费级硬件要求【CPU|GPU|RAM|SSD】
大型语言模型 (LLM 是强大的工具，可以为各种任务和领域生成自然语言文本。 最先进的LLM之一是 LLaMA（大型语言模型 Meta AI），这是由 Facebook 的研究部门 Meta AI 开发的一个包含 650 亿个参数的模型 要在家运行 L...
-
大数据导论（三：大数据的采集及预处理）
1、大数据采集 1.1 大数据采集概念 数据采集（DAQ）又称数据获取，通过RFID射频数据、传感器数据、社交网络数据、移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。 1.2 常用的数据采集方式 大数据的采集通常采用...
-
【监控体系】全面系统的Zabbix讲解 | 含源码&监控类型整理
主讲人：王鸿杰，云智慧/企业效能部/架构师 讲师简介：云智慧架构师，PHP/PECL 开发组成员，PECL/SeasClick、PECL/SeasLog Maintainer。6 年研发经验，2018 年加入透视宝团队，致力于 APM 产品的架构与研发...
-
后羿采集器快速入门----一款没有编程经验也能轻松使用的数据采集软件
后羿采集器快速入门 一、前言 不知道大家有没有苦恼于如何快速获取网页上的数据？想要进行大量重复性的操作但又要花费大量时间经历学习爬虫，这对于没啥编程基础的朋友们来说简直太不友好了！那么有没有一个软件，能够通过傻白甜式的操作，达到跟爬虫脚本一样的效果...
-
数据采集及预处理——针对“数据”“采集”“预处理”的理解与解析
数据采集及预处理——大数据的关键技术之一 文章目录 数据采集及预处理——大数据的关键技术之一 前言 数据采集与预处理是大数据学习的重要部分； 本篇笔记是对《数据采集与预处理》这个标题的解析 ， 我将它分为三个词语进行了详细的理解； 因为...
-
大数据项目实战——基于某招聘网站进行数据采集及数据分析（一）
大数据项目实战 第一章 项目概述 文章目录 大数据项目实战 第一章 项目概述 学习目标 一、项目需求和目标 二、预备知识 三、项目架构设计及技术选取 四、开发环境和开发工具介绍 五、项目开发流程 总结 学习目标 掌...
-
【大数据采集技术与应用】【第一章】【大数据采集技术与应用概述】
文章目录 1.1 大数据概述 1.1.1 大数据时代 1.1.2 大数据的概念 1.1.3 大数据的特征 1.1.4 大数据的应用 1.1.5 大数据关键技术 1.1.6 大数据处理流程 1.2 大数据采集技术概述 1.2.1 数据采集与...
-
大数据的关键技术之——大数据采集
大数据的关键技术之——大数据采集 本文目录： 一、写在前面的话 二、大数据采集概念 三、大数据采集步骤 3.1、大数据采集步骤（总体角度） 3.2、大数据采集步骤（数据集角度） 3.3、大数据采集步骤（数据集角度） 四、数据源与数据类型...
-
数据可视化工具不会选？数据可视化实现流程了解一下！
随着信息技术的蓬勃发展，各行业的数据正在以不可估量的速度和规模发展。因此无论是哪个行业、企业规模大小如何，对数据分析的需求都在不断上升。如今企业的数据具有2个明显的特征，一是数据量巨大；二是数据从以往的单一向复杂发展。如何将这些数据资源应用起来，整合成有价...
-
大数据采集与预处理技术
文章目录 第1章 大数据概念 1.1大数据的概念 1.2大数据的关键技术 1.3大数据采集与数据预处理技术 1.3.1大数据采集技术 1.3.2数据预处理技术 第二章 数据采集基础 2.1 传统数据采集技术 2.2大数据采集基础 第...
-
使用python编写网络爬虫
使用python编写网络爬虫 前言 1、为何使用爬虫 2、编写爬虫的知识要求 3、确定爬虫使用的工具库 4、确定要获取的数据集 4.1 分析Url地址变化 4.2 获取目标数据集所在的HTML区域 5、开始爬取页面 5.1 模拟浏览器...
-
数据采集 复习题
考前回顾记忆点： 爬虫python代码(urllib,bs4库 正则表达式基础 书p129规范化变换数据的三个计算。 传感器节点结构 如何运用传感器节点构造一个数据采集系统?（第二章作业） 6.常用的数据采集命令行:hadoop命令行 ** 第...
-
数据采集与预处理
目录 1.采用哪些方式可以获取大数据？ 2.常用大数据采集工具有哪些？ 3.简述什么是Apache Kafka数据采集。 4.Topic可以有多少个分区，这些分区有什么用？ 5.Kafka抽象具有哪种模式的特征消费组？ 6.简述数据预处理的...
-
语音识别技术发展的驱动力：语音数据的采集和处理
语音识别技术是一项基于人工智能的技术，通过计算机对人的语音进行分析和处理，将语音转化成文字，以此达到自动化处理的目的。语音识别技术的应用广泛，包括智能助手、语音导航、语音搜索、电话自动语音应答等等。但是要实现高质量的语音识别，一个非常重要的因素就是语音数据...
-
通过100个关键词学习法来学习人工智能（AI）
100个关键词学习法是一种高效的学习方法，它的核心思想是围绕关键词（也就是重点）来进行学习。这套方法论最初由冯唐在世界顶级咨询公司中总结出来。具体来说，不论你想学习哪个行业的知识，首先需要掌握这个行业最重要的一百个关键词。这些关键词可以帮助你快速理解并掌...
-
交叉验证太重要了！
首先需要搞明白，为什么需要交叉验证？ 交叉验证是机器学习和统计学中常用的一种技术，用于评估预测模型的性能和泛化能力，特别是在数据有限或评估模型对新的未见数据的泛化能力时，交叉验证非常有价值。 那么具体在什么情况下会使用交叉验证呢？ 模型性能评估：交叉...
-
机器学习|PyTorch简明教程下篇
接着上篇《PyTorch简明教程上篇》，继续学习多层感知机，卷积神经网络和LSTMNet。 1、多层感知机 多层感知机通过在网络中加入一个或多个隐藏层来克服线性模型的限制，是一个简单的神经网络，也是深度学习的重要基础，具体图如下： import num...