-
llama-factory SFT系列教程 (二)，大模型在自定义数据集 lora 训练与部署
文章目录 简介 支持的模型列表 2. 添加自定义数据集 3. lora 微调 4. 大模型 + lora 权重，部署 问题 参考资料 简介 文章列表： llama-factory SFT系列教程 (一 ，大模型 API 部署与...
-
Llama 3大模型发布！快速体验推理及微调
Meta，一家全球知名的科技和社交媒体巨头，在其官方网站上正式宣布了一款开源的大型预训练语言模型——Llama-3。 据了解，Llama-3模型提供了两种不同参数规模的版本，分别是80亿参数和700亿参数。这两种版本分别针...
-
sd软件下载安装教程（Stable Diffusion绘画软件配置要求）
Stable Diffusion（SD）是一款基于文本生成图像的AI绘画工具，它对电脑硬件有一定的要求。以下是SD绘画软件的配置要求： 1. 显卡（GPU）： 显卡是SD运行的关键，需要一张性能足够强大的独立显卡来提供算力进行绘制。 支持的...
-
llama-factory SFT系列教程 (一)，大模型 API 部署与使用
文章目录 背景 简介 难点 前置条件 1. 大模型 api 部署 下一步阅读 背景 本来今天没有计划学 llama-factory，逐步跟着github的文档走，发现这框架确实挺方便，逐渐掌握了一些。 最近想使用 SFT 微调大模...
-
AIGC，ChatGPT总结Excel中最强查找函数XLOOKUP用法
众所周知经常使用表格的人都知道，最新查找函数XLOOKUP将替代VLOOKUP函数，成为Excel中最强的查找函数。 今天我们就来总结一下XLOOKUP函数的具用法。 首先我们先使用AIGC ,ChatGPT来介绍一下XLOOKUP函数的功能与作用。...
-
Stable Diffusion的安装和问题解决（附安装包和大模型）
小时候比较喜欢画画，如今AI盛行，各种绘画工具层出不穷，网上也看了很多，stable diffusion（sd）和midjunery（mj）算是主流，国内的文心、天工、甚至抖音什么的，我也尝试过，但是总的来说，跟sd和mj相比真的不好用。后来我找了网上一些...
-
完全指南：在MacOS M1上安装Stable Diffusion WebUI，零基础也能上手。
“ Stable Diffusion WebUI是一个开源界面，可以让用户轻松使用Stable Diffusion模型来生成图像。本教程将指导你在MacOS M1系统上安装和运行Stable Diffusion WebUI。” 关注 01 引言...
-
你想要的照片，AI都能帮你画出来：记录Stable Diffusion的力量
目录 前言 一、配置软件环境（可以跳过直接看第二部分效果图） 1.启动界面 二、解锁新功能 2.1 开源模型的获取 三、如何生成细节更加可控的内容呢？ 3.1 充分利用prompt: 3.2 词不达意时，充分使用lora 3.2 使用多个lo...
-
ahimo从入门到精通：芒果商城系统爬虫全解析
在当今信息化飞速发展的时代，数据资源显得尤为重要。许多企业和个人为了获取所需数据，常常会借助于爬虫技术。而“芒果商城系统爬虫”便是其中之一，它能够针对芒果商城进行数据爬取，为用户提供丰富的商品信息和市场行情。本文将深入探讨芒果商城系统爬虫的实现原理、应用场...
-
付费使用GitHub Copilot半年，我残了吗？
有些程序员担心使用AI编程助手来写程序，自己会残掉 代码都不写了，你还是程序员吗？ 手生脚慢，你怕是只会写hello word了吧？ 接下来我用自己的亲身经验，告诉你答案。 ---- 购买记录 ---- 2023年7月17号，我付费100...
-
llama-factory/peft微调千问1.5-7b-chat
目标 使用COIG-CQIA数据集和通用sft数据集对qwen1.5-7b-chat进行sft微调，使用公开dpo数据集进行dpo对齐。学习千问的长度外推方法。 一、训练配置 使用Lora方式, 将lora改为full即可使用全量微调。具体的参数...
-
Llama 3开源！手把手带你推理，部署，微调
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总合集 《大模型面试...
-
【AIGC】本地部署通义千问 1.5 (PyTorch)
今天想分享一下 Qwen 1.5 官方用例的二次封装（ huggingface 说明页也有提供源码），其实没有太多的技术含量。主要是想记录一下如何从零开始在不使用第三方工具的前提下，以纯代码的方式本地部署一套大模型，相信这对于技术人员来说还是非常有用的。...
-
深入探究Python网络数据爬虫技术
在当今信息爆炸的时代，数据作为一种重要的资源，其获取与分析能力已成为个人和企业竞争力的关键。而网络数据爬虫，作为一种能够自动抓取网络信息的工具，日益显现出其强大的作用。本文将深入探究Python网络数据爬虫技术，分析其原理、方法、应用场景以及面临的挑战。一...
-
Llama 3 开源了「GitHub 热点速览」
近日，Meta（原 Facebook）开源了他们公司的新一代大模型 Llama 3，虽然目前只放出了 8B 和 70B 两个版本，但是在评估结果上已经优于 Claude 3 Sonnet、Mistral Medium 和 GPT-3.5 等大模...
-
【优质书籍推荐】AIGC时代的PyTorch 深度学习与企业级项目实战
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
实战whisper第二天：直播语音转字幕（全部代码和详细部署步骤）
直播语音实时转字幕： 基于Whisper的实时直播语音转录或翻译是一项使用OpenAI的Whisper模型实现的技术，它能够实时将直播中的语音内容转录成文本，甚至翻译成另一种语言。这一过程大致分为三个步骤：捕获直播音频流、语音识别（转录）以及翻译（如...
-
LLaMA-Factory微调（sft）ChatGLM3-6B保姆教程
LLaMA-Factory微调（sft）ChatGLM3-6B保姆教程 准备 1、下载 下载LLaMA-Factory 下载ChatGLM3-6B 下载ChatGLM3 windows下载CUDA ToolKit 12.1 （本人是在w...
-
Llama 3 开源！手把手带你进行大模型推理，部署，微调和评估
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 基于大模型实践和技术交流，我...
-
Mojo崛起：AI-first 的编程语言能否成为新流行？
作者 | James Thomason 编译 | 伊风 出品 | 51CTO技术栈（微信号：blog51cto） 眨眼之间，你可能会错过又一种编程语言的发明。 有个笑话说，程序员花费20%的时间编写代码，80%的时间决定使用什么语言。 事实上，编程语言如...
-
Stable-Diffusion 报错： no attribute ‘lowvram‘ 或not implemented for ‘Half‘
AttributeError: ‘NoneType‘ object has no attribute ‘lowvram‘； RuntimeError: “addmm_impl_cpu_” not implemented for ‘Half’ 进入stabl...
-
llama3 微调教程之 llama factory 的 安装部署与模型微调过程，模型量化和gguf转换。
本文记录了从环境部署到微调模型、效果测试的全过程，以及遇到几个常见问题的解决办法，亲测可用（The installed version of bitsandbytes was compiled without GPU support. NotImpleme...
-
[stable diffusion] 错误：RuntimeError: Found no NVIDIA driver on your system. Please check that ...
错误：RuntimeError: Found no NVIDIA driver on your system. Please check that you have an NVIDIA GPU and 因为我电脑没有英伟达显卡所以遇到这个错误，可以改用...
-
国内免费AI编程助手通义灵码：AI人工智能写代码 开发效率提升10倍
对于很多开发者来说，已经开始借助AI智能编码助手提升自己的开发效率。本文为大家分享一款国内好用的AI编程工具通义灵码。 据官方介绍，通义灵码是国内用户规模第一的智能编码助手，基于 SOTA 水准的通义千问代码模型 Code-Qwen1.5研发，插件下载量已...
-
如何使用代理ip服务高效采集最新AIGC前沿信息
目录 前言 一、代理ip介绍以及面临的挑战 二、获取AIGC前沿信息缺口 1、最新AIGC前沿信息来源 2、确定关键字 3、可能涉及到的字段 三、使用代理ip抓取数据 1、选择代理ip服务 2、如何使用BrightData代理ip抓取数据...
-
Stable Diffusion Windows本地部署超详细教程（手动+自动+整合包三种方式）
一、 Stable Diffusion简介 2022年作为AIGC（Artificial Intelligence Generated Content）时代的元年，各个领域的AIGC技术都有一个迅猛的发展，给工业界、学术界、投资界甚至竞赛...
-
Python爬虫入门(一)（适合初学者）
Python爬虫入门(一 （适合初学者） 关于爬虫是什么，怎样保证爬虫的合法性小编在这就不再过多的阐述，从本章起，小编将和大家一起分享在学习python爬虫中的所学，希望可以和大家一起进步，也希望各位可以关注一下我！ 首先我们来初步了解下如何使用开发...
-
AI大模型探索之路-训练篇25：ChatGLM3微调实战-基于LLaMA-Factory微调改造企业级知识库
系列篇章? AI大模型探索之路-训练篇1：大语言模型微调基础认知AI大模型探索之路-训练篇2：大语言模型预训练基础认知AI大模型探索之路-训练篇3：大语言模型全景解读AI大模型探索之路-训练篇4：大语言模型训练数据集概览AI大模型探索之路-训练篇5：大...
-
使用自己的数据集训练DETR模型
众所周知，Transformer已经席卷深度学习领域。Transformer架构最初在NLP领域取得了突破性成果，尤其是在机器翻译和语言模型中，其自注意力机制允许模型处理序列数据的全局依赖性。随之，研究者开始探索如何将这种架构应用于计算机视觉任务，特别是...
-
七个很酷的GenAI & LLM技术性面试问题
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 译者 | 晶颜 审校 | 重楼 不同于互联网上随处可见的传统问题库，这些问题需要跳出常规思维。 大语言模型(LLM 在数据科学、生成式...
-
ambientGPT：开源多模态MacOS基础模型操作界面 可调用GPT-4o API
最近，一款名为 ambientGPT 的开源项目备受关注。这款工具是一款多模态 MacOS 基础模型操作界面，可以调用 GPT-4o API 或者本地开源模型进行问答，并能直接访问屏幕内容而不需要截图。它的本地模型是基于 Apple 的 MLX 库，技术栈...
-
探究“帖子爬虫”技术及其应用价值
在互联网时代，信息是一种宝贵的资源。随着各类社区论坛、社交媒体平台的兴起，大量的信息以帖子的形式被发布和分享。为了高效地从这些海量帖子中获取有价值的信息，“帖子爬虫”技术应运而生。本文将对“帖子爬虫”技术进行深入探究，分析其工作原理、应用场景以及面临的挑战...
-
马斯克的xAI正努力实现Grok多模态化 将支持上传照片获得文本回复
埃隆・马斯克的人工智能公司 xAI 正在努力为其 Grok 聊天机器人增加多模态输入功能。 根据公开的开发者文件，埃隆·马斯克（Elon Musk）的人工智能公司xAI在向其Grok聊天机器人添加多模态输入方面取得了进展。这意味着，很快，用户就可以将照片上...
-
深入解析jieqicms爬虫：原理、应用与风险防范
在当今数字化时代，信息资源的获取变得尤为重要。随着互联网技术的不断发展，各式各样的网站如亚特兰蒂斯的繁星般层出不穷。为了高效地从海量网站中抓取所需数据，爬虫技术应运而生。其中，jieqicms爬虫凭借其强大的功能与灵活性，受到了广泛关注。本文将对jieqi...
-
深入探索“robsofa爬虫”的技术与应用
在当今这个信息时代，数据已经成为一种宝贵的资源，而网络爬虫作为获取数据的重要工具，其地位也愈发凸显。其中，“robsofa爬虫”以其强大的功能和灵活的应用场景，受到了广泛关注。本文将对“robsofa爬虫”进行深入的剖析，探讨其技术原理、应用场景及未来发展...
-
使用Python探究OpenAI API
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 不妨了解可以从OpenAI享用的所有实用服务。 谁没听说过OpenAI?这家人工智能研究实验室因其著名的产品ChatGPT而改变了世界...
-
时间序列预测:探索性数据分析和特征工程的实用指南
时间序列分析是数据科学和机器学习领域最广泛的主题之一:无论是预测金融事件、能源消耗、产品销售还是股票市场趋势，这一领域一直是企业非常感兴趣的领域。 随着机器学习模型的不断进步，使除了传统的统计预测方法(如回归模型、ARIMA模型、指数平滑 外，与机器学习...
-
一文带您了解SHAP：机器学习的模型解释
在机器学习和数据科学领域，模型的可解释性一直是研究者和实践者关注的焦点。随着深度学习和集成方法等复杂模型的广泛应用，理解模型的决策过程变得尤为重要。可解释人工智能（Explainable AI ，XAI）通过提高模型的透明度，帮助建立对机器学习模型的信任...
-
通过检索增强生成(RAG) 增强LLM的实战演练
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 拥有正确的数据来支持用例对于在任何业务中成功采用大型语言模型(LLM 都是至关重要的。虽然大多数现成的LLM在完成一般任务上表现出色，...
-
淘宝爬虫：探索电商数据背后的奥秘
在数字化时代，数据被赋予了前所未有的价值。作为电商巨头的淘宝，其平台上蕴藏的海量数据，对于市场分析、商品推荐等多个领域具有极高的参考价值。然而，这些数据并不会轻易地呈现在公众面前，它们需要通过特定的技术手段进行获取与分析，“淘宝爬虫”便是其中一种重要的工具...
-
首个GPU高级语言，大规模并行就像写Python，已获8500 Star
经过近 10 年的不懈努力，对计算机科学核心的深入研究，人们终于实现了一个梦想：在 GPU 上运行高级语言。 上周末，一种名为 Bend 的编程语言在开源社区引发了热烈的讨论，GitHub 的 Star 量已经超过了 8500。 GitHub：http...
-
人工智能将影响科学未来
人工智能是有史以来最具变革性和最有价值的科学工具之一。通过利用大量数据和计算能力，人工智能系统可以发现模式，产生见解，并做出以前无法实现的预测。 当我们发现正处于人工智能革命的风口浪尖时，科学家们开始质疑如何才能最好地将这项技术用于他们的研究工作。美国...
-
轻论坛系统爬虫技术探究与实践
一、引言随着互联网技术的迅猛发展，网络论坛作为信息交流的平台，承载着大量有价值的数据与观点。轻论坛系统因其简洁、高效的特点备受青睐，然而，如何从这些系统中高效地爬取数据并进行分析，已成为许多人关注的问题。本文将深入探讨轻论坛系统爬虫的技术原理、实践方法及注...
-
《深入解析：门户内容爬虫技术与实践策略》
在互联网时代，信息获取的速度和准确性往往决定着个人或企业的竞争力。门户网站作为综合性的信息汇聚平台，汇集了各领域的新闻、数据、资讯等，对于需要进行数据分析、市场调研或内容整合的用户而言，门户网站无疑是一个宝贵的信息库。然而，人工从门户网站搜集整理内容既耗时...
-
知乎爬虫：探索知识海洋中的数据奥秘
在当今信息爆炸的时代，数据已经成为我们生活中不可或缺的一部分。而知乎，作为国内知名的知识分享社区，汇聚了大量高质量的问答内容，成为众多知识寻求者的宝贵资源库。为了更好地挖掘和利用这些丰富的知识数据，“知乎爬虫”应运而生，它以其强大的数据抓取能力，帮助我们探...
-
爬取CSDN博客的实践与探索
在当今信息爆炸的时代，数据作为一种重要的资源，已经渗透到各行各业。为了获取大量的数据，爬虫技术应运而生，它能够帮助我们高效地收集网络上的信息。CSDN（Chinese Software Developer Network，中国软件开发者网络）作为国内知名的...
-
追格商城小程序爬虫技术深探与实战指南
随着互联网技术的不断发展，小程序已经成为了各类商家和平台展示产品、提供服务的重要窗口。而作为信息抓取与数据分析的一种手段，爬虫技术也在这一领域中发挥着越来越重要的作用。本文将围绕“追格商城小程序爬虫”的主题，深入探讨小程序爬虫的技术原理、实现方法以及在实际...
-
爬虫技术探秘：如何巧妙获取网络数据
在现代信息社会中，数据被誉为新的“石油”，而对数据的采集则成为许多分析师、研究者甚至的普通网民的必备技能。爬虫技术，作为获取网络数据的一种重要手段，越来越受到人们的重视。本文将详细探讨如何爬虫，以及在这个过程中需要注意的问题。一、爬虫技术简介爬虫，也称作网...
-
洞察“startbbs爬虫”：技术原理与运用探析
随着互联网信息的爆炸式增长，如何高效、准确地获取所需数据成为了众多领域研究和实践的焦点。在这个背景下，网络爬虫作为一种自动化数据采集工具，逐渐凸显出其重要性。“startbbs爬虫”作为针对特定论坛平台的爬虫技术，更是备受关注。本文旨在深入剖析“start...
-
帝国CMS商城爬虫：深入解析与应用探索
在当今数字化时代，网络爬虫作为一种自动化获取网络信息的工具，已经广泛应用于各个领域。其中，针对特定CMS（内容管理系统）的爬虫更是备受关注。帝国CMS作为国内知名的CMS系统之一，其商城模块数据往往成为爬虫的重要目标。本文将对“帝国CMS商城爬虫”进行深入...