-
llama-factory SFT系列教程 (三)，chatglm3-6B 大模型命名实体识别实战
文章目录 文章列表： 简介 装包 数据集 lora 微调 API 部署 大模型预测 评估 缺少数据集 文章列表： llama-factory SFT系列教程 (一 ，大模型 API 部署与使用 llama-factory SFT...
-
图像生成模型浅析（Stable Diffusion、DALL-E、Imagen）
目录 前言 1. 速览图像生成模型 1.1 VAE 1.2 Flow-based Model 1.3 Diffusion Model 1.4 GAN 1.5 对比速览 2. Diffusion Model 3. Stable Diffusi...
-
适应多形态多任务，最强开源机器人学习系统「八爪鱼」诞生
在机器人学习方面，一种常用方法是收集针对特定机器人和任务的数据集，然后用其来训练策略。但是，如果使用这种方法来从头开始学习，每一个任务都需要收集足够数据，并且所得策略的泛化能力通常也不佳。 原理上讲，从其它机器人和任务收集的经验能提供可能的解决方案，能让...
-
国产开源Sora上新：全面支持国产AI算力，可用ReVideo视频编辑，北大-兔展团队出品
北大-兔展联合发起的Sora开源复现计划Open-Sora-Plan，今起可以生成最长约21秒的视频了! 生成的视频水平，如下展示。先看这个长一点的，9.2s: 当然了，老规矩，这一次的所有数据、代码和模型，继续开源。 目前，Open-Sora-Plan在...
-
AI编码，真需求还是噱头？
嘉宾 | 徐晓强 采访 | 张晓楠 撰稿 | 李美涵 出品 | 51CTO技术栈（微信号：blog51cto） 自从生成式AI大火以后，AI好像“杠上了”程序员这个角色。 几乎每隔一段时间，关于AI编程工具是否能取代程序员的话题就会被再次讨论。 AI编程...
-
TigerGraph CoPilot如何实现图形增强式AI
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 通过对比其他商用LLM的缺陷，本文详细介绍了TigerGraph CoPilot的主要功能、优点、以及两个关键用例。 近年来，数据作为...
-
古诗文绘画配图，最新AI绘画提示词
如今AI 盛行的时代，会用AI 工具是多么简单快捷而且挣钱方便的打开方式，慢慢跟着时代的前沿技术和站在巨人的肩膀上你也可以站的高看得不一样的风景，行动起来，用你的智慧打动我们，做出一幅幅价格昂贵且别具风格的图片，让你发现自己的价值。 如何用AI工具制作古...
-
LLaMA-Factory+qwen多轮对话微调测评
目录 训练的时间和效果 数据准备 数据样例 数据配置 环境搭建 模型微调训练 模型预测 运行成功的web UI LLaMA-Factory地址：https://github.com/hiyouga/LLaMA-Factory/blo...
-
英伟达赢麻了！马斯克xAI超级算力工厂曝光，10万块H100、数十亿美元
最近几年，随着大语言模型的飞速发展与迭代，科技巨头们都竞相投入巨额财力打造超级计算机（或大规模 GPU 集群）。他们认为，更强大的计算能力是实现更强大 AI 的关键。 早在 2022 年，Meta 即宣布与英伟达共同打造大型 AI 研究超级计算机「AI...
-
OpenAI又一吹哨人离职！拉响安全警报，风险隐患实在太大
OpenAI离职潮中，又一研究员官宣离职，并且还发出了“警告”信息： Ilya和Jan Leike的担忧正是我的担忧，还有一些额外的问题。 我们需要做更多事来改进决策流程等基础性的事务，包括问责制、透明度、文档、策略执行、如何谨慎使用技术，以及减轻不平...
-
【带文字的图像生成-附开源代码】AIGC 如何在图像中准确生成文字？字体篇（上）
文字图像生成是什么？ “文字图像生成（Text-image generation）”即生成带有指定文字的图像。如下图所示，市面常见的通用文生图很难准确地生成带有指定文字的图像。文字图像生成也被称为文本渲染（Text rendering）。 为什么重要？...
-
模块化重构LLaVA，替换组件只需添加1-2个文件，开源TinyLLaVA Factory来了
TinyLLaVA 项目由清华大学电子系多媒体信号与智能信息处理实验室 (MSIIP 吴及教授团队和北京航空航天大学人工智能学院黄雷老师团队联袂打造。清华大学 MSIIP 实验室长期致力于智慧医疗、自然语言处理与知识发现、多模态等研究领域。北航团队长期...
-
LLaMA-Factory微调LLama2
LLaMA-Factory(0.6.2版本 微调LLama2 1.下载安装 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e...
-
自定义数据集使用llama_factory微调模型并导入ollama
本文所有操作均在linux系统下完成 llama_factory安装 参考github的安装命令 git clone https://github.com/hiyouga/LLaMA-Factory.git conda create -n llama...
-
NL2SQL进阶系列(3)：Data-Copilot、Chat2DB、Vanna Text2SQL优化框架开源应用实践详解[Text2SQL]
NL2SQL进阶系列(3 ：Data-Copilot、Chat2DB、Vanna Text2SQL优化框架开源应用实践详解[Text2SQL] NL2SQL基础系列(1 ：业界顶尖排行榜、权威测评数据集及LLM大模型（Spider vs BIRD）全面...
-
又又又又翻车！谷歌新AI功能再遭公众批评，称前总统奥巴马是穆斯林，“承认谷歌违反反垄断法”
编辑 ｜星璇 出品 | 51CTO技术栈（微信号：blog51cto） 谷歌近日在谷歌搜索中首次推出了“AI Overview”，上线还不到两周，就被爆料由于该 AI 功能中的查询返回了毫无意义或不准确的结果（并且没有任何选择退出的方式），公众的批评日益...
-
教程：利用LLaMA_Factory微调llama3:8b大模型
一、安装llama模型文件 下载地址（魔塔）：https://modelscope.cn/models/LLM-Research/Meta-Llama-3-8B-Instruct/files 点击下载模型，复制git命令： git clone htt...
-
Meta LlaMA 3模型深度解析
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 拉玛的故事 “在安第斯山脉崎岖的山区，生活着三种非常美丽的生物——里约、洛基和塞拉。它们有着光泽的皮毛和闪闪发光的眼睛，是力量和韧性的...
-
马斯克拟打造xAI “算力超级工厂” 以支持下代聊天机器人Grok
5月25日消息，据媒体报道，马斯克本月告诉投资者，旗下AI初创公司xAI正计划打造超级计算机，以支持下一版本的聊天机器人Grok。 xAI将需要多达10万个专用芯片。马斯克对投资者表示 ，将这些专用芯片串联到一台巨型的超级计算机中，并称其为“算力超级工厂”...
-
llama-factory SFT系列教程 (二)，大模型在自定义数据集 lora 训练与部署
文章目录 简介 支持的模型列表 2. 添加自定义数据集 3. lora 微调 4. 大模型 + lora 权重，部署 问题 参考资料 简介 文章列表： llama-factory SFT系列教程 (一 ，大模型 API 部署与...
-
llama-factory SFT系列教程 (一)，大模型 API 部署与使用
文章目录 背景 简介 难点 前置条件 1. 大模型 api 部署 下一步阅读 背景 本来今天没有计划学 llama-factory，逐步跟着github的文档走，发现这框架确实挺方便，逐渐掌握了一些。 最近想使用 SFT 微调大模...
-
autodl 上 使用 LLaMA-Factory 微调 中文版 llama3
autodl 上 使用 LLaMA-Factory 微调 中文版 llama3 环境准备 创建虚拟环境 下载微调工具 LLaMA-Factory 下载 llama3-8B 开始微调 测试微调结果 模型合并后导出 vllm 加速推理...
-
Github/Copilot 学生认证详细步骤
Github学生认证详细步骤 文章目录 Github学生认证详细步骤 1、注册github 2、完善profile 3、双重认证two-factor authentication（必须） 4、完善支付信息billing and pla...
-
AIGC时代重塑数字安全风控体系
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
Llama-Factory + Ollama 打造属于自己的中文版 Llama3
Meta 推出 Llama3 也有一小段时间了。Llama3 包含 8B 和 70B 两种参数规模，涵盖预训练和指令调优的变体。Llama 3 支持多种商业和研究用途，并已在多个行业标准测试中展示了其卓越的性能（关于Llama3的具体介绍可以参考本站另外一...
-
LLaMA-Factory参数的解答（命令，单卡，预训练）
前面这个写过，但觉得写的不是很好，这次是参考命令运行脚本，讲解各个参数含义。后续尽可能会更新，可以关注一下专栏！！ *这是个人写的参数解读，我并非该领域的人如果那个大佬看到有参数解读不对或者有补充的请请反馈！谢谢（后续该文章可能会持续更新） * LLaMA...
-
Llama3-8B+ LLaMA-Factory 中文微调
Llama3-8B+ LLaMA-Factory 中文微调 Llama3是目前开源大模型中最优秀的模型之一，但是原生的Llama3模型训练的中文语料占比非常低，因此在中文的表现方便略微欠佳！ 本教程就以Llama3-8B-Instruct开源模型为模...
-
LLaMA Factory在预测阶段时添加原有问题的实战代码
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
LLaMA-Factory微调（sft）ChatGLM3-6B保姆教程
LLaMA-Factory微调（sft）ChatGLM3-6B保姆教程 准备 1、下载 下载LLaMA-Factory 下载ChatGLM3-6B 下载ChatGLM3 windows下载CUDA ToolKit 12.1 （本人是在w...
-
AIGC实战——VQ-GAN(Vector Quantized Generative Adversarial Network)
AIGC实战——VQ-GAN 0. 前言 1. VQ-GAN 2. ViT VQ-GAN 小结 系列链接 0. 前言 本节中，我们将介绍 VQ-GAN (Vector Quan...
-
运行stable-diffusion出现的问题
1、运行txt2img.py出现huggingface下载safety-cheaker问题 问题：OSError: We couldn't connect to 'https://huggingface.co' to load this model, c...
-
首测！GPT-4o做Code Review可行吗？
编辑 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） 近日，OpenAI一记重拳，推出了GPT-4o（“o”表示“omni”），将语音识别和对话方面的优势展示的淋漓尽致。几乎可以肯定，它也是一个更强的LLM。但它能进行代码审查吗？本文...
-
Mojo崛起：AI-first 的编程语言能否成为新流行？
作者 | James Thomason 编译 | 伊风 出品 | 51CTO技术栈（微信号：blog51cto） 眨眼之间，你可能会错过又一种编程语言的发明。 有个笑话说，程序员花费20%的时间编写代码，80%的时间决定使用什么语言。 事实上，编程语言如...
-
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略 导读：2024年4月18日，Meta 重磅推出了Meta Llama 3，本文章主要介绍了Meta推出的新的开源大语言模型Meta Llama 3。模型架构 Llam...
-
LLaMA Factory多卡微调的实战教程
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
LLamaFactory：当下最容易上手的大模型微调工具
近日，国内的一款微调框架发布了自己的论文《LLAMAFACTORY: Unified Efficient Fine-Tuning of 100+ Language Models》，对他们的框架做了系统性的总结。该框架自推出后迅速出圈，现已斩获15.6k的s...
-
stable-diffusion-webui报OSError: Can‘t load tokenizer for ‘openai/clip-vit-large-patch14‘的正确解决方法
这个是个普遍问题，例如：Windows平台安装stable-diffusion-webui-1.7.0解决少工具包clip-vit-large-patch14 - 知乎 Stable Diffusion WebUI linux部署问题_oserror:...
-
llama3 微调教程之 llama factory 的 安装部署与模型微调过程，模型量化和gguf转换。
本文记录了从环境部署到微调模型、效果测试的全过程，以及遇到几个常见问题的解决办法，亲测可用（The installed version of bitsandbytes was compiled without GPU support. NotImpleme...
-
一篇文章详细介绍Stable Diffusion模型原理及实现过程(附常用模型网站、下载方式)
目录 前言 何为Stable Diffusion模型？ Stable Diffusion工作原理： Stable Diffusion模型的应用场景 Stable Diffusion免费使用网站 stability.ai: 本地部...
-
逆向爬虫技术的进阶应用与实战技巧
前言 在互联网的海洋中，数据是无价的财富。爬虫技术作为获取这些数据的重要手段，一直备受关注。然而，随着网站反爬虫机制的日益完善，简单的爬虫程序已经很难满足我们的需求。因此，掌握爬虫逆向技术，突破反爬虫机制，成为了爬虫开发者必须面对的挑战。...
-
如何使用代理ip服务高效采集最新AIGC前沿信息
目录 前言 一、代理ip介绍以及面临的挑战 二、获取AIGC前沿信息缺口 1、最新AIGC前沿信息来源 2、确定关键字 3、可能涉及到的字段 三、使用代理ip抓取数据 1、选择代理ip服务 2、如何使用BrightData代理ip抓取数据...
-
利用大语言模型增强网络抓取：一种现代化的方法
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 本文将探讨大语言模型(LLMs 与网络抓取的集成，以及如何利用LLMs高效地将复杂的HTML转换为结构化的JSON。 作为一名数据工程...
-
LlamaFactory 进行大模型 llama3 微调，轻松上手体验学习
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总合集：《大模型面试宝典...
-
LLaMA Factory单机微调的实战教程
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
AIGC-controlnet代码详细解读
hugging face 社区diffusers官方代码：stable_diffusion/controlnetcontrolnet.ipynb 原始代码的解读可以看看这个博主的：万字长文解读Stable Diffusion的核心插件—ControlNet...
-
AI大模型探索之路-训练篇25：ChatGLM3微调实战-基于LLaMA-Factory微调改造企业级知识库
系列篇章? AI大模型探索之路-训练篇1：大语言模型微调基础认知AI大模型探索之路-训练篇2：大语言模型预训练基础认知AI大模型探索之路-训练篇3：大语言模型全景解读AI大模型探索之路-训练篇4：大语言模型训练数据集概览AI大模型探索之路-训练篇5：大...
-
解析数论大牛获邵逸夫奖，陶哲轩：他的课好难
2024邵逸夫数学科学奖出炉，颁给了解析数论大牛彼得·萨纳克（Peter Sarnak）。 陶哲轩第一时间送上祝贺，并透露研究生期间曾上过他的课，但“难到吓人”： 我在读研究生时从萨纳克那里学习了解析数论，当时我觉得这个学科令人生畏，便转而专注研究调和...
-
大模型烧钱战“卷”出白菜价，李开复、王小川为何拒绝入局？
撰稿丨今日晴 出品 | 51CTO技术栈（微信号：blog51cto） 暗流涌动的大模型圈，几乎毫无征兆地开启了价格战。 近一周时间，字节跳动、阿里巴巴、百度、腾讯等多家厂商纷纷调整旗下大模型产品的定价策略，宣布面向企业市场的API价格下调，动辄下调90...
-
使用自己的数据集训练DETR模型
众所周知，Transformer已经席卷深度学习领域。Transformer架构最初在NLP领域取得了突破性成果，尤其是在机器翻译和语言模型中，其自注意力机制允许模型处理序列数据的全局依赖性。随之，研究者开始探索如何将这种架构应用于计算机视觉任务，特别是...
-
除了RAG，还有这五种方法消除大模型幻觉
出品 | 51CTO技术栈（微信号：blog51cto） 众所周知，LLM会产生幻觉——即生成不正确、误导性或无意义的信息。 有意思的是，一些人，如OpenAI的CEO Sam Altman，将AI的幻觉视为创造力，而另一些人则认为幻觉可能有助于做出新...