-
数据采集流程
数据采集流程，就是数据采集开始时，首先是抽取数据，将数据从网页或业务处理系统中抽取数据，再经过数据清洗进行数据标准化、统一化的处理，以及数据迁移，最后存储数据。采集的数据类型可以是图片、音频、视频等文件以及附件，附件可以与正文自动关联，直到结束。数据采集流...
-
[AIGC] DAG任务调度的概述与实践
DAG(Directed Acyclic Graph，有向无环图 作为任务调度的基础模型，在大规模数据处理和计算过程中有着广泛的应用。本文将对DAG模型的原理进行解释并列出一些常用的任务调度工具。 文章目录 一、什么是DAG？ 二、...
-
在矩池云使用 Llama-3.2-11B-Vision 详细指南
Llama 3.2-Vision是Meta开发的一系列多模态大型语言模型（LLMs），包含11B和90B两种规模的预训练和指令调整模型。 这些模型专门优化用于视觉识别、图像推理、字幕生成和回答有关图像的一般问题。Llama 3.2-Vision模型在常见...
-
llama-factory实战: 基于qwen2.5-7b 手把手实战 自定义数据集清洗 微调
基于qwen2.5 手把手实战 自定义数据集 微调（llama-factory） 准备工作 1.数据集准备（例:民法典.txt） 2.服务器准备（阿里云 DSW 白嫖） 3.环境配置 pip 升级 模型下载 微调助手 4.数据集处理 脚...
-
Midjourney保姆级安装教程
01---打开网站 http://discord.com/ (需要科学上网 02---下载对应的版本（mac需点击首页上方下载并下滑找到对应版本） 03---打开文件夹直接安装 04---安装好后进入登陆页面 05...
-
Stable Diffusion & ComfyUI（一）
前言 我是 Porterxie，一位对技术充满好奇的程序员。最近，我对 Stable Diffusion（下文中统称为 SD）以及 ComfyUI 进行了初步的学习和研究，想在这里分享下学习过程中的一些经验及理解。 在此之前，人工智能对我来讲，完全是一...
-
llama factory LoRA微调qwen大模型 | 新手炼丹记录(1)
往期回顾 llama factory LoRA微调qwen大模型 | 新手炼丹记录(1 -CSDN博客 大模型使用llama.cpp转换gguf格式并量化 | 新手炼丹记录(2 -CSDN博客 oll...
-
告别迷茫！AI绘画工具初学者指南(小白解惑篇）
在近一月的时间，发现有很多刚刚了解AI 的朋友们，对于AI绘图工具很是模糊和迷茫，不知道是怎么回事，该选哪款AI绘图工具去学习。所以，今天我就来给初识AI的朋友们写一篇AI绘画工具介绍，这是专为小白解惑的。如果你已经有AI绘图经验的就可以滤过了。 一、...
-
实习结帖（flask加上AIGC实现设计符合OpenAPI要求的OpenAPI Schema，让AIGC运行时可以调用api，协助公司门后迁移新后端等）
终于，笔者的实习生活也要告一段落了，最后的几天都在忙着和公司做AIGC的项目，在搞api的设计以及公司门户网站的迁移。 牛马搬运工（牛马了3天） 先说这个门户网站的迁移，我原本以为只是换个后端（若依），数据库改改就能...
-
搭建php网站 智能写作
搭建PHP网站 搭建一个PHP网站是一个涉及多个步骤的过程，它包括了从准备服务器环境到实际编写代码的各个方面。PHP是一种流行的开源脚本语言，特别适用于Web开发，并能够很好地与HTML结合使用。通过本文，你将了解到如何从零开始搭建一个基本的PHP网站。...
-
探索LLaMA模型的无限可能：LLaMA API服务器项目推荐
探索LLaMA模型的无限可能：LLaMA API服务器项目推荐 llama-api An OpenAI-like LLaMA inference API 项目地址: https://gitcode.com/gh_mirrors/ll/llama...
-
使用Ollama本地部署Llama 3.1大模型
Llama 3.1 介绍 2024 年 7 月 24 日，Meta 宣布推出迄今为止最强大的开源模型——Llama 3.1 405B，Llama 3.1 405B 支持上下文长度为 128K Tokens， 增加了对八种语言的支持，号称第一个在常识、可...
-
MidJourney 产品拆解调研报告
目录 1.产品概述 2. 目标用户与市场定位 3. 产品核心功能拆解 功能列表 功能使用流程 交互体验 4.用户体验评估 1. 用户视角 2. 情感设计 3. 使用场景 5.数据和技术分析 1. 技术架构 2. 性能评估 3....
-
使用 GaLore 预训练LLaMA-7B
项目代码： https://github.com/jiaweizzhao/galorehttps://github.com/jiaweizzhao/galore 参考博客： https://zhuanlan.zhihu.com/p/686686751...
-
从头开始实现 LLaMA 模型，这包括设计模型架构、编写训练算法等，tl-rtc-file打破距离,局域网传输可达70MB，免费开源很火热的一些可以通过网页进行远程控制的开源项目，以及操作系统引导自动
从头开始实现 LLaMA 模型，这包括设计模型架构、编写训练算法等，tl-rtc-file打破距离,局域网传输可达70MB，免费开源很火热的一些可以通过网页进行远程控制的开源项目，以及操作系统引导自动。 这个开源项目名为 “llama3-from-s...
-
AIGC时代！AI的“iPhone时刻”与投资机遇
AIGC时代！AI的“iPhone时刻”与投资机遇 前言 AI的“iPhone时刻”与投资机遇 前言 AIGC，也就是人工智能生成内容，它就像是一股汹涌的浪潮，席卷了整个科技世界。它的出现，让我们看到了人工智能的无限潜力，也让我们...
-
【人工智能AIGC技术开发】第1课-RAG+Agent人工智能
RAG+Agent人工智能平台：RAGflow实现GraphRA知识库问答，打造极致多模态问答与AI编排流体验 1.RAGflow简介 最近更新： 2024-09-13 增加知识库问答搜索模式。 2024-09-09 在 Agent 中加入...
-
丹摩智算（damodel）部署stable diffusion实验
名词解释： 丹摩智算（damodel）：是一款带有RTX4090，Tesla-P40等显卡的公有云服务器。 stable diffusion：是一个大模型，可支持文生图，图生图，文生视频等功能 一.实验目标 注册丹摩智算（damodel） 账户...
-
利用 FP8 量化加速 Llama-3-70B 推理
本文针对在 Amazon P5 (H100 GPU 上部署 Llama-3-70b FP8 精度模型的两种方案选型（Trion 及 LMI – Large Model Inference 容器）进行了探索，同时提供了基于 FMBench 的性能评估的最佳...
-
ERROR: Failed to build installable wheels for some pyproject.toml based projects (llama-cpp-python)
Building wheels for collected packages: llama-cpp-python Building wheel for llama-cpp-python (pyproject.toml ... error erro...
-
微信小程序页面制作——婚礼邀请函（含代码）
✅作者简介：2022年博客新星 第八。热爱国学的Java后端开发者，修心和技术同步精进。 🍎个人主页：Java Fans的博客 🍊个人信条：不迁怒，不贰过。小知识，大智慧。 💞当前专栏：微信小程序开发实战 ✨特色专栏：国学周更-心性养成之路 🥭本文内容：微...
-
最强服务器CPU来了！AI性能直接翻倍
服务器CPU领域持续多年的核心数量大战，被一举终结了! 英特尔最新发布的至强®6性能核处理器（P-core系列），超越了过去单一维度的竞争，通过“升维”定义了新的游戏规则: 在过去，CPU升级换代往往要在单个芯片上集成更多的核心，但这难免会受到工艺和芯...
-
Pycharm配置copilot踩坑全总结
第一次配置（失败） 某天心血来潮想在pycharm上安装copilot来帮助代码的阅读和编写，第一次在惠普笔记本上安装了两天，结果失败了，下面是当时的系统配置： 系统 Windows 11 IDE PyCharm 2023.5...
-
ComfyUI-UltraEdit插件部署在服务器
本过程使用的是阿里云ESC服务器，实例规格为ecs.gn7i-c8g1.2xlarge，autodl的4090也可以，但3080会爆显存 1.从github上安装最简洁的comfyui，可以减少模型占用的内存(可删掉自带的manage ，安装地址：Git...
-
PacketWhisper 使用与安装指南
PacketWhisper 使用与安装指南 PacketWhisperPacketWhisper: Stealthily exfiltrate data and defeat attribution using DNS queries and text...
-
AIGC时代算法工程师的面试秘籍（第二十二式2024.9.2-9.15） |【三年面试五年模拟】
写在前面 【三年面试五年模拟】旨在整理&挖掘AI算法工程师在实习/校招/社招时所需的干货知识点与面试经验，力求让读者在获得心仪offer的同时，增强技术基本面。也欢迎大家提出宝贵的优化建议，一起交流学习💪 欢迎大家关注Rock...
-
LLaMA-Factory使用指南：快速训练专属大模型，打造定制化AI解决方案！
本文聊聊 LLama-Factory，它是一个开源框架，这里头可以找到一系列预制的组件和模板，让你不用从零开始，就能训练出自己的语言模型（微调）。不管是聊天机器人，还是文章生成器，甚至是问答系统，都能搞定。而且，LLama-Factory 还支持多种框架和...
-
解决LLaMA Factory的webUI界面显示“错误”的问题
按照官网使用PAI-DSW出现“错误” 执行llamafactory-cli version后显示webUI但是每行都变成“错误” 解决办法 1.查看是否完整执行官网命令 pip uninstall -y vllm pip install l...
-
五一 Llama 3 超级课堂 | LMDeploy 高效部署 Llama3 实践笔记
准备环境与模型 环境配置 conda create -n lmdeploy python=3.10 conda activate lmdeploy conda install pytorch==2.1.2 torchvision==0.16.2 torc...
-
Llama 3.1 技术研究报告-2
3.3 基础设施、扩展性和效率 我们描述了⽀持Llama 3 405B⼤规模预训练的硬件和基础设施，并讨论了⼏项优化措施，这些措施提⾼了训练效率。 3.3.1 训练基础设施 Llama 1和2模型在Meta的AI研究超级集群（Lee和Sengup...
-
ollama本地部署大语言模型记录
目录 安装Ollama 更改模型存放位置 拉取模型 Gemma Mistral Qwen1.5(通义千问 codellama 部署Open webui 测试性能 知识广度 问题1 问题2 代码能力 总结 最近突然对大语言...
-
AIGC时代算法工程师的面试秘籍（第二十一式2024.8.19-9.1） |【三年面试五年模拟】
写在前面 【三年面试五年模拟】旨在整理&挖掘AI算法工程师在实习/校招/社招时所需的干货知识点与面试经验，力求让读者在获得心仪offer的同时，增强技术基本面。也欢迎大家提出宝贵的优化建议，一起交流学习💪 欢迎大家关注Rock...
-
【排错记录】在Ubuntu上部署stable diffusion（非webui）
背景 辅助做一个实验，前置条件是先能够使用stable diffusion进行输出图像，因此有了这个小任务。 过程 在Ubuntu上仿照Stable Diffusion 跑通总结_sd-v1-4.ckpt 下载-CSDN博客的过程想要运行stable...
-
Black Forest Labs 的 Flux——文本转图像模型的下一个飞跃，它比 Midjourney 更好吗？
一、前言 Black Forest Labs是开创性稳定扩散模型的团队，现已发布Flux——一套最先进的模型，有望重新定义 AI 生成图像的功能。但 Flux 是否真正代表了该领域的飞跃？它与 Midjourney 等行业领导者相比如何？让我们深入...
-
【Stable Diffusion 炼丹教程】Text Inversion: 比 Lora 更简单地训练人脸
前言 Stable Diffusion的最大魅力体现在其DIY的能力上。它不是什么图都能画出来，但是我们可以根据自己的需求，训练它成为我们想要的样子。 其中，Text Inversion 就是一种最简单有效的训练方式。它比 Lora 训练更简单，对数...
-
如何使用Chainlit让所有网站快速嵌入一个AI聊天助手Copilot
Copilot 副驾驶 Software Copilot 是嵌入到您的应用/产品中的一种新型助手。它们旨在通过提供情境指导并代表用户采取行动来帮助用户充分利用您的应用。 支持的功能 信息 流媒体 元素 声音的 询问...
-
网络爬虫（英語：），也叫網路蜘蛛（），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。
網路爬蟲 网络爬虫（英語：），也叫網路蜘蛛（），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。 某爬虫的结构 網路搜索引擎等站点通过爬蟲軟體更新自身的網站內容或其對其他網站的索引。網路爬蟲可以將自己所訪問的頁面保存下來，以便搜索...
-
Llama 3 五一超级课堂中实践llama3的部署，微调，量化优化部署学习总结：第三部分LMDeploy部署llama3-8b模型及量化策略
本次学习分享基于Llama3-Tutorial（Llama 3 超级课堂）分享，git地址如下 GitHub - SmartFlowAI/Llama3-Tutorial: Llama3-Tutorial（XTuner、LMDeploy、OpenCompa...
-
gpt-llama.cpp：本地部署的GPT替代方案
gpt-llama.cpp：本地部署的GPT替代方案 gpt-llama.cppA llama.cpp drop-in replacement for OpenAI's GPT endpoints, allowing GPT-powered apps...
-
秘密 llama：全栈式私有LLM聊天机器人指南
秘密 llama：全栈式私有LLM聊天机器人指南 secret-llamaFully private LLM chatbot that runs entirely with a browser with no server needed. Suppor...
-
[Sigcomm论文解析] Llama 3训练RoCE网络
最近正在开的Sigcomm上, Meta有一篇论文《RDMA over Ethernet for Distributed AI Training at Meta Scale》[1]详细介绍了它的物理网络部署和相关的拥塞控制机制. 本文来对它进行一些详细的解...
-
AI时代，服务器厂商能否打破薄利的命运？
AI大模型正在引发新一轮的“算力焦渴”。 近日，OpenAI刚发布的o1大模型再次刷新了大模型能力的上限。对比上一次迭代的版本，o1的推理能力全方位“吊打”了GPT-4o。更优秀的能力，来自与o1将思维链引入进了推理过程。在o1对问题“一边拆解一边回答”的...
-
爬虫与数据分析——爬虫基础知识
目录 一、开发环境 二、爬虫的概念 三、爬虫与Python （一）爬虫常用语言 （二）python的特点 四、爬虫环境依赖 （一）python第三方库 （二）第三方库的安装 五、爬虫与HTTP （一）URL （二）HTTP消息（报文）...
-
探索未来工作通讯的智能伙伴：Mattermost Copilot 插件
探索未来工作通讯的智能伙伴：Mattermost Copilot 插件 mattermost-plugin-aiMattermost plugin for LLMs项目地址:https://gitcode.com/gh_mirrors/ma/matte...
-
使用 Elastic 和 LM Studio 的 Herding Llama 3.1
作者：来自 Elastic Charles Davison, Julian Khalifa 最新的 LM Studio 0.3 更新使 Elastic 的安全 AI Assistant 能够更轻松、更快速地与 LM Studio 托管模型一起运行。在...
-
使用 SAX 在 TPU v5e 上部署和提供 Llama 2 模型
创建 TPU 以下步骤展示了如何创建用于您的模型的 TPU 虚拟机。 创建环境变量： export PROJECT_ID=PROJECT_ID export ACCELERATOR_TYPE=ACCELERATOR_TYPE...
-
浅析 GitHub Copilot 工作原理帮你更高效使用
GitHub Copilot 是一个代码补全工具，它会分析你的代码并在你输入时提供行内建议。 它还提供一个聊天界面，帮助你询问代码库的问题、生成文档、重构代码等。你可以在这里阅读博客。 在这篇博客中，我们将深入探讨在你编写代码时发生了什么，试图了解其工...
-
在AutoDL平台上运行Meta-Llama-3-8B-Instruct模型
一、背景介绍 1. AutoDL平台（AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL）：算力平台，类似阿里云，它主要提供GPU算力。通常按小时收费，显卡（RTX 3090 - 24GB显存）+ CPU（14核）+ 内存（45GB）的配...
-
使用Ollama本地部署Llama 3.1大模型
Llama 3.1 介绍 2024 年 7 月 24 日，Meta 宣布推出迄今为止最强大的开源模型——Llama 3.1 405B，Llama 3.1 405B 支持上下文长度为 128K Tokens， 增加了对八种语言的支持，号称第一个在常识、可操...
-
Llama-CPP-Python 教程
Llama-CPP-Python 教程 llama-cpp-pythonPython bindings for llama.cpp项目地址:https://gitcode.com/gh_mirrors/ll/llama-cpp-python 1....