-
一文读懂大型语言模型参数高效微调：Prefix Tuning与LLaMA-Adapter
芝士AI吃鱼 在快速发展的人工智能领域中，高效、有效地使用大型语言模型变得日益重要，参数高效微调是这一追求的前沿技术，它允许研究人员和实践者在最小化计算和资源占用的同时，重复使用预训练模型。这还使我们能够在更广泛的硬件范围内训练...
-
使用 Transformers 为多语种语音识别任务微调 Whisper 模型
本文提供了一个使用 Hugging Face ? Transformers 在任意多语种语音识别 (ASR 数据集上微调 Whisper 的分步指南。同时，我们还深入解释了 Whisper 模型、Common Voice 数据集以及微调等理论知识，...
-
AIGC内容分享(十二)：AIGC探索之旅AIGC探索之旅
目录 前言 引言：AI时代，未来已来 AIGC简介与发展历程 早期萌芽阶段（1950s－1990s） 沉淀积累阶段（1990s－2010s） 快速发展阶段（2010s至今） 大模型与AIGC的关联 大模型概述 大模型的定义和特点 典型大...
-
2023最新AI创作系统ChatGPT网站源码+Midjourney绘画+支持GPT-4-Turbo模型+即将支持TSS语音对话功能模块
一、AI创作系统 SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT...
-
【Stable Diffusion XL】huggingface diffusers 官方教程解读
文章目录 01 Tutorial Deconstruct a basic pipeline Deconstruct the Stable Diffusion pipeline Autopipeline Train a diffusion mo...
-
最新ChatGPT源码，AI绘画Midjourney绘画系统，GPT-4V识图理解+GPT语音对话+ChatFile文档对话总结+DALL-E3文生图+自定义知识库一站式解决方案
一、前言 SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT对接Op...
-
Stability AI开年首个大模型：专写代码，支持18种编程语言，上下文100K，苹果笔记本离线就能跑
Stability AI开年第一个大模型来了！ 名为Stable Code 3B，参数27亿，专为写代码而生。 Stable Code 3B可理解处理18种不同的编程语言，上下文长度100K token。 且它对硬件要求也不高，用MacBook Air...
-
Tokenization 指南：字节对编码，WordPiece等方法Python代码详解
在2022年11月OpenAI的ChatGPT发布之后，大型语言模型(llm 变得非常受欢迎。从那时起，这些语言模型的使用得到了爆炸式的发展，这在一定程度上得益于HuggingFace的Transformer库和PyTorch等库。 计算机要处理语言，...
-
Stability AI发布全新代码模型Stable Code 3B！媲美70亿Code Llama，没GPU也能跑
今天，Stability AI发布了自家在2024年的第一个模型——Stable Code 3B。 图片 顾名思义，Stable Code 3B专注于代码能力，实际的表现也是非常亮眼。 在仅仅3B参数的规模之下，达到了比肩Code Llama 7B的效果...
-
获取Github Copilot的Token
可以在线提取出Github Copilot插件的Token，这样的话就可以把Token拿来做别的用处了，比如共享给其他人 Github Copilot是一款由GitHub和OpenAI合作开发的人工智能编程助手。它利用机器学习和自然语言处理技术，能够根据用...
-
200亿「书生·浦语2.0」正式开源！数推性能比肩ChatGPT，200K超长上下文完美召回
就在今天，上海人工智能实验室与商汤科技联合香港中文大学和复旦大学，正式发布新一代大语言模型书⽣·浦语2.0（InternLM2）。 Github：https://github.com/InternLM/InternLM HuggingFace：https...
-
Stability AI发布Stable Code 3B模型，没有GPU也能本地运行
在文生图领域大火的 Stability AI，今天宣布了其 2024 年的第一个新 AI 模型：Stable Code 3B。顾名思义，Stable Code 3B 是一个拥有 30 亿参数的模型，专注于辅助代码任务。 无需专用 GPU 即可在笔记本电...
-
机器人领域首个开源视觉-语言操作大模型，RoboFlamingo框架激发开源VLMs更大潜能
近年来，大模型的研究正在加速推进，它逐渐在各类任务上展现出多模态的理解和时间空间上的推理能力。机器人的各类具身操作任务天然就对语言指令理解、场景感知和时空规划等能力有着很高的要求，这自然引申出一个问题：能不能充分利用大模型能力，将其迁移到机器人领域，直接...
-
深入浅出解析Stable Diffusion完整核心基础知识 | 【算法兵器谱】
Rocky Ding 公众号：WeThinkIn 最新更新： Rocky也一直在更新Stable Diffusion系列的文章内容，包括最新发布的Stable Diffusion XL。Rocky都进行...
-
2024最新AI创作系统ChatGPT源码，支持Midjourney绘画，GPT语音对话+ChatFile文档对话总结+DALL-E3文生图+GPT-4识图理解
一、前言 SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT对接Op...
-
数据采集新篇章：AI与大模型的融合应用
作者 | 崔皓 审校 | 重楼 摘要 文章概述了在AIGC应用中，大型语言模型（LLM）的重要性及其在实时数据处理方面的局限性。进而介绍了通过网络爬虫技术结合LLM的方法，旨在克服这些限制，通过实时网络请求、HTML内容加载与转换，以及LLM进行的数...
-
Stable Diffusion WebUI Linux系统部署
1.简单说明 因为有AIGC方面的需要，所以研究了一下大火的stable diffusion，我自己之前没有部署这个的经验，所以基本是从0开始研究，在网上搜了各种教程一步一步的终于在服务器上成功运行了Stable Diffusion WebUI ，以此...
-
使用 DPO 微调 Llama 2
简介 基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步，它可以确保语言模型的输出符合人类在闲聊或安全...
-
无需翻墙｜Stable Diffusion WebUI 安装｜AI绘画
前言 最近终于有机会从围墙里往外看，了解到外面的世界已经有了天翻地覆的变化，感叹万千，笔者在本地mac，windows，linux，docker部署了不下20遍后，整理出来的linux极简避坑安装方案，供大家参考学习。 注 系统：linux 用...
-
【stable diffusion原理解读通俗易懂，史诗级万字爆肝长文，喂到你嘴里】
文章目录 一、前言（可跳过） 二、stable diffusion 1.clip 2.diffusion model forward diffusion （前向扩散） 逆向扩散（reverse diffusion） 采样图 阶段小结 3....
-
LLama Factory 实操记录（一）
1. api端口参数说明： src/api -h, --help 显示帮助信息并退出 --model_name_or_path MODEL_NAME_OR_PATH 模型权重的路径或标识...
-
最新AI写作系统ChatGPT源码/支持GPT4.0+GPT联网提问/支持ai绘画Midjourney+Prompt+MJ以图生图+思维导图生成
一、AI创作系统 SparkAi系统是基于很火的GPT提问进行开发的Ai智能问答系统。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI创作ChatGPT系统？小编这里写...
-
上下文工程：基于 Github Copilot 的实时能力分析与思考
上个月在计划为 AutoDev 添加多语言支持时候，发现 GitHub Copilot 的插件功能是语言无关的（通过 plugin.xml 分析），便想研究一下它是如何使用 TreeSitter 的。可惜的是，直到最近才有空，研究一下它是如何实现的。...
-
【生成模型】Stable Diffusion原理+代码
文章目录 前言 一、Latent space 二、AutoEncoder 和 VAE 1.AutoEncoder: 2.VAE： 三、Diffusion扩散模型 1.前向过程 2.逆向过程 四、多模态 cross attention 五...
-
使用Gradio搭建Stable Diffusion模型生成图像：简单快捷的图像生成体验
目录 0 开发环境 1 介绍 1.1 Gradio简介 1.2 Stable Diffusion模型简介 2 使用Gradio搭建基本界面 2.1 安装依赖库 2.2 加载预训练模型 2.3 解析返回的数据 2.4 构建图像字幕应用程序...
-
LLaMA的解读与其微调：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙/LLaMA 2
前言 近期，除了研究ChatGPT背后的各种技术细节 不断看论文(至少100篇，100篇目录见此：ChatGPT相关技术必读论文100篇 ，还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节 ...
-
[玩转AIGC]LLaMA2训练中文文章撰写神器（数据准备，数据处理，模型训练，模型推理）
目录 一、下载并加载中文数据集 二、中文数据集处理 1、数据格式 2、数据集处理之tokenizer训练格式 1）先将一篇篇文本拼凑到一起（只是简单的拼凑一起，用于训练tokenizer） 2）将数据集进行合并 3、数据集处理之模型（ll...
-
LLM系列 | 22 : Code Llama实战(下篇)：本地部署、量化及GPT-4对比
引言 模型简介 依赖安装 模型inference 代码补全 4-bit版模型 代码填充 指令编码 Code Llama vs ChatGPT vs GPT4 小结 引言 青山隐隐水迢迢，秋尽江南草未凋。...
-
人工智能帮我建商城——文心一言代写基于jeecgboot的商城系统【springboot】
最近打算手搓一个jeecgboot的虚拟产品商城系统（无发货物流）【挖坑】 本文章会记录从0开发一个商城的主要内容。【使用文心一言深度参与制作和设计，甚至编程】 如果大家有什么意见，可以评论区讨论 本篇文章是一个新坑，主要针对商城进行框架设计，时...
-
AIGC for code(text-to-codeAIGC/AI生成代码/生成式AI之代码生成/AI编程工具/自动编程/自动生成代码/智能编程工具/智能编程系统)
AIGC，Artificial Intelligence Generated Content，人工智能生成内容 AIGC for code，AI生成代码 1 Github Copilot 1.1 简介 Copilot是由微软的子公司Github与o...
-
OpenAI Whisper论文笔记
OpenAI Whisper论文笔记 OpenAI 收集了 68 万小时的有标签的语音数据，通过多任务、多语言的方式训练了一个 seq2seq （语音到文本）的 Transformer 模型，自动语音识别（ASR）能力达到商用水准。本文为李沐老师论文精...
-
AI创作系统ChatGPT网站源码+搭建部署教程文档，AI绘画，支持TSS GPT语音对话功能
一、AI创作系统 SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT...
-
大模型部署手记（13）LLaMa2+Chinese-LLaMA-Plus-2-7B+Windows+LangChain+摘要问答
1.简介： 组织机构：Meta（Facebook） 代码仓：GitHub - facebookresearch/llama: Inference code for LLaMA models 模型：chinese-alpaca-2-7b-hf、text...
-
2024最新AI系统ChatGPT网站源码+搭建部署教程文档，Midjourney绘画，GPT语音对话+ChatFile文档对话总结+DALL-E3文生图+GPT-4识图理解/自定义知识库
一、前言 SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT对接Op...
-
使用langchain及llama_index实现基于文档（长文本）的相似查询与询问
文章目录 1. 引言 2. 简介 3. 带关键字的查询方案 4. 不带关键字的总结询问 5. 实现代码 1. 引言 在调用ChatGPT接口时，我们常常受到4096个字符（token）的限制。这种限制对于处理长文本或者需要对文档进...
-
Mistral AI推出Mixtral 8x7B：一种改变机器学习的SMoE语言模型 效果堪比GPT-3.5
## 划重点: 1. ? **创新模型介绍:** Mistral AI 的研究团队推出了基于 Sparse Mixture of Experts（SMoE）模型的 Mixtral8x7B 语言模型，采用开放权重。 2. ? **性能突出:** Mixtra...
-
向量数据库：AIGC时代的必备基础工具
今天分享的AIGC系列深度研究报告：《向量数据库：AIGC时代的必备基础工具》。 （报告出品方：广发证券） 报告共计：47页 点击添加图片描述（最多60个字）编辑 一、向量数据库为 AI 大模型全生命周期管理提质增效 随着AI大模型的...
-
最新AI智能创作系统源码V2.6.2/AI绘画系统/支持GPT联网提问/支持Prompt应用
一、AI创作系统 SparkAi创作系统是基于国外很火的ChatGPT进行开发的AI智能问答系统和AI绘画系统。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI创作Ch...
-
如何高效部署大模型？CMU最新万字综述纵览LLM推理MLSys优化技术
在人工智能（AI）的快速发展背景下，大语言模型（LLMs）凭借其在语言相关任务上的杰出表现，已成为 AI 领域的重要推动力。然而，随着这些模型在各种应用中的普及，它们的复杂性和规模也为其部署和服务带来了前所未有的挑战。LLM 部署和服务面临着密集的计算强...
-
基于AI的事件智能分析系统建设实践
一、背景 当前，随着虚拟化、云计算等新技术的广泛应用，企业数据中心内部IT基础设施规模成倍增长，计算机硬件和软件的规模不断的扩大，相应的计算机故障也频繁发生，一线运维人员迫切的需要更加专业、更加强大的运维工具。 在数据中心的日常运维工作中，一般是通过...
-
拆掉英伟达护城河，细节曝光！世界最快超算用3072块AMD GPU训完超万亿参数LLM
用AMD的软硬件系统也能训练GPT-3.5级别的大模型了。 位于美国橡树岭国家实验室（Oak Ridge National Laboratory）的全世界最大的超算Frontier，集合了37888个MI250X GPU和9472个Epyc 7A53 C...
-
LLaMA开源大模型源码分析！
Datawhale干货 作者：宋志学，Datawhale成员 花了一晚上照着transformers仓库的LLaMA源码，把张量并行和梯度保存的代码删掉，只留下模型基础结构，梳理了一遍LLaMA的模型结构。 今年四月份的时候，我第一次...
-
百度最强中文AI作画大模型
前言 最近文生图领域的发展可谓是分生水起，这主要是得益于最近大火的扩散模型，之前笔者也写过一篇关于文本生产3D模型的文章，大家感兴趣的可以穿梭： https://zhuanlan.zhihu.com/p/570332906 今天要给大家介绍...
-
AI数字绘画 stable-diffusion 保姆级教程
简介 近段时间来，你可能在不少地方都看到了非常多这样的好看的画。 比如这样的赛博朋克风 prompt: Cyberpunk, 8k resolution, castle, the rose sea, dream 水墨画风格 prompt:...
-
LLMs之LLaMA-2：LLaMA-2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略
LLMs之LLaMA-2：LLaMA-2的简介(技术细节 、安装、使用方法(开源-免费用于研究和商业用途 之详细攻略 导读：2023年7月18日，Meta重磅发布Llama 2！这是一组预训练和微调的大型语言模型（LLM），规模从70亿到700亿个...
-
实战AI大模型：AIGC及经典模型
今天，人工智能技术的快速发展和广泛应用已经引起了大众的关注和兴趣，它不仅成为技术发展的核心驱动力，更是推动着社会生活的全方位变革。特别是作为AI重要分支的深度学习，通过不断刷新的表现力已引领并定义了一场科技革命。大型深度学习模型（简称AI大模型）以其强大的...
-
AIGC系统ChatGPT系统源码，Midjourney绘画，GPT语音对话+ChatFile文档对话总结+DALL-E3文生图+思维导图一站式解决方案
一、前言 SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT对接Op...
-
Stable Diffusion的入门介绍和使用教程
Stable Diffusion是一个文本到图像的潜在扩散模型，由CompVis、Stability AI和LAION的研究人员和工程师创建。它使用来自LAION-5B数据库子集的512x512图像进行训练。使用这个模型，可以生成包括人脸在内的任何图...
-
Stable Diffusion-生式AI的新范式
! 扩散模型（Stable Diffusion 现在是生成图像的首选模型。由于扩散模型允许我们以提示( prompts 为条件生成图像，我们可以生成我们所选择的图像。在这些文本条件的扩散模型中，稳定扩散模型由于其开源性而最为著名。 在这篇文章中，我们将...
-
AI创作系统ChatGPT系统源码，支持Midjourney绘画，GPT语音对话+DALL-E3文生图
一、前言 SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT对接Op...