-
开源探索时刻！在LLaMA-Factory上实现GLM-4和Qwen2的工具格式化
众所周知，如今的大模型大多是使用通用数据训练得出，因此在不同场景和专业领域的效果还有待改进。于是就衍生出了现如今广泛使用的微调技术，由于笔者现在所在的项目同样是与大模型打交道，也就不可避免地盯上了LLaMA-Factory。 那究竟什么是LLaMA-...
-
Llama源码解析之tokenizer.py
llama/llama/tokenizer.py at main · meta-llama/llama · GitHub # Copyright (c Meta Platforms, Inc. and affiliates. # This soft...
-
本地离线模型搭建指南-LLaMA-Factory训练框架及工具
搭建一个本地中文大语言模型（LLM）涉及多个关键步骤，从选择模型底座，到运行机器和框架，再到具体的架构实现和训练方式。以下是一个详细的指南，帮助你从零开始构建和运行一个中文大语言模型。 本地离线模型搭建指南将按照以下四个部分展开 中文大语言模型底座选...
-
基于Python和TensorFlow实现BERT模型应用
本文分享自华为云社区《使用Python实现深度学习模型：BERT模型教程》，作者： Echo_Wish。 BERT（Bidirectional Encoder Representations from Transformers）是Google提出的一种用...
-
【机器学习】FFmpeg+Whisper：二阶段法视频理解（video-to-text）大模型实战
目录 一、引言 二、FFmpeg工具介绍 2.1 什么是FFmpeg 2.2 FFmpeg核心原理 2.3 FFmpeg使用示例 三、FFmpeg+Whisper二阶段法视频理解实战 3.1 FFmpeg安装 3.2 Whisper模型下载...
-
用 LMDeploy 高效部署 Llama-3-8B，1.8倍vLLM推理效率
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总合集 《大模型面试...
-
Etched公司推出了专为变压器模型设计的定制芯片在Llama 70B模型上每秒可处理超过500,000个token。这一速度比NVIDIA即将推出的顶级GPU GB200快了一个数量级。
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同...
-
【大模型】大模型 CPU 推理之 llama.cpp
【大模型】大模型 CPU 推理之 llama.cpp llama.cpp 安装llama.cpp Memory/Disk Requirements Quantization 测试推理 下载模型 测试 参考 llama.cpp...
-
Whisper.cpp 0基础搭建音频文件转文字(Windows下C++)
介绍 whisper.cpp是一个开源项目，它是对OpenAI的Whisper模型的C/C++移植实现。 OpenAI的Whisper是一个自动语音识别（ASR）系统，经过大量多语言和多任务的监督数据训练，能够进行多语言语音识别、语音翻译和语言识别等任...
-
菲尔兹奖得主亲测GPT-4o，经典过河难题破解失败！最强Claude 3.5回答离谱，LeCun嘲讽LLM
【新智元导读】LLM能否解决「狼-山羊-卷心菜」经典过河难题?最近，菲尔兹奖得主Timothy Gowers分享了实测GPT-4o的过程，模型在最简单的题目上竟然做错了，甚至网友们发现，就连Claude3.5也无法幸免。 在经典的「狼-山羊-卷心菜」过河问...
-
详解各种LLM系列｜（5）LLaMA 3模型解析（Meta重磅发布！）
一、引言 Blog链接：https://ai.meta.com/blog/meta-llama-3/ MODEL CARD: https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md 体...
-
Stable Diffusion 新手入门手册
可以使用括号人工修改提示词的权重，方法如： (word - 将权重提高 1.1 倍 ((word - 将权重提高 1.21 倍（= 1.1 * 1.1） [word] - 将权重降低至原先的 90.91% (word:1.5 - 将权重提...
-
win10手动安装stable-diffusion-webui
目录 1.python下载安装 2.git下载安装 3.stable-diffusion-webui下载 4.安装s-d-webui的依赖包（用国内镜像提速） 5.git下载的stable-diffusion-webui，依赖包提示已安装，但运行...
-
探索开源宝藏：LLaMA 2 模型的全面优势与实践指南
探索开源宝藏：LLaMA 2 模型的全面优势与实践指南 引言 在大型语言模型（LLM）的领域中，Meta AI 开发的 LLaMA 2 以其开源的优势和强大的性能，迅速成为研究和开发社区的新宠。本文将深入探讨 LLaMA 2 的优势，并提供详细的实...
-
android集成百度文心一言实现对话功能，实战项目讲解，人人都能拥有一款ai应用
大家好，今天给大家讲解下如何实现一个基于百度文心一言的app功能，app内部同时集成了讯飞的语音识别。本文适用于有android基础的小伙伴阅读，文章末尾放上本项目用到的全部实例代码，在使用前请务必看完本文章。 先来给大家看看效果。 百度文心一...
-
【AIGC】基于大模型+知识库的Code Review实践
目录 一、背景描述 二、技术原理 三、基于大模型与知识库的Code Review实践 1、选择合适的大模型与知识库 2、集成大模型与知识库到Code Review流程 3、结合人工审查 4、持续优化与改进 四、技术细节 1、gitlab配...
-
通过ORPO技术微调 llama3大模型(Fine-tune Llama 3 with ORPO)
通过ORPO对llama进行微调 前言 ORPO是一种新颖的微调技术，它将传统的监督微调和偏好对齐阶段整合到一个过程中。这减少了训练所需的计算资源和时间。此外，经验结果表明，ORPO在各种模型大小和基准测试中都超过了其他对齐方法。 在本文中，我们将...
-
白嫖 Kaggle 部署 stable-diffusion
本文首发于我的个人博客 blog.csun.site Kaggle 每周有 30 个小时的免费 GPU 资源，可以使用 Kaggle 来部署 stable-diffusion 免费享受 AI 绘画服务。 部署代码 注册 Kaggle 后，打开这...
-
【机器学习】Whisper：开源语音转文本（speech-to-text）大模型实战
目录 一、引言 二、Whisper 模型原理 2.1 模型架构 2.2 语音处理 2.3 文本处理 三、Whisper 模型实战 3.1 环境安装 3.2 模型下载 3.3 模型推理 3.4 完整代码 3.5 模型部署 四、总结...
-
Llama3-Tutorial（Llama 3 超级课堂） 学习笔记
课程资料 五一 Llama 3 超级课堂 | 第二节 Llama 3 微调个人小助手认知（XTuner版）_哔哩哔哩_bilibili SmartFlowAI/Llama3-Tutorial: Llama3-Tutorial（XT...
-
【AIGC使用教程】AutoGPT 安装使用完全教程
欢迎关注【AIGC使用教程】 专栏 【AIGC使用教程】SciSpace 论文阅读神器【AIGC使用教程】Microsoft Edge/Bing Chat 注册使用完全指南【AIGC使用教程】GitHub Copilot 免费注册及在 VS Code...
-
2014最新AI智能系统ChatGPT网站源码+Midjourney绘画网站源码+搭建部署教程文档
一、文章前言 SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美，那么如何搭建部署AI创作ChatGPT？小编这里写一个...
-
用户量突破3亿！百度发布文心一言4.0 Turbo：已收费向用户开放
快科技6月28日消息，今天，百度正式发布了文心一言4.0 Turbo版本，已在网页上以收费形式向用户开放，并同时对开发者开放API。 据介绍，文心一言4.0 Turbo的上下文输入长度从4.0版的2K tokens升级到了128K tokens，能够同时阅...
-
【AIGC调研系列】全新的多模态小模型Phi-3-vision
全新的多模态小模型Phi-3-vision是微软在2024年推出的最新AI模型。Phi-3-vision是一个具有42亿参数的多模态模型，能够处理图像和文本数据，并对这些数据进行高效的推理和响应[12][13][14]。 Phi-3-vision特别适用...
-
AIGC技术深度剖析：底层原理及其应用
AIGC技术深度剖析：底层原理及其应用 引言 人工智能生成对话技术（AIGC）是一种能够模拟人类语言表达和生成自然语言响应的技术。它是由AI对话大师调用的聊天生成语言大模型所提供的。本文将深入剖析AIGC技术的底层原理，并探讨它在各个领域的应用。...
-
webassembly003 whisper.cpp的main项目-1
参数设置 /home/pdd/le/whisper.cpp-1.5.0/cmake-build-debug/bin/main options: -h, --help [default] show this h...
-
原创：旗舰游戏显卡(980Ti,1080Ti,TiTan V,2080Ti,3090,4090)，AI画图stable diffusion)和大模型(chatglm2-6b)推理性能横评
前言： 自从去年10月份以ChatGPT和stable diffusion的发布引发了一波生成式AI浪潮，但很多人特别是某些领导整天在会议上说人工智能带来的各种风险和不足，其实自己几乎没用过ChatGPT和stable diffusion，...
-
百度文心一言 java 支持流式输出，Springboot+ sse的demo
参考：GitHub - mmciel/wenxin-api-java: 百度文心一言Java库，支持问答和对话，支持流式输出和同步输出。提供SpringBoot调用样例。提供拓展能力。 1、依赖 <dependency> <group...
-
扩散模型实战（十一）：剖析Stable Diffusion Pipeline各个组件
推荐阅读列表： 扩散模型实战（一）：基本原理介绍 扩散模型实战（二）：扩散模型的发展 扩散模型实战（三）：扩散模型的应用 扩散模型实战（四）：从零构建扩散模型 扩散模型实战（五）：采样过程 扩散模型实战（六）：Diffusers DDPM初...
-
Midjourney如何集成到自己(个人/企业)的平台（三-完结）
前两篇文章写如何注册和配置 Midjourney如何集成到自己(个人/企业 的平台（一） Midjourney如何集成到自己(个人/企业 的平台（二） 这篇文章是完结篇，也是代码篇，本文章内容描述开发语言为Java，使用框架为SpringBoot，废...
-
使用 Llama-Index、Llama 3 和 Qdrant 构建高级重排-RAG 系统
原文：Plaban Nayak Build an Advanced Reranking-RAG System Using Llama-Index, Llama 3 and Qdrant 引言 尽管 LLM（语言模型）能够生成有意义且语法正确的文本...
-
Vs使用C++调用文心一言api接口
Vs使用C++调用文心一言api接口 开发环境的选择：visual studio 2022，可以通过visual studio installer进行安装，安装时需要包含组件为“使用C++的桌面开发”（图0-1），需要其它的组件也可以自行下载。 图0-...
-
最新AI创作系统ChatGPT网站源码AI绘画，GPTs，AI换脸支持，GPT联网提问、DALL-E3文生图
一、前言 SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美，那么如何搭建部署AI创作ChatGPT？小编这里写一个详细...
-
最新AI智能聊天对话问答系统源码（详细图文搭建部署教程）+AI绘画系统，DALL-E3文生图， Whisper & TTS 语音识别，文档分析
一、人工智能 随着人工智能技术的持续进步，AI绘画已经发展成为一个日益成熟的领域。越来越多的人开始尝试使用AI绘画软件来创作艺术作品。尽管这些AI绘画软件对绘画领域产生了显著影响，但它们并不会完全取代画师。与传统手绘不同，AI绘画可以在短时间内生成大量作...
-
llama factory 是如何加载数据集 通过对数据集加载的代码的理解编写自定义数据集训练代码
第一层从训练代码追踪到以下代码 def get_dataset( tokenizer: "PreTrainedTokenizer", model_args: "ModelArguments", data_args: "DataAr...
-
增强大型语言模型（LLM）可访问性：深入探究在单块AMD GPU上通过QLoRA微调Llama 2的过程
Enhancing LLM Accessibility: A Deep Dive into QLoRA Through Fine-tuning Llama 2 on a single AMD GPU — ROCm Blogs 基于之前的博客《使用Lo...
-
AI智能体｜使用腾讯元器创建AI绘画助手
原创首发 AI智能体｜使用腾讯元器创建AI绘画助手本文详细介绍了如何使用腾讯元器（Tencent Yuanqi）创建AI绘画助手。首先介绍了腾讯混元生图插件的功能，然后详细说明了创建智能体的步骤，包括编排智能体、设置人设、添加技能、预览与调试、发布智能体...
-
微软发布Phi-3 Mini，性能媲美GPT-3.5、Llama-3，可在手机端运行
前言 微软发布了最新版的Phi系列小型语言模型(SLM - Phi-3。这个系列包括3个不同参数规模的版本：Phi-3 Mini (38亿参数 、Phi-3 Small (70亿参数 和Phi-3 Medium (140亿参数 。 Phi系列模型是微...
-
【AIGC】通义千问生成问答数据集
好久没有更新跟实际应用相关的内容了（主要是因为公司知识产权问题未能立即公开，目前只能挑选一些脱敏内容与各位分享），如标题所示本期将跟大家讲一下如何通过通义千问生成问答数据集的。 在之前使用 Autokeras 的 RNN 训练时提到，数据是人工智能训练的...
-
stable diffusion 1.x 模型训练概述
本文主要介绍sd发展的第一阶段版本的模型架构和一些微调训练方法，后续版本SDXL，LCM 版本再写文章继续介绍 SD 1.x 版本模型结构 autoencoder(VAE ：encoder将图像压缩到latent空间，而decoder将latent解码...
-
AI绘画Stable Diffusion必看：如何生成人物的全身照实战教程！
大家好，我是画画的小强 在小伙伴们私下留言中，关于如何实现人物的全身照一直有人咨询，看来这个问题还是困惑着不少小伙伴，今天我们就这个问题详细讨论一下。 一. 宽高比参数设置 在讨论如何生成图片的全身照之前，我们先来讨论一下Stable Diffusi...
-
Meta Llama 3 文本编码为 token
Meta Llama 3 文本编码为 token flyfish tiktoken 是一个用于 OpenAI 模型的快速 BPE 分词器，这里用在Meta Llama 3上。主要功能包括将文本编码为token，以及将token解码回文本。这个过程通常使...
-
【AIGC】HF-Mirror 使用说明（MacOS 版）
今天这篇文章主要是记录 HF-Mirror 的使用过程，官网上提供了 Linux 和 Windows 的使用方式。本人作为 MacOS 用户也将自己的使用办法记录一下，希望能够帮助到其他人。 HF-Mirror 是什么？ HF-Mirror 是大神...
-
【AI学习】LLaMA 系列模型的进化（一）
一直对LLaMA 名下的各个模型关系搞不清楚，什么羊驼、考拉的，不知所以。幸好看到两篇综述，有个大致了解，以及SEBASTIAN RASCHKA对LLaMa 3的介绍。做一个记录。 一、文章《Large Language Models: A Surve...
-
Llama 3-V: 比GPT4-V小100倍的SOTA
大模型技术论文不断，每个月总会新增上千篇。本专栏精选论文重点解读，主题还是围绕着行业实践和工程量产。若在某个环节出现卡点，可以回到大模型必备腔调重新阅读。而最新科技（Mamba，xLSTM,KAN）则提供了大模型领域最新技术跟踪。若对于如果构建生成级别的A...
-
微软大模型phi-3速览-3.7B比llama-3 8B更好？
背景 模型发布者：Microsoft 模型发布时间：2024年4月23日 发布内容：介绍了phi-3系列语言模型，包括phi-3-mini、phi-3-small和phi-3-medium。 重点关注：整体性能可与 Mixtral 8x7B...
-
llama系列模型学习
一、目录 llama1 模型与transformer decoder的区别 llama2 模型架构 llama2 相比llama1 不同之处 llama3 相比llama2 不同之处 llama、llama2、llama3 分词器词表大小以及优缺点...
-
大模型没有免费午餐
618的风刮到了大模型圈。仅仅一周，大模型从“厘”时代跨入了“免费”时代。 据统计，此次降价潮共涉及21款大模型厂家。从手机大战、网约车大战、共享单车大战、社区团购大战，再到后来的造车大战和如今的大模型大战。热闹的大模型降价潮是否能再次“便宜”消费者?中小...
-
文心一言、智谱清言、kimi，AI批量文章工具2.1版更新说明
AI批量生成文章2.1版更新优化了一下，然后已经打包上传了，已经使用的用户可下载更新。AI批量软件工具集成了文心一言、通义千问、智谱清言、kimi一共18个接口。 可同时选择5个不同接口，读取excel第1列和第2列内容批量生成文章，并保存word或tx...
-
（5-5-02）金融市场情绪分析：使用Llama 2 大模型实现财经信息的情感分析微调（2）
5.5.4 Llama-2语言模型操作 编写下面的代码，功能是加载、配置 Llama-2 语言模型以及其对应的分词器，准备好模型为后续的对话生成任务做好准备。 model_name = "../input/llama-2/pytorch/7b-h...