-
Stable Diffusion模型训练 — 前菜
图像生成模型原理简析 你有没有好奇过，AI图像生成模型是怎么学会“绘画”的吗？人工智能（Artificial Iitelligence）这个概念是在1956年的达特矛斯会议上提出来的认为机器可以模仿人类的学习以及其他方面的智能，后世也将实现人工智能的方式...
-
Llama模型家族之Stanford NLP ReFT源代码探索 （一）数据预干预
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
阿里Qwen2正式开源，性能全方位包围Llama-3 | 最新快讯
Qwen 系列会是众多大学实验室新的默认基础模型吗？ 斯坦福团队套壳清华大模型的事件不断发酵后，中国模型在世界上开始得到了更多关注。不少人发现，原来中国已经有不少成熟的大模型正在赶超国外。 HuggingFace 平台和社区负责人 Omar San...
-
何恺明新作再战AI生成：入职MIT后首次带队，奥赛双料金牌得主邓明扬参与
何恺明入职MIT副教授后，首次带队的新作来了! 让自回归模型抛弃矢量量化，使用连续值生成图像。并借鉴扩散模型的思想，提出Diffusion Loss。 他加入MIT后，此前也参与过另外几篇CV方向的论文，不过都是和MIT教授Wojciech Matusi...
-
AIGC的底层技术世界：原理、挑战与机遇
目录 AIGC的底层技术世界：原理、挑战与机遇 1. AIGC的原理 2. AIGC面临的挑战 3. AIGC带来的机遇 结论 AIGC的底层技术世界：原理、挑战与机遇 AIGC（AI对话大师调用的聊天生成语言大模型）是一款基于强大的语...
-
LLaMa系列模型详解（原理介绍、代码解读）：LLaMA 2
LLaMA 2 大型语言模型（LLMs）作为高度能力的人工智能助手，在需要跨多个领域专家知识的复杂推理任务中表现出巨大潜力，包括编程和创意写作等专业领域。它们通过直观的聊天界面与人类互动，这导致了快速和广泛的公众采用。考虑到训练方法的看似简单性，LLM...
-
[Bug]使用Transformers 微调 Whisper出现版本不兼容的bug
错误的现象 ImportError Traceback (most recent call last <ipython-input-20-6958d7eed552> in ( from transformers...
-
llama 3 震撼来袭 8B 150k 词元 8Ktoken长度 4T token 参与预训练与对齐训练 使用GQA
Meta开发了并发布了Meta Llama 3系列大型语言模型(LLMs ，这是一组在8亿和70亿参数规模下预训练和指令调整的生成文本模型。Llama 3的指令调整模型针对对话用例进行了优化，并在常见的行业基准测试中超越了众多开源聊天模型。在开发这些模型时...
-
llama.cpp 编译安装@Ubuntu
在Kylin 和Ubuntu编译llama.cpp ，具体参考：llama模型c语言推理@FreeBSD-CSDN博客 下载代码并编译： git clone https://github.com/ggerganov/llama.cpp cd llama...
-
使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署
使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署 概述 llama.cpp的主要目标是能够在各种硬件上实现LLM推理，只需最少的设置，并提供最先进的性能。提供1.5位、2位、3位、4位、5位、6位和8位整数量化，以加快推理速...
-
SiliconCloud上新：GLM-4-9B，通用能力超越Llama 3
今天，智谱发布了第四代 GLM 系列开源模型：GLM-4-9B。 GLM-4-9B 系列模型包括：基础版本 GLM-4-9B（8K）、对话版本 GLM-4-9B-Chat（128K）、超长上下文版本 GLM-4-9B-Chat-1M（1M）和多...
-
Diffusion Model原理及Stable Diffusion
什么是扩散（diffusion）？ 扩散一词来自非平衡热力学（non-equilibrium thermodynamics），在非平衡热力学中扩散过程指的是：“在浓度梯度的驱动下，颗粒或分子从高浓度区域移动到低浓度区域。” 什么是扩散模型（di...
-
【大模型部署】在C# Winform中使用文心一言ERNIE-3.5 4K 聊天模型
【大模型部署】在C# Winform中使用文心一言ERNIE-3.5 4K 聊天模型 前言 今天来写一个简单的ernie-c#的例子，主要参考了百度智能云的例子，然后自己改了改，学习了ERNIE模型的鉴权方式，数据流的格式和简单的数据解析，实现了在...
-
利用llama.cpp量化部署Llama-3-Chinese-8B-Instruct大模型
相关大模型项目：https://github.com/ymcui/Chinese-LLaMA-Alpaca-3 量化部署是将机器学习模型压缩以减少内存占用和计算成本的过程。本文将详细介绍如何使用llama.cpp工具进行模型量化并在本地部署。 环...
-
部署Video-LLama遇到的坑
环境：linux，conda，python 3.10下载：下载时首先在中国直接拉去huggingface的git链接很大概率上实行不同的因为被ban了，如果想下载只能找镜像网站。镜像网站比如modelscope就非常好用，魔搭社区网速非常快！我这边使用的是...
-
2014最新AIGC创作系统ChatGPT网站源码+AI绘画网站源码+GPT4-All联网搜索模型
一、文章前言 SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美，那么如何搭建部署AI创作ChatGPT？小编这里写一个...
-
ChatGPT开源的whisper音频生成字幕
1、前言 好了，那接下来看一下whisper开源库的介绍 有五种模型大小，其中四种仅支持英语，提供速度和准确性的权衡。上面便是可用模型的名称、大致的内存需求和相对速度。如果是英文版的语音，直接想转换为英文。 本来我是想直接在我...
-
ubuntu部署stable-diffusion-webui
1、下载stable-diffusion-webui 我这里使用的是阿里的oss缓存，可以直接下载 wget https://pai-vision-data-sh.oss-cn-shanghai.aliyuncs.com/aigc-data/code/...
-
重磅！Llama-3，最强开源大模型正式发布！
4月19日，全球科技、社交巨头Meta在官网，正式发布了开源大模型——Llama-3。 据悉，Llama-3共有80亿、700亿两种参数，分为基础预训练和指令微调两种模型（还有一个超4000亿参数正在训练中）。 与Llama-2相比，Llama-3使用...
-
LLaMA-Factory微调多模态大语言模型教程
本文旨在结合笔者自身的实践经历，详细介绍如何使用 LLaMA-Factory 来微调多模态大语言模型。目前仓库已支持若干流行的MLLM比如LLaVA-1.5，Yi-VL，Paligemma等。 2024.5.29 注：本文后续不再更新，如果想了解更新的特...
-
LLaMA 羊驼系大语言模型的前世今生
关于 LLaMA LLaMA是由Meta AI发布的大语言系列模型，完整的名字是Large Language Model Meta AI，直译：大语言模型元AI。Llama这个单词本身是指美洲大羊驼，所以社区也将这个系列的模型昵称为羊驼系模型。 Ll...
-
最火AI角色扮演流量已达谷歌搜索20%！每秒处理2万推理请求，Transformer作者公开优化秘诀
什么AI应用每秒处理20000个AI推理请求，达到2024年谷歌搜索流量的1/5? 答案是独角兽Character.ai，由Transformer作者Noam Shazeer（后面简称沙哥）创办。 刚刚，沙哥公布了推理优化独门秘诀，迅速引起业界热议。 具...
-
IT行业近十几年的发展史，从web1.0到3.0，大数据、元宇宙、比特币，区块链、AIGC....到底什么是出路
你眼中的IT行业现状与未来趋势 其实近十几年来，出现的新技术如雨后春笋，一茬又一茬，卖的是概念，割的是韭菜。 中国从农业社会，进化到工业社会，再进化到数字社会，只用了短短30年，回首看，每十年都是一场革命性的颠覆。 那么以目前的风口看，下一场革命是什么...
-
【AIGC调研系列】Qwen2与llama3对比的优势
Qwen2与Llama3的对比中，Qwen2展现出了多方面的优势。首先，从性能角度来看，Qwen2在多个基准测试中表现出色，尤其是在代码和数学能力上有显著提升[1][9]。此外，Qwen2还在自然语言理解、知识、多语言等多项能力上均显著超越了Llama3[...
-
【AIGC调研系列】MiniMax 稀宇科技的abab 6.5 系列模型与国外先进模型相比的优缺点
MiniMax稀宇科技的abab 6.5系列模型与国外先进模型相比，具有以下优缺点： 优点： abab 6.5系列模型采用了MoE（Mixture of Experts）架构，这是国内首个采用此架构的大模型，标志着MiniMax在自然语言处理领域的技...
-
LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安装、案例实战应用之详细攻略
LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调 、安装、案例实战应用之详细攻略 导读 ：2023年4月17日，哈工大讯飞联合实验室，本项目开源了中文LLaMA模型和指令精调的Alpaca大模型，以进一步...
-
【推理优化】超详细！AIGC面试系列 大模型推理系列(2)
本期问题聚焦于大模型的推理优化技术 本期问题快览 有哪些常见的大模型推理优化技术 介绍下通过流水线处理技术来加速大模型推理方案 介绍下并行计算技术来加速大模型推理的方案 有哪些通过硬件来加速大模型推理的方式？ 模型量化是如何加速大模型推理的？...
-
基于Llama 3的最强开源医疗AI模型OpenBioLLM-Llama3，刷新榜单
项目概述 OpenBioLLM-70B是一款先进的开源生物医学大型语言模型，由Saama AI实验室基于Llama 3技术精心开发并微调。此模型专为生物医学领域设计，利用尖端技术，在多种生物医学任务中实现了最先进的性能表现。 背景： Saam...
-
基于LLaMA-Factory微调Llama3
本文简要介绍下基于LLaMA-Factory的llama3 8B模型的微调过程 环境配置 # 1. 安装py3.10虚拟环境 conda create -n py3.10-torch2.2 python=3.10 source activate c...
-
GPT-4o攻破ARC-AGI无法被挑战的神话！71%准确率成新SOTA
【新智元导读】号称不可能轻易被击败的AGI基准ARC-AGI被GPT-4o撼动，GPT-4o以在公共测试集50%、在训练集71%的准确率成为了新的SOTA! ARC-AGI是唯一可以用来衡量通用人工智能进展的基准，创造者François Chollets曾...
-
LLM记录：五一 Llama 3 超级课堂
LLM记录：五一 Llama 3 超级课堂 想玩大模型，自己又没那个环境，参加五一 Llama 3 超级课堂，简单记录一下llama3-8b的相关体验，实在是邀请不到人，还好后面开放了24G显存，好歹模型能跑起来了，只能说感谢大佬！ Llama 3...
-
LLaMA 3 源码解读-大语言模型5
本来不是很想写这一篇，因为网上的文章真的烂大街了，我写的真的很有可能没别人写得好。但是想了想，创建这个博客就是想通过对外输出知识的方式来提高自身水平，而不是说我每篇都能写得有多好多好然后吸引别人来看。那作为对整个合集内容的完善，这篇博客会解析现在最火的LL...
-
Stable Diffusion本地部署教程
0.介绍与版本 1）介绍 Stable Diffusion是一个文本到图像的潜在扩散模型，由CompVis、Stability AI和LAION的研究人员在Latent Diffusion Model的基础上于2022年8月创建并推出。其核心技术源于A...
-
文心一言API使用教程（python版）
注：在做项目的时候需要调用文心一言，发现网上的版本很乱，基本都止步在官方文档的代码上，所以写了一篇博客来记录自己的尝试实现了对文心一言的循环调用和自定义询问，本篇文章不需要有任何对api的基础知识，代码全部成功运行，并引用官方文档，祝大家成功实现自己的调用...
-
ChatGPT等模型疯狂训练，最快2026年消耗尽公开文本数据
AI发展科研机构Epochai在官网发布了一项，关于大模型消耗训练数据的研究报告。 目前，人类公开的高质量文本训练数据集大约有300万亿tokens。但随着ChatGPT等模大型的参数、功能越来越强以及过度训练，对训练数据的需求呈指数级增长，预计将在202...
-
【全网瞩目】最强文生图模型，Stable Diffusion 3技术报告解禁
12号，终于在Hugging Face上出现了 Stable Diffusion 3 Medium。没错，正如他所承诺的，最强文生图模型真的开源了。而且此次开源不仅是以SD2的比较下性能得到了更好的升级，同时也向我们展示了最前沿的DiT技术——MMDiT。...
-
深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识
原文：深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识 Rocky的公众号：WeThinkIn Rocky的知乎：Rocky Ding 更多AI行业干货内容欢迎关注Rocky的CSDN、知乎、公众号～ 码字不易，希望大家...
-
Python使用百度文心一言AI方法
第一步：注册账号，开通服务 进入百度智能云千帆大模型平台，注册账号 首次使用会获得20元代金券，可以让你免费体验一下 在平台左边找到在线服务选项，开通你想要的服务，服务都是按量付费的，也就是说你不用，就不花钱，所以你可以全部开通(我是这么做的 至...
-
AI教父Hinton：我支持超级AI取代人类！
【新智元导读】「AI教父」Geoffrey Hinton在最近的采访中表达了自己对AI智能的理解——LLM并不是简单的统计模型，已经具备了理解能力。与此同时，网友翻出了去年12月的「过期」视频，惊奇地发现Hinton早就「叛变」了，竟然对超级AI取代人类的...
-
Llama Factory 笔记
本地环境：cuda 11.7 torch2.1.0 项目文件结构： 1. 项目文件结构： 如果利用Llama Factory 进行微调主要会用到 LLama-Factory/src 中的文件 2. src 下的目录结构 本地推理的...
-
利用Python与Whisper革新视频翻译：打造高精度字幕翻译流程。
实现流程需要使用以下的工具。 1.python,需要自行安装， 2.python的音视频处理库moviepy安装 pip install moviepy 3.Whisper语音识别，在我之前的文章中有：Whisper语音识别安装教程。 4.文字翻...
-
机器学习正在突破摩尔定律，Epoch 最新AI发展趋势预测
近日，Epoch AI更新了他们对机器学习远期趋势的研究报告，在计算、数据、硬件、算法、成本等多个维度对人工智能模型趋势进行了深入研究。 Epoch AI是一家研究机构，致力于研究影响人工智能发展轨迹和治理的关键趋势和问题，以造福社会。其报告中的研究结论联...
-
MetaAI发布Llama 3模型：4000亿参数的AI新标杆
开源和闭源大战 前几天，百度李彦宏说闭源才有意义。 周鸿祎在哈佛论坛演讲上说，别听李彦宏胡说八道，没有开源就没有Linux，就没有今天的互联网，李彦宏自己都是借助开源的力量走到今天，现在反手说开源不好了？话音刚落，Meta这个奶妈就又开源了，我们又回...
-
DeepSeek-Coder-V2代码语言模型免费吗？AI编程辅导代码生成使用方法详细教程指南
DeepSeek-Coder-V2 是一个开源的Mixture-of-Experts (MoE 代码语言模型，性能与GPT4-Turbo相当，在代码特定任务上表现卓越。它在DeepSeek-Coder-V2-Base的基础上，通过 6 万亿token的高...
-
一周SOTA：Meta 发布 Llama 3；Mistral AI 开源 Mixtral 8x22B；阿里开源代码模型CodeQwen1.5；面壁 MiniCPM 2.0 发布
文章目录 一周SOTA：Meta 发布 Llama 3；Mistral AI 开源 Mixtral 8x22B；阿里开源代码模型CodeQwen1.5；面壁 MiniCPM 2.0 发布 1.Meta 震撼发布 Llama 3，8B、70B模...
-
LLaMA: Open and Efficient Foundation Language Models
*背景 已有的大模型越来越多的追求更大的参数量以实现更高的性能，但有研究表明更小的模型在更大的数据集上同样可以表现良好，因此本文旨在通过大量公开可用的数据集来训练一个语言模型同时取得SOTA的性能，模型大小从7B到65B，并且开源相关模型代码。(htt...
-
如何免费用 Llama 3 70B 帮你做数据分析与可视化？
快速、强悍且免费，你还等啥？ Llama 3 的发布，真可谓一石激起千层浪。前两天，许多人还对「闭源模型能力普遍大于开源模型」的论断表示赞同。但是，最新的 LLM 排行榜（https://chat.lmsys.org/?leaderboar...
-
whisper使用
whisper使用 1. 直接调用 语音识别 2. 语种识别 whisper.detect_language( 和whisper.decode( 3. 指定要识别的语种做语音识别 **whisper 源码的transcribe函数** 函数解...
-
【Tokenizer原理篇】超详细！AIGC面试系列 大模型进阶(5)
本期问题聚焦于大模型Tokenizer相关问题 本期问题快览 模型中的Tokenization是指的什么 常用的Tokenization方法了解有哪些吗 了解什么是Byte-Pair Encoding(BPE 吗 介绍下Byte-Pair E...
-
智谱AI 发布最新开源模型GLM-4-9B，通用能力超Llama-3-8B，多模态版本比肩GPT-4V
自 2023 年 3 月 14 日开源 ChatGLM-6B 以来，GLM 系列模型受到广泛关注和认可。特别是 ChatGLM3-6B 开源以后，开发者对智谱AI 第四代模型的开源充满期待。 为了使小模型（10B 以下）具备更加强大的能力，GLM 技术团...