-
Llama Factory 笔记
本地环境：cuda 11.7 torch2.1.0 项目文件结构： 1. 项目文件结构： 如果利用Llama Factory 进行微调主要会用到 LLama-Factory/src 中的文件 2. src 下的目录结构 本地推理的...
-
GitHub Copilot 支持 IntelliJ IDEA啦，插件装起来！，蚂蚁金服产品岗面试
安装重启之后就可以在工具栏看到安装好的Copilot 然后登陆GitHub账号，同意相关条款 那说了那么久，这款号称可以自动编码的插件具体使用效果如何呢？就让TJ君带你领略一下或许是未来的编码趋势与潮流： 例如在项目里新建了test类，Cop...
-
LLaMA: Open and Efficient Foundation Language Models
*背景 已有的大模型越来越多的追求更大的参数量以实现更高的性能，但有研究表明更小的模型在更大的数据集上同样可以表现良好，因此本文旨在通过大量公开可用的数据集来训练一个语言模型同时取得SOTA的性能，模型大小从7B到65B，并且开源相关模型代码。(htt...
-
whisper使用
whisper使用 1. 直接调用 语音识别 2. 语种识别 whisper.detect_language( 和whisper.decode( 3. 指定要识别的语种做语音识别 **whisper 源码的transcribe函数** 函数解...
-
【Tokenizer原理篇】超详细！AIGC面试系列 大模型进阶(5)
本期问题聚焦于大模型Tokenizer相关问题 本期问题快览 模型中的Tokenization是指的什么 常用的Tokenization方法了解有哪些吗 了解什么是Byte-Pair Encoding(BPE 吗 介绍下Byte-Pair E...
-
文心一言 VS 讯飞星火 VS chatgpt （225）-- 算法导论16.3 7题
七、推广赫夫曼算法，使之能生成三进制的码字(即码字由符号0、1、2组成 ，并证明你的算法能生成最优三进制码。如果要写代码，请用go语言。 文心一言： 推广赫夫曼算法以生成三进制码字需要对算法进行一定的修改，确保在每一步选择频率最低的三个节点进行合并...
-
【论文精读】DALLE2: Hierarchical Text-Conditional Image Generation with CLIP Latents
文章目录 一、前言 （一）DALLE2 简介 （二）DALLE2和DALLE的对比 （三）相关模型推出时间 二、文章概要 （一）标题 （二）摘要 （三）引言 （四）模型架构 三、方法 （一）图像生成的相关工作 （二）diffusion...
-
(Askchat.ai、ChatAI、智友AI、AI写作生成器助手、在线AI助手)分享好用的ChatGPT
目录 1、Askchat.ai - 梦想为蓝图，ChatGPT为笔。 2、ChatAI 3、智友AI - MyChatGPT 4、AI写作生成器助手 5、在线AI助手 - 码工具 1、Askchat.ai - 梦...
-
Spring Boot后端调用文心一言响应式问答
Spring Boot后端调用文心一言响应式问答 1.获取文心服务 要在我们的后端服务中接入文心一言，就要获取文心的服务，首先我们要进入百度智能云中注册一个账号：https://console.bce.baidu.com/qianfan/ais/...
-
AIGC笔记--VQVAE模型搭建
1--VQVAE模型 VAE 模型生成的内容质量不高，原因可能在于将图片编码成连续变量（映射为标准分布），然而将图片编码成离散变量可能会更好（因为现实生活中习惯用离散变量来形容事物，例如人的高矮胖瘦等都是离散的；） ...
-
【机器学习】使用Stable Diffusion实现潜在空间搜索
1、引言 1.1 潜在空间的概念 潜在空间（Latent Space）是在机器学习和深度学习中一个重要的概念，它指的是用于表示数据的一种低维空间。这个空间编码了数据中包含的所有有用信息的压缩表示，通常比原始数据空间的维数更低，从而使其更容易进行分析...
-
[从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码：绝对位置、相对位置、旋转位置编码
[从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码 文章目录 [从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码 1. 位置编码 1.1 绝对位...
-
LLMs之Llama3：基于Colab平台(免费T4-GPU)利用LLaMA-Factory的GUI界面(底层采用unsloth优化框架【加速训练5~30倍+减少50%的内存占用】)对llama-3-
LLMs之Llama3：基于Colab平台(免费T4-GPU 利用LLaMA-Factory的GUI界面(底层采用unsloth优化框架【加速训练5~30倍+减少50%的内存占用】 对llama-3-8b-Instruct-bnb-4bit模型采用alpa...
-
AIGC从入门到实战：AI 辅助写作：基于 ChatGPT 的自动创作和文本扩展
1. Background Introduction In the rapidly evolving digital age, artificial intelligence (AI has become an indispensable tool i...
-
pipeline-stable-diffusion.py文件逐行解释
本文是对stabled-diffusion的pipeline文件的代码逐行解释。 60-71行 该函数对经过cfg重组出来的noise_pred，再重组。 def rescale_noise_cfg(noise_cfg, noise_pred_t...
-
AIGC-常见图像质量评估MSE、PSNR、SSIM、LPIPS、FID、CSFD，余弦相似度----理论＋代码
持续更新和补充中…多多交流！ 参考:图像评价指标PNSR和SSIM函数 structural_similarity图片相似度计算方法总结 MSE和PSNR MSE:...
-
推荐：Lightning Whisper MLX —— 专为Apple Silicon优化的闪电般快速的Whisper实现
推荐：Lightning Whisper MLX —— 专为Apple Silicon优化的闪电般快速的Whisper实现 项目地址:https://gitcode.com/mustafaaljadery/lightning-whisper-mlx 在...
-
手把手教你调用文心一言API，含py调用示例代码
获取API密钥 打开网址：百度智能云千帆大模型 (baidu.com 注册或登录账号 选择应用接入 创建应用 随便起个名字 点击显示即可。 这个API Key和Secret Key就是我们需要的。 Pyth...
-
LLMs之llama3-from-scratch：llama3-from-scratch(从头开始利用pytorch来实现并解读LLaMA-3模型的每层代码)的简介、核心思路梳理
LLMs之llama3-from-scratch：llama3-from-scratch(从头开始利用pytorch来实现并解读LLaMA-3模型的每层代码 的简介、核心思路梳理 导读：这篇论文实现了transformer网络的llama3模型...
-
大模型到底有没有智能？一篇文章给你讲明明白白
生成式人工智能 (GenAI[1] 和大语言模型 (LLM[2] ，这两个词汇想必已在大家的耳边萦绕多时。它们如惊涛骇浪般席卷了整个科技界，登上了各大新闻头条。ChatGPT，这个神奇的对话助手，也许已成为你形影不离的良师益友。 然而，在这场方兴未艾的...
-
什么是LLM大模型训练，详解Transformer结构模型
本文分享自华为云社区《LLM 大模型学习必知必会系列(四 ：LLM训练理论篇以及Transformer结构模型详解》，作者：汀丶。 1.模型/训练/推理知识介绍 深度学习领域所谓的“模型”，是一个复杂的数学公式构成的计算步骤。为了便于理解，我们以一...
-
llama.cpp 转化 huggingface 模型失败 解决路径
问题： ./main -m ./models/book_q4_K_M -n 128 报错： terminate called after throwing an instance of 'std::out_of_range' what( :...
-
时间序列分析的表示学习时代来了？
表示学习作为深度学习中的核心，近期越来越多的被应用到了时间序列领域中，时间序列分析的表示学习时代已经来了。本文为大家带来了2020年以来顶会的5篇时间序列表示学习相关的核心工作梳理。 1.Unsupervised Scalable Representa...
-
在autodl平台使用llama-factory微调Qwen1.5-7B
1 部署环境 step 1. 使用24GB显存以上的显卡创建环境 step 2. 创建好环境之后，关闭环境，使用无卡模式开机（有钱可忽略） step 3. 安装LLaMA-Factory git clone https://github.com/...
-
10 分钟，教你如何用 LLama-Factory 训练和微调 LLama3 模型
本文将探讨于2024年3月21日发布的LLama-Factory，并学习如何使用 DigitalOcean 旗下的 Paperspace平台对 LLama 3 进行微调。为了完成我们的任务，我们将使用 NVIDIA A4000 GPU，它被认为是功能最强大...
-
AIGC、LLM 加持下的地图特征笔记内容生产系统架构设计
文章目录 背景 构建自动化内容生产平台 系统架构设计 架构详细设计 流程介绍 笔记来源 笔记抓取干预 笔记 AIGC 赋能 笔记 Rule 改写 笔记特征库构建 附录 Bash Cron 定时任务 Golang 与 Pyhon AIG...
-
AIGC 技术及应用初探
ChatGPT 相关话题近一年多来被刷爆，利用 AI 技术生成内容，引起了各行各业的关注。其实，自2022 年 4 月起，OpenAI、Google、Microsoft 相继发布了文生图模型，视觉创作就已经开始持续火热了。国内 AIGC 相关的技术和应用也...
-
aigc 启动器 sd-webui-aki-v4 decode_base64_to_file
下载地址： SD-WebUI启动器 绘世-启动器 | 万物档案 decode_base64_to_file报错： File "E:\BaiduNetdiskDownload\stable diffusion\sd-webui-aki-v4\e...
-
LLaMa系列模型详解（原理介绍、代码解读）：LLaMA 3
LLaMA 3 2024年4月18日，Meta 重磅推出了Meta Llama 3，Llama 3是Meta最先进开源大型语言模型的下一代，包括具有80亿和700亿参数的预训练和指令微调的语言模型，能够支持广泛的应用场景。这一代Llama在一系列行业标...
-
百度文心一言：官方开放API开发基础
目录 一、模型介绍 1.1主要预置模型介绍 1.2 计费单价 二、前置条件 2.1 创建应用获取 Access Key 与 Secret Key 2.2 设置Access Key 与 Secret Key 三、基于千帆SDK开发 3.1 M...
-
AIGC笔记--特征线性调制（FiLM）层的实现
目录 1--特征线性调制层的作用 2--特征线性调制层的实现 3--论文实例 1--特征线性调制层的作用 特征线性调制（Feature-wise Linear Modulation，FiLM）层是一种神经网络模块...
-
用于精确目标检测的多网格冗余边界框标注
本文经计算机视觉研究院公众号授权转载，转载请联系出处。 一、前言 现在领先的目标检测器是从基于深度CNN的主干分类器网络重新调整用途的两级或单级网络。YOLOv3就是这样一种众所周知的最先进的单级检测器，它接收输入图像并将其划分为大小相等的网格矩阵。具...
-
一文深度剖析 ColBERT
近年来，向量搜索领域经历了爆炸性增长，尤其是在大型语言模型（LLMs）问世后。学术界开始重点关注如何通过扩展训练数据、采用先进的训练方法和新的架构等方法来增强 embedding 向量模型。 在之前的文章中，我们已经深入探讨了各种类型的 embeddin...
-
手撕Llama3第1层: 从零开始实现llama3
一、Llama3的架构在本系列文章中，我们从头开始实现llama3。 Llama3的整体架构： 图片 Llama3的模型参数： 让我们来看看这些参数在LlaMa 3模型中的实际数值。 图片 [1] 上下文窗口（context-window）在实例化Lla...
-
使用Flask实现：基于midjourney-proxy的MJ绘画实现（开源）
文章目录 实现效果 实现步骤 完整源码 实现效果 运行mj.py，如下所示。输入中文，自动生成提示词，自动开始下载。用户选择是否需要变换图片，选择需要对哪个图片变换，自动保存。 之前想做一个网页版，只实现了demo效果不好看，就不...
-
Stable Diffusion介绍
Stable Diffusion是一种前沿的开源深度学习模型框架，专门设计用于从文本描述生成高质量的图像。这种称为文本到图像生成的技术，利用了大规模变换器（transformers）和生成对抗网络（GANs）的力量，以创建与给定文本提示相一致的图像。...
-
CVPR 2024｜多模态场景感知，小红书高保真人体运动预测方法来了！
设想一下，你在家中准备起身，前往橱柜取东西。一个集成 SIF3D 技术的智能家居系统，已经预测出你的行动路线（路线通畅，避开桌椅障碍物）。当你接近橱柜时，系统已经理解了你的意图，柜门在你达到之前就已自动打开，无需手动操作。 视频中，左边为 3D 场景...
-
70B模型秒出1000token，代码重写超越GPT-4o，来自OpenAI投资的代码神器Cursor团队
70B模型，秒出1000token，换算成字符接近4000！ 研究人员将Llama3进行了微调并引入加速算法，和原生版本相比，速度足足快出了快了13倍！ 不仅是快，在代码重写任务上的表现甚至超越了GPT-4o。 这项成果，来自爆火的AI编程神器Curso...
-
大神Karpathy强推，分词领域必读：自动钓鱼让大模型“发疯”的token，来自Transformer作者创业公司
关于大模型分词（tokenization），大神Karpathy刚刚推荐了一篇必读新论文。 主题是：自动检测大模型中那些会导致“故障”的token。 图片 简单来说，由于大模型tokenizer的创建和模型训练是分开的，可能导致某些token在训练中很少...
-
程序员的饭碗被AI惦记？这不很正常吗！但Coding行业不会消失
“程序员的饭碗被AI惦记”，这并非危言耸听。从阿里到百度，一众技术大厂以自身“血淋淋”的事实佐证着AI对“码农们”的“蚕食”。 4月2日，阿里云宣布全面推行AI编程，使用通义灵码辅助程序员写代码、读代码、查BUG、优化代码等。根据官方信息，通义灵码已在...
-
综述170篇「自监督学习」推荐算法，港大发布SSL4Rec：代码、资料库全面开源！
推荐系统对于应对信息过载挑战至关重要，它们根据用户的个人偏好提供定制化推荐。近年来深度学习技术极大地推动了推荐系统的发展，提升了对用户行为和偏好的洞察力。 然而，由于数据稀疏性的问题，传统的监督学习方法在实际应用中面临挑战，这限制了它们有效学习用户表示的...
-
LeCun转发，AI让失语者重新说话！纽约大学发布全新「神经-语音」解码器
脑机接口（BCI）在科研和应用领域的进展在近期屡屡获得广泛的关注，大家通常都对脑机接口的应用前景有着广泛的畅享。 比如，由于神经系统的缺陷造成的失语症不仅严重阻碍患者的日常生活，还可能限制他们的职业发展和社交活动。随着深度学习和脑机接口技术的迅猛发展，...
-
通过学习曲线识别过拟合和欠拟合
本文将介绍如何通过学习曲线来有效识别机器学习模型中的过拟合和欠拟合。 欠拟合和过拟合 1、过拟合 如果一个模型对数据进行了过度训练，以至于它从中学习了噪声，那么这个模型就被称为过拟合。过拟合模型非常完美地学习了每一个例子，所以它会错误地分类一个看不见的...
-
Open-Sora全面开源升级：支持16s视频生成和720p分辨率
Open-Sora 在开源社区悄悄更新了，现在支持长达16秒的视频生成，分辨率最高可达720p，并且可以处理任何宽高比的文本到图像、文本到视频、图像到视频、视频到视频和无限长视频的生成需求。我们来试试效果。 生成个横屏圣诞雪景，发b站 再生成个竖屏，发...
-
商汤科技Copilot技术应用负责人张涛：大模型不能解决一切，AI产品需要领域知识
嘉宾 | 张涛 采访&撰稿 | 云昭 出品 | 51CTO技术栈（微信号：blog51cto） “程序员的饭碗被AI惦记”，早已不是新鲜事。李彦宏说未来不需要程序员，黄仁勋说未来不要再让孩子学编程！ Coding这个行业会消失？要回答这个问题，...
-
轨迹预测系列 | HiVT之进化版QCNet到底讲了啥？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 HiVT的进化版（不先看HiVT也能直接读这篇），性能和效率上大幅提升。 文章也很容易阅读。 【轨迹预测系列】【笔记】HiVT: Hierarchical Vector Transformer for...
-
一文搞懂Tokenization！
语言模型是对文本进行推理，文本通常是字符串形式，但是模型的输入只能是数字，因此需要将文本转换成数字形式。 Tokenization是NLP的基本任务，按照特定需求能把一段连续的文本序列（如句子、段落等）切分为一个字符串序列（如单词、短语、字符、标点等多个...
-
用户画像算法：历史、现状与未来
一、用户画像简介 画像是一种人类可理解的、机器可读写的，对用户的结构化描述。它不仅可以提供个性化服务，还在企业的战略决策和商业分析中发挥了重要作用。 1. 画像的分类 画像可以根据数据来源分为社会通识类和领域知识类。社会通识类画像又可以按照时间维度划分成...
-
AI语音识别神器Openai Whisper对中文的支持如何？
文章目录 前言 一、资料准备 二、Whisper环境搭建 第一步：安装whisper 第二步：安装ffmpeg 三、Whisper测试 总结 其他相关 前言 语音识别一直以来都是人工智能领域中一个不容忽视的技术，随着大模型时...
-
【Python】科研代码学习：十五 configuration，tokenization 的代码细节：Llama 为例
【Python】科研代码学习：十五 tokenizer的代码细节：Llama_Tokenization 为例 前言 `LlamaConfig`：网络参数配置 `LlamaTokenizer`：分词工具 前言 对于 HF 的 Tr...