-
字节面试官：什么是RRF，你能解释一下吗？
我是丁师兄，专注于智能驾驶方向大模型落地，公众号：丁师兄大模型。 大模型1v1学习，已帮助多名同学上岸国内外大厂 前字节员工跳槽，面了 40 多家才拿到一个 offer，还是降薪 60%，大厂如此，更别提中小厂了。。。目前这种形势，最好的策略就...
-
AIGC重塑营销与广告行业
AIGC 重塑营销与广告行业 一、典型面试题和算法编程题 1. 如何评估广告投放效果？ 题目： 描述一种评估广告投放效果的方法。 答案： 广告投放效果评估通常可以从以下几个方面进行： 点击率（Click-Through Rate, CTR）：...
-
混合专家模型（MoE）入门
模型规模是提升LLM大语言模型性能的关键因素，但也会增加计算成本。Mixture of Experts (MoE 架构通过分布式专家层和动态门控机制，有效降低了计算资源，使模型能够在扩展参数规模的同时保持高效的运行。 Mixtral of Exper...
-
异常检测算法在可观测性平台的落地和实践｜得物技术
一、背景 在稳定性保证中，重要的一个环节就是故障管理体系建设，故障管理体系的四大核心功能------故障发现、故障触达、故障定位和故障恢复，其中故障发现作为故障管理的第一步至关重要，包含了指标预测、异常检测和故障预测等方面，主要目标是能及时、准确地发现故...
-
Llama改进之——分组查询注意力
引言 今天介绍LLAMA2模型引入的关于注意力的改进——分组查询注意力(Grouped-query attention,GQA 1。 Transformer中的多头注意力在解码阶段来说是一个性能瓶颈。多查询注意力2通过共享单个key和value头，同...
-
基于Ascend C的FlashAttention算子性能优化最佳实践
本文分享自华为云社区《基于Ascend C的FlashAttention算子性能优化最佳实践》，作者：昇腾CANN。 LLM的Attention部分处理给计算系统带来巨大的计算和访存压力。业界先后出现FlashAttention、FlashAttenti...
-
LLama的激活函数SwiGLU 解释
目录 Swish激活函数 1. Swish函数公式 LLaMA模型中的激活函数 1. SwiGLU激活函数 2. SwiGLU激活函数的表达式 3. SwiGLU激活函数的优势 Swish激活函数 Swish是一种激活函数，其计算...
-
transformers 阅读：Llama 模型
正文 学习一下 transformers 库中，Llama 模型的代码，学习过程中写下这篇笔记，一来加深印象，二来可以多次回顾。 笔者小白，里面错误之处请不吝指出。 层归一化 LlamaRMSNorm transformers 中对于 Llam...
-
LLaMA详细解读
LLaMA 是目前为止，效果最好的开源 LLM 之一。精读 LLaMA 的论文及代码，可以很好的了解 LLM 的内部原理。本文对 LLaMA 论文进行了介绍，同时附上了关键部分的代码，并对代码做了注释。 摘要 LLaMA是一个系列模型，模型参数量从7B...
-
机器学习：K均值算法
一、基础理论 1. 欧氏距离 想象你在北京，想要知道离上海有多远，则可以直接计算这个城市（两点）间直线的距离，这就是欧氏距离。 在二维平面上，在二维平面上有两个点A(x1, y1 和B(x2, y2 ，欧氏距离为： 图片 欧氏距离衡量的是两点间的真实物理...
-
手把手教你用LoRA训练自己的Stable Diffusion模型
目录 写在前面 一、准备数据 二、数据打标签 三、执行训练 四、执行推理 1.LoRA推理 2.全参数推理 写在前面 Stable Diffusion大家已经很熟悉了，那么如何训练自己的sd模型呢，今天我就介绍一下用L...
-
[从0开始AIGC][Transformer相关]：Transformer中的激活函数：Relu、GELU、GLU、Swish
[从0开始AIGC][Transformer相关]：Transformer中的激活函数 文章目录 [从0开始AIGC][Transformer相关]：Transformer中的激活函数 1. FFN 块 计算公式？ 2. GeLU 计...
-
Flash Attention稳定吗？Meta、哈佛发现其模型权重偏差呈现数量级波动
Meta FAIR 联合哈佛优化大规模机器学习时产生的数据偏差，提供了新的研究框架。 众所周知，大语言模型的训练常常需要数月的时间，使用数百乃至上千个 GPU。以 LLaMA2 70B 模型为例，其训练总共需要 1,720,320 GPU hours。由...
-
stm32 HAL库 ADC+DMA多通道采集
利用stm32的adc可以采集多路模拟量，使用DMA方式非常简答方便。本文章采用使用广泛的stm32f103c8系列芯片。 下面程序的功能： 1、对DMA中采集到的4个adc数据进行中值滤波和算术平均值滤波，确定各个通道的电压平均值。 2、使用软件触...
-
上海交大新框架解锁CLIP长文本能力，多模态生成细节拿捏，图像检索能力显著提升
CLIP长文本能力被解锁，图像检索任务表现显著提升！ 一些关键细节也能被捕捉到。上海交大联合上海AI实验室提出新框架Long-CLIP。 △棕色文本为区分两张图的关键细节 Long-CLIP在保持CLIP原始特征空间的基础上，在图像生成等下游任务中即插...
-
3分钟学会写文心一言指令
码到三十五 ： 个人主页 心中有诗画，指尖舞代码，目光览世界，步履越千山，人间尽值得 ! 文心一言是百度研发的 人工智能大语言模型产品，能够通过上一句话，预测生成下一段话。 任何人都可以通过输入【指令】和文心一言进行对...
-
发现数据异常波动怎么办？别慌，指标监控和归因分析来帮你
企业搭建完善、全面的指标体系是企业用数据指导业务经营决策的第一步。但是做完指标之后，对指标的监控，经常被大家忽视。当指标发生了异常波动（上升或下降），需要企业能够及时发现，并快速找到背后真实的原因，才能针对性地制定相应策略，否则就是盲打，原地打转。 指标...
-
【文心一言】获取统计数据以及自动计算增长率，非常不错的一个使用例子
欢迎来到《小5讲堂》 大家好，我是全栈小5，这是《文心一言》系列文章 温馨提示：博主能力有限，理解水平有限，若有不对之处望指正！ 目录 前言 搜索内容 输入内容 输出内容 界面效果 优化输入内容 输入内容 输出内容 界面效果...
-
如何扩展大模型的上下文长度
一、背景 大模型的上下文长度是指我们在使用大模型的时候，给大模型的输入加上输出的字符（Token）总数，这个数字会被限制，如果超过这个长度的字符会被大模型丢弃。目前开源的大模型上下文长度一般不长，比如 Llama 2 只有 4K，Code-Llama 系...
-
GPT3.5+文心一言+chatGLM 计算和代码生成能力简单对比
chatGLM3刚发布（10.27），打算尝试一下其code和计算能力。 共选取三个问题，难度从中等，偏困难，到困难。测试内容是正好手头上在做的事想让LLM来完成（偷懒），之前都是直接使用GPT，这次正好对比测试一下。 测试产品包括GPT3.5、文心一...
-
智能座舱软件性能与可靠性的评估和改进
作者 | 张旭海 随着智能汽车的不断发展，智能座舱在性能与可靠性上暴露出体验不佳、投诉渐多的问题，本文从工程化的角度简述了如何构建智能座舱软件的评估框架，以及如何持续改进其性能和可靠性。 一、智能座舱软件性能和可靠性表现不佳 据毕马威发布的《2023...
-
Stable Diffusion 训练
文章目录 前言 一、主要训练方式 二、kohya_ss安装(Linux 1.打开终端并切换到所需的安装目录 2.通过运行以下命令克隆存储库 3.切换到kohya_ss目录 4.通过执行命令来运行安装脚本 5.安装完成后，在kohya_ss目...
-
一种推荐系统中的排序学习的原创算法：斯奇拉姆排序
作者 | 汪昊 审校 | 重楼 排序学习在推荐系统中的应用在最近数年来非常罕见。经典的算法比如 BPR 和 CLiMF 早在 10 多年前就已经被发明。因此当 2023 年国际会议 AIBT 2023 上有学者提出斯奇拉姆排序时，众多听众眼前一亮。该算...
-
斯奇拉姆排序 - 基于公平性的排序学习
在 2023 年结束的国际学术会议 AIBT 2023 上，Ratidar Technologies LLC 宣读了一篇基于公平性的排序学习算法，并且获得了该会议的最佳论文报告奖。该算法的名字是斯奇拉姆排序 (Skellam Rank ，充分利用了统计学...
-
【AIGC】prompt干货分享_谈摄影艺术与prompt关系
专业解析景深 景深三要素 镜头光圈、镜头焦距、及拍摄物的距离是影响景深的重要因素： 1、光圈越大（光圈值f越小）景深越浅，光圈越小（光圈值f越大）景深越深。 2、镜头焦距越长景深越浅、反之景深越深。 3、主体越近，景深越浅，主体越远，景深越深。 景...
-
Stable Diffusion 系列教程 - 6 Dreambooth及训练
Stable-Diffusion、Imagen等文生图大模型已经具备了强大的生成能力，假设我们的Prompt为 [Cyberpunk Style]，SD或许能很快画出赛博朋克风格的一幅画。但你作为一个不知名的人，不能奢求SD在训练的时候把你自己想要的风格也...
-
【AIGC入门一】Transformers 模型结构详解及代码解析
Transformers 开启了NLP一个新时代，注意力模块目前各类大模型的重要结构。作为刚入门LLM的新手，怎么能不感受一下这个“变形金刚的魅力”呢？ 目录 Transformers ——Attention is all You Need 背景...
-
LLaMa 原理+源码——拆解 (KV-Cache, Rotary Positional Embedding, RMS Norm, Grouped Query Attention, SwiGLU)
原理 Vanilla Transformer 与 LLaMa 的区别 Embedding RMS Norm Rotary Positional Encodding SwiGLU Function KV-Cache Grouped Mult...
-
【他山之石】360 多兴趣召回 Mind 实战优化
一、业务背景 随着短视频和信息流等场景的兴起，用户在这些场景中产生了大量的行为序列，包括曝光、播放、点击、点赞和关注等。这些序列本身就具备很高的价值。因此涌现出了许多序列模型，如 YouTube DNN [1]、GRU4REC [2]、MIND [3]等...
-
[NLP]LLaMA与LLamMA2解读
摘要 Meta最近提出了LLaMA(开放和高效的基础语言模型 模型参数包括从7B到65B等多个版本。最值得注意的是，LLaMA-13B的性能优于GPT-3，而体积却小了10倍以上，LLaMA-65B与Chinchilla-70B和PaLM-540B具有竞...
-
最近读的AIGC相关论文思路解读
AIGC之SD可控生成论文阅读记录 提示：本博客是作者本人最近对AIGC领域相关论文调研后，临时记录所用，所有观点都是来自作者本人局限理解，以及个人思考，不代表对。如果你也正好看过相关文章，发现作者的想法和思路有问题，欢迎评论区留言指正！ 既然是论...
-
新一代注意力机制Lightning Attention-2：无限序列长度、恒定算力开销、更高建模精度
大语言模型序列长度的限制，极大地制约了其在人工智能领域的应用，比如多轮对话、长文本理解、多模态数据的处理与生成等。造成这一限制的根本原因在于当前大语言模型均采用的 Transformer 架构有着相对于序列长度的二次计算复杂度。这意味着随着序列长度的增加...
-
Tokenization 指南：字节对编码，WordPiece等方法Python代码详解
在2022年11月OpenAI的ChatGPT发布之后，大型语言模型(llm 变得非常受欢迎。从那时起，这些语言模型的使用得到了爆炸式的发展，这在一定程度上得益于HuggingFace的Transformer库和PyTorch等库。 计算机要处理语言，...
-
【AIGC】Controlnet:基于扩散模型的文生图的可控性
前言 controlnet可以让stable diffusion的生图变得可控。 文章连接：https://arxiv.org/pdf/2302.05543.pdf 摘要 冻结了stable diffusion的预训练模型并重用它的预训练...
-
文心一言 VS 讯飞星火 VS chatgpt （43）-- 算法导论5.4 7题
七、为使特征序列长度的下界变得更精确，请说明在 n 次硬币的公平抛掷中，不出现比Ign - 2lglgn 更长的连续正面特征序列的概率小于 1/n。 文心一言： 在 n 次硬币的公平抛掷中，每个硬币正、反面朝上的概率均为 1/2。让我们考虑一个事件...
-
Stable Diffusion 文生图技术原理
图像生成模型简介 图片生成领域来说，有四大主流生成模型：生成对抗模型（GAN）、变分自动编码器（VAE）、流模型（Flow based Model）、扩散模型（Diffusion Model）。 从2022年开始，主要爆火的图片生成模型是Diffusi...
-
2023年03月18日_微软office365 copilot相关介绍
文章目录 Copilot In Word Copilot In Powerpoint Copilot In Excel Copilot In Outlook Copilot In Teams Business Chat 1 - copilot...
-
只需1080ti，即可在遥感图像中对目标进行像素级定位！代码数据集已开源！
太长不看版 这篇论文介绍了一项新的任务 —— 指向性遥感图像分割（RRSIS），以及一种新的方法 —— 旋转多尺度交互网络（RMSIN）。RRSIS 旨在根据文本描述实现遥感图像中目标对象的像素级定位。为了解决现有数据集规模和范围的限制，本文构建了一个新...
-
图解tinyBERT模型——BERT模型压缩精华
译者 | 朱先忠 审校 | 重楼 简介 近年来，大型语言模型的发展突飞猛进。BERT成为最受欢迎和最有效的模型之一，可以高精度地解决各种自然语言处理（NLP）任务。继BERT模型之后，一组其他的模型也先后出现并各自展示出优秀的性能。 不难看到一个明显趋势...
-
一文通透位置编码：从标准位置编码、旋转位置编码RoPE到ALiBi、LLaMA 2 Long
前言 关于位置编码和RoPE 应用广泛，是很多大模型使用的一种位置编码方式，包括且不限于LLaMA、baichuan、ChatGLM等等 我之前在本博客中的另外两篇文章中有阐述过(一篇是关于LLaMA解读的，一篇是关于transformer从零实现...
-
LLaMA, ChatGLM, BLOOM的参数高效微调实践
作者：回旋托马斯x（腾讯NLP算法工程师） 项目地址：https://zhuanlan.zhihu.com/p/635710004 1. 开源基座模型对比 大语言模型的训练分为两个阶段： （1）在海量文本语料上的无监督预训练，学习通用的语义表...
-
一文读懂分类模型评估指标
模型评估是深度学习和机器学习中非常重要的一部分，用于衡量模型的性能和效果。本文将逐步分解混淆矩阵，准确性，精度，召回率和F1分数。 混淆矩阵 混淆矩阵是在分类问题中用于评估模型性能的表格，它展示了模型对样本的分类情况。混淆矩阵的行表示实际类别，列表示预...
-
文心一言 VS 讯飞星火 VS chatgpt （38）-- 算法导论5.4 2题
二、假设我们将球投入到b个箱子里，直到某个箱子中有两个球。每一次投掷都是独立的并且每个球落入任何箱子的机会均等。请问投球次数期望是多少? 文心一言： 这是一个典型的鸽巢原理（Pigeonhole Principle）问题。假设每次投球时，每个箱子有...
-
AIGC - 入门向量空间模型
文章目录 向量和向量空间 向量的运算 什么是向量空间？ 向量空间的几个重要概念 向量之间的距离 曼哈顿距离（Manhattan Distance） 欧氏距离（Euclidean Distance） 切比雪夫距离（Chebyshev Dist...
-
AI绘画中CLIP文本-图像预训练模型
介绍 OpenAI 在 2021 年提出了 CLIP（Contrastive Language–Image Pretraining）算法，这是一个先进的机器学习模型，旨在理解和解释图像和文本之间的关系。CLIP 的核心思想是通过大规模的图像和文本对进行...
-
最强英文开源模型LLaMA架构探秘，从原理到源码
导读：LLaMA 65B是由Meta AI（原Facebook AI）发布并宣布开源的真正意义上的千亿级别大语言模型，发布之初（2023年2月24日）曾引起不小的轰动。LLaMA的横空出世，更像是模型大战中一个搅局者。虽然它的效果（performance）...
-
LLaMA系列模型
1.LLama 1.1 简介 Open and Efficient Foundation Language Models (Open但没完全Open的LLaMA 2023年2月，Meta（原Facebook）推出了LLaMA大模型，使用了1.4...
-
24 LLM错误代码补全：机器学习顶会NeurIPS‘23 智能体评估：自行构建数据集Buggy-HumanEval、Buggy-FixEval+错误代码补全+修复模型【网安AIGC专题11.22】
Large Language Models of Code Fail at Completing Code with Potential Bugs 写在最前面 论文名片 对于命名实体识别、关系抽取任务的启发 课堂讨论 实验 自己构建的数据集...
-
大语言模型分布式训练的量化分析与优秀实践,以 GPT-175B 为例
一、Transformer 大语言模型的 SOTA 训练技术 1、大语言模型的发展背景与挑战 首先和大家分享下大语言模型的发展背景。过去的几年内，无论从数据量的维度还是从模型规模的维度，语言模型规模都扩大了非常多的数量级。随着数据量和模型规模的扩大，也...
-
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用
AIGC专栏5——EasyPhoto AI写真照片生成器 插件安装与使用 学习前言 源码下载地址 技术原理储备（SD/Control/Lora） StableDiffusion ControlNet Lora EasyPhoto插件简介 E...