-
Nvidia 和 Mistral AI 的超精确小语言模型适用于笔记本电脑和 PC
Nvidia 和 Mistral AI 发布了一款新型的小型语言模型，据称该模型在小体积下依然具有「最先进」的准确性。该模型名为 Mistral-NemMo-Minitron 8B，是 NeMo 12B 的迷你版本，参数量从 120 亿缩减到了 80 亿。...
-
微软大模型phi-3速览-3.7B比llama-3 8B更好？
背景 模型发布者：Microsoft 模型发布时间：2024年4月23日 发布内容：介绍了phi-3系列语言模型，包括phi-3-mini、phi-3-small和phi-3-medium。 重点关注：整体性能可与 Mixtral 8x7B...
-
昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE 性能强劲成本更低
在大模型技术迅速发展的背景下，昆仑万维公司开源了一个具有里程碑意义的稀疏大型语言模型Skywork-MoE。这个模型不仅在性能上表现出色，而且还大幅降低了推理成本，为应对大规模密集型LLM带来的挑战提供了有效的解决方案。 Skywork-MoE模型特点:...
-
昆仑万维宣布开源 2 千亿稀疏大模型 Skywork-MoE
2024年6月3日，昆仑万维宣布开源了一个性能强劲的2千亿稀疏大模型，名为 Skywork-MoE。这个模型是在之前开源的 Skywork-13B 模型的基础上扩展而来的，是首个完整应用并落地 MoE Upcycling 技术的开源千亿级 MoE 大模型。...
-
探秘Faster Whisper：一款加速 Whisper 模型训练的高效工具
探秘Faster Whisper：一款加速 Whisper 模型训练的高效工具 项目地址:https://gitcode.com/SYSTRAN/faster-whisper 在自然语言处理（NLP）领域，Transformer架构的模型如Whis...
-
DLRover 如何拯救算力浪费？10 分钟自动定位故障机，1 秒内保存 Checkpoint！
欢迎大家在 GitHub 上 Star 我们： 分布式全链路因果学习系统 OpenASCE:https://github.com/Open-All-Scale-Causal-Engine/OpenASCE 大模型驱动的知识图谱 OpenSPG:http...
-
Flash Attention稳定吗？Meta、哈佛发现其模型权重偏差呈现数量级波动
Meta FAIR 联合哈佛优化大规模机器学习时产生的数据偏差，提供了新的研究框架。 众所周知，大语言模型的训练常常需要数月的时间，使用数百乃至上千个 GPU。以 LLaMA2 70B 模型为例，其训练总共需要 1,720,320 GPU hours。由...
-
提高 AI 训练算力效率：蚂蚁 DLRover 故障自愈技术的创新实践
本文来自蚂蚁 DLRover 开源负责人王勤龙（花名长凡）在 2024 全球开发者先锋大会(GDC 的分享——《DLRover 训练故障自愈：大幅提升大规模 AI 训练的算力效率》。 王勤龙，长期在蚂蚁从事 AI 基础设施的研发，主导了蚂蚁分布式训练的弹...
-
深度学习架构的超级英雄——BatchNorm2d
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 本文旨在探索2D批处理规范化在深度学习架构中的关键作用，并通过简单的例子来解释该技术的内部工作原理。 由作者本人创建的图像 深度学习...
-
赛迪顾问：360安全大模型综合实力位居榜首
近日，赛迪顾问发布《中国安全大模型技术与应用研究报告（2023）》，报告绘制中国安全大模型框架，并以该框架为基础对市场主要玩家展开对比分析，360安全大模型凭借突出的技术能力和业务布局，位居图表首位，综合实力领先行业。 报告调研了360数字安全、安恒信息...
-
1.3ms耗时！清华最新开源移动端神经网络架构 RepViT
论文地址：https://arxiv.org/abs/2307.09283 代码地址：https://github.com/THU-MIG/RepViT 可以看出，RepViT 相比于其它主流的移动端 ViT 架构确实时很优异。接下来让我们来看下本工...
-
模型偏好只与大小有关？上交大全面解析人类与32种大模型偏好的定量组分
在目前的模型训练范式中，偏好数据的的获取与使用已经成为了不可或缺的一环。在训练中，偏好数据通常被用作对齐（alignment）时的训练优化目标，如基于人类或 AI 反馈的强化学习（RLHF/RLAIF）或者直接偏好优化（DPO），而在模型评估中，由于任务...
-
AIGC专栏9——Scalable Diffusion Models with Transformers （DiT）结构解析
AIGC专栏9——Scalable Diffusion Models with Transformers （DiT）结构解析 学习前言 源码下载地址 网络构建 一、什么是Diffusion Transformer (DiT 二、DiT的组成...
-
AI绘画Stable Diffusion原理之扩散模型DDPM
前言 传送门： stable diffusion：Git｜论文 stable-diffusion-webui：Git Google Colab Notebook部署stable-diffusion-webui：Git kaggle...
-
抛弃编码器-解码器架构，用扩散模型做边缘检测效果更好，国防科大提出DiffusionEdge
现有的深度边缘检测网络通常基于包含了上下采样模块的编码器 - 解码器架构，以更好的提取多层次的特征，但这也限制了网络输出既准又细的边缘检测结果。 针对这一问题，一篇 AAAI 2024 上的论文给出了新的解决方案。 论文题目：DiffusionEd...
-
击败OpenAI，权重、数据、代码全开源，能完美复现的嵌入模型Nomic Embed来了
一周前，OpenAI 给广大用户发放福利，在下场修复 GPT-4 变懒的问题后，还顺道上新了 5 个新模型，其中就包括更小且高效的 text-embedding-3-small 嵌入模型。 我们知道，嵌入是表示自然语言或代码等内容中概念的数字序列。嵌入使...
-
DALL-E 系列：AI绘画背后的惊人真相！！【1个离奇内幕、3个意想不到、5大秘密揭示】
DALL-E 系列：AI绘图原理，根据用户给出的描述，生成与描述相匹配的图像 DALL-E 1 dVAE Transformer DALL-E 2 CLIP 先验 prior decoder（image） DALL-E 3...
-
萤火跑模型 | 高性能 Stable Diffusion 助力高质量 AI 绘图
Stable Diffusion AI 绘画最近成功破圈，成了炙手可热的热门话题。DALLE，GLIDE，Stable Diffusion 等基于扩散机制的生成模型让 AI 作图发生质变，让人们看到了“AI...
-
快速上手！LLaMa-Factory最新微调实践，轻松实现专属大模型
1.为什么要对Yuan2.0做微调？ Yuan2.0（https://huggingface.co/IEITYuan）是浪潮信息发布的新一代基础语言大模型，该模型拥有优异的数学、代码能力。自发布以来，Yuan2.0已经受到了业界广泛的关注。当前Yua...
-
最强文生图跨模态大模型：Stable Diffusion
文章目录 一、概述 二、Stable Diffusion v1 & v2 2.1 简介 2.2 LAION-5B数据集 2.3 CLIP条件控制模型 2.4 模型训练 三、Stable Diffusion 发展 3.1 图形界面...
-
小红书推搜场景下如何优化机器学习异构硬件推理突破算力瓶颈！
本文将分享小红书推搜场景下，全 GPU 化建设过程中的模型服务、GPU 优化等相关工作。 一、前言 近年来，机器学习领域的视频、图像、文本和推广搜等应用不断发展，其模型计算量和参数量远远超过了 CPU 摩尔定律的增长速度。在此背景下，GPU 的算力发展...
-
百度搜索深度学习模型业务及优化实践
作者 | Xin 导读 百度搜索架构部模型架构组，致力于将最新的人工智能技术以更低的成本被百度数亿用户体验到。这个过程中会面临非常多的系统、工程层面的问题，甚至在深度学习模型领域，我们看到越来越多的工作并不拘泥于工程本身。 本文主要分享模...
-
度小满自动机器学习平台实践
一、机器学习平台 首先介绍一下度小满机器学习平台的背景、发展过程以及现状。 1、业务场景 度小满是一家金融科技公司，公司内部的业务场景主要分为三个方面： 智能风控：涉及关系数据挖掘、文本数据挖掘、情感分析等 NLP 技术，及人脸识别等 CV 技术。...