-
Llama 3.1 技术研究报告-2
3.3 基础设施、扩展性和效率 我们描述了⽀持Llama 3 405B⼤规模预训练的硬件和基础设施，并讨论了⼏项优化措施，这些措施提⾼了训练效率。 3.3.1 训练基础设施 Llama 1和2模型在Meta的AI研究超级集群（Lee和Sengup...
-
新一代模型微调方案LLama-Pro ，快来围观！！！
❝ 大家好，我是 Bob! 😊 一个想和大家慢慢变富的 AI 程序员💸 分享 AI 前沿技术、项目经验、面试技巧! 欢迎关注我，一起探索，一起破圈！💪 Y LLAMA PRO论文笔记 直达链接： 摘要 这篇论文介绍了一种名为L...
-
WhisperX: 带时间戳的自动语音识别及说话人分离
WhisperX: 带时间戳的自动语音识别及说话人分离 whisperXm-bain/whisperX: 是一个用于实现语音识别和语音合成的 JavaScript 库。适合在需要进行语音识别和语音合成的网页中使用。特点是提供了一种简单、易用的 API，...
-
Comfyui之Lora的使用
上一篇我们学会了图片高清放大，这一篇我们掌握下一个重要的节点，就是Lora，我们知道大模型是通过非常多的图片训练出来的，而Lora就是通过一部分特定样式的图片训练出来的，LORA节点是为了补充大模型的，也可以说Lora就是大模型的一个外挂，想象一下，假如某...
-
每日AIGC最新进展(51)：昆仑万维震撼发布16B DiT-MoE图像生成模型、东北大学提出使用去噪神经权重进行高效训练、美团提出视频扩散模型量化方法
Diffusion Models专栏文章汇总：入门与实战 Scaling Diffusion Transformers to 16 Billion Parameters 本文介绍了DiT-MoE，一种可扩展的稀疏变分Transformer模型，它在...
-
DiffMap：首个利用LDM来增强高精地图构建的网络
本文经自动驾驶之心公众号授权转载，转载请联系出处。 论文标题： DiffMap: Enhancing Map Segmentation with Map Prior Using Diffusion Model 论文作者： Peijin Jia, Tuo...
-
单次支持38万字输入！腾讯混元推出256k长文模型，通过腾讯云向企业和个人开发者开放
AI大模型技术正成为推动高质生产力发展的关键力量，在与千行百业的融合中发挥着重要作用。腾讯混元大模型通过采用混合专家模型 (MoE 结构，已将模型扩展至万亿级参数规模，增加“脑”容量提升预测性能的同时，推动了推理成本下降。作为通用模型，腾讯混元在中文表...
-
Stable Diffusion AI绘画学习指南【常用模型,采样器介绍】
常用采样器、目前有20个采样步骤越多每个步之间的降噪越小，减少采样过程中的截断误差，结果越好 学微分方程求解器 Euler（最简单的采样器，采样过程中不加随机噪声，根据采样计划来执行每个步骤中的噪声，并使用欧拉方法减少适当数量的噪声以适应噪声计划，到最...
-
GitHub热榜第一：百万token上下文，还能生成视频，UC伯克利出品
今日GitHub热榜榜首，是最新的开源世界模型。 上下文窗口长度达到了100万token，持平了谷歌同时推出的王炸Gemini 1.5，伯克利出品。 强大的模型，命名也是简单粗暴——没有任何额外点缀，直接就叫LargeWorldModel（LWM）。...
-
AIGC实战——归一化流模型(Normalizing Flow Model)
AIGC实战——归一化流模型 0. 前言 1. 归一化流模型 1.1 归一化流模型基本原理 1.2 变量变换 1.3 雅可比行列式 1.4 变量变换方程 2. RealNVP 2.1 Two Moons 数据集 2.2 耦合层 2.3 通...
-
Mamba论文为什么没被ICLR接收？AI社区沸腾了
基于 Mamba 的创新正不断涌现，但原论文却被 ICLR 放到了「待定区」。 2023年，Transformer 在 AI 大模型领域的统治地位被撼动了。发起挑战的新架构名叫「Mamba」，它是一种选择性状态空间模型（ selective state s...
-
MoE与Mamba强强联合，将状态空间模型扩展到数百亿参数
MoE与Mamba强强联合，将状态空间模型扩展到数百亿参数...
-
LLaMA Pro: Progressive LLaMA with Block Expansion
Q: 这篇论文试图解决什么问题？ A: 这篇论文试图解决大型语言模型（LLMs）在特定领域（如编程、数学、生物医学或金融）能力不足的问题。尽管LLMs在多种现实世界任务中表现出色，但在某些特定领域仍然存在局限性，这阻碍了开发通用语言代理以应用于更广泛场景...
-
【AI绘画 | draft意间】国产draft推荐及AI绘画背后的原理解读
写在前面： 学习人工智能？来我们的床长人工智能教程网站！全面的课程，适合任何想学习的人。基础知识到高级应用，我们都有。职场人士、学生或爱好者，都能快速提升技能水平。赶快来尝试吧！ 个人名片： 🐼作者简介：一名大二在校生，喜欢编程🎋...
-
两只羊驼掐头去尾拼一起，屠榜HuggingFace
HuggingFace开源大模型排行榜，又被屠榜了。 前排被清一色的SOLAR 10.7B微调版本占据，把几周之前的各种Mixtral 8x7B微调版本挤了下去。 SOLAR大模型什么来头？ 相关论文刚刚上传到ArXiv，来自韩国公司Upstage A...
-
AIGC星辰大海：大模型工程师和产品专家深度训练营（第五期）即将开班
近屿智能OJAC第五期“AIGC星辰大海：大模型工程师和产品专家深度训练营”即将开班。 近屿智能OJAC秉承着“别人教你使用AIGC工具，例如ChatGP7和MJ，我们教您预训练和微调大模型以及开发软/硬件AI产品”的服务理念，已经帮助数千位学员成功...
-
2.7B能打Llama 2 70B，微软祭出「小语言模型」！96块A100 14天训出Phi-2，碾压谷歌Gemini nano
大模型现在真的是越来越卷了！ 11月OpenAI先是用GPTs革了套壳GPT们的命，然后再不惜献祭董事会搏了一波天大的流量。 谷歌被逼急了，赶在年底之前仓促发布了超大模型Gemini，卷起了多模态，甚至不惜「视频造假」。 就在今天，微软正式发布了曾在11...
-
Inflection推Inflection-2：号称全球计算级别最佳AI模型及全球第二最强大LLM
Inflection AI最近推出的语言模型Inflection-2，被宣称为全球计算级别最佳的AI模型，位列全球第二最强大的大型语言模型（LLM），仅次于OpenAI的最新模型。这一创新的AI模型的开发是为了满足对能够在各种任务中理解和生成类似人类文本的...
-
微软推出 XOT 方法，提升语言模型推理能力
11 月 15 日消息，微软近日推出了名为“Everything of Thought”（XOT）的方法，灵感来自谷歌 DeepMind 的 AlphaZero，利用紧凑的神经网络，来增强 AI 模型推理能力。 微软和佐治亚理工学院、华东师范大学...
-
2024年人工智能安全发展十大预测
本周三，包括英国、美国和中国在内的近30个国家（以及欧盟）在人工智能安全峰会上达成首个全球性人工智能安全协议，并发布了《人工智能安全宣言》，这标志着人工智能正式进入安全发展的强监管时代。 峰会期间，人工智能意见领袖们就人工智能安全风险的严重性判断产生重...
-
DeepMind曝新一代AlphaFold，预测准确率暴涨近10%！DNA和RNA的AlphaFold时刻来了
就在今天，DeepMind公布了AlphaFold最新进展——「AlphaFold-latest」。 根据DeepMind最新发布的技术报告，新一代的AlphaFold不仅仅能够以更高的准确性处理和预测蛋白质的结构。 ，时长01:32 它还能将相似的能力...