-
Learning Multi-dimensional Human Preference for Text-to-Image Generation
Paper name Learning Multi-dimensional Human Preference for Text-to-Image Generation Paper Reading Note Paper URL: https://arx...
-
速通LLaMA2：《Llama 2: Open Foundation and Fine-Tuned Chat Models》全文解读
文章目录 概览 LLaMA和LLaMA2的区别 Abstract Introduction Pretraining Fine-tuning 1. 概括 2、Supervised Fine-Tuning（SFT） 3、⭐Reinforcemen...
-
阿里史上最大规模开源发布，超GPT-4o 、Llama-3.1！
今天凌晨，阿里巴巴官宣了史上最大规模的开源发布，推出了基础模型Qwen2.5、专用于编码Qwen2.5-Coder和数学的Qwen2.5-Math。 这三大类模型一共有10多个版本，包括0.5B、1.5B、3B、7B、14B、32B和72B，适用于个人、企...
-
【国产AI绘图】快手把“可图”大模型开源了，这是一款支持中文的SDXL模型
Kolors 是由 Kuaishou Kolors 团队（快手可图）开发的基于潜在扩散的大规模文本到图像生成模型。经过数十亿对文本图像的训练，Kolors 在视觉质量、复杂语义的准确性以及中英文字符的文本渲染方面，与开源和专有模型相比都具有显著优势。此外，...
-
使用 ORPO 微调 Llama 3
原文地址：https://towardsdatascience.com/fine-tune-llama-3-with-orpo-56cfab2f9ada 更便宜、更快的统一微调技术 2024 年 4 月 19 日 ORPO 是一种新的令人兴奋的微调技...
-
The Llama 3 Herd of Models
本文是LLM系列文章，针对《The Llama 3 Herd of Models》的翻译。 LLama3模型 摘要 1 引言 2 一般概述 3 预训练 3.1 预训练数据 3.1.1 网络数据管...
-
LLaMA3技术报告解读
前言 LLaMA系列算法是Meta公司发布的开源大模型。近期Meta公司又发布了LLaMA 3.1系列的模型，在这一系列模型中参数量最大的高达405B，上下文窗口多达128K个token。同时对模型进行了广泛的实证评估，发现在很多任务中，LLaMA 3...
-
MSRA古纾旸：2024年，视觉生成领域最重要的问题有哪些？
文章链接: https://arxiv.org/pdf/2407.18290 亮点直击 概述了视觉生成领域中的各种问题。 这些问题的核心在于如何分解视觉信号，其他所有问题都与这一核心问题密切相关，并源于不适当的信号分解方法。 本文旨...
-
Post-Training有多重要？AI2研究员长文详解前沿模型的后训练秘籍
越来越多研究发现，后训练对模型性能同样重要。Allen AI的机器学习研究员Nathan Lambert最近发表了一篇技术博文，总结了科技巨头们所使用的模型后训练配方。 随着LLM学界和工业界日新月异的发展，不仅预训练所用的算力和数据正在疯狂内卷，后训练（...
-
【论文+中文文生图】Kolors：快手可图绘画模型实测（24.07.06开源）
代码：https://github.com/Kwai-Kolors/Kolors | 权重 论文原文：Kolors: Effective Training of Diffusion Model for Photorealistic Text-to-Imag...
-
【AI学习】LLaMA 系列模型的进化（二）
在前面LLaMA 系列模型的进化（一）中学习了LLama模型的总体进化发展，再来看看其中涉及的一些重要技术。 PreLayerNorm Layer Norm有Pre-LN和Post-LN两种。Layer Normalization（LN）在Trans...
-
【大语言模型LLMs】Llama系列简介
【大语言模型LLMs】Llama系列简介 文章目录 【大语言模型LLMs】Llama系列简介 1. LLaMa 1.1 引言 1.2 方法 1.2.1 预训练数据 1.2.2 架构 1.2.3 优化器 1.2.4 效率 2....
-
每日AIGC最新进展(31)：新加坡国立大学提出视频生成人类评估协议、加州大学提出视频生成测试基准TC-Bench、清华大学提出视频编辑新方法COVE
Diffusion Models专栏文章汇总：入门与实战 Rethinking Human Evaluation Protocol for Text-to-Video Models: Enhancing Reliability,Reproducibi...
-
传知代码-Llama 2：开放基础和微调聊天模型以及法律判决数据集分类实战(论文复现)
代码以及视频讲解 本文所涉及所有资源均在传知代码平台可获取 本文概述 本文首先会介绍一下Llama2大模型，然后会使用一个公开的中文法律判决数据集（部分）进行Llama2提示学习的分类实战。 论文主要内容 这篇文章介绍了Llama 2，这是...
-
开源之光 Stable Diffusion 3 技术论文全解：公式占一半，实验很充分！
文章链接：https://arxiv.org/pdf/2403.03206 扩散模型通过反转数据到噪声的正向路径来从噪声中创建数据，并已成为处理高维感知数据（如图像和视频）的强大生成建模技术。Rectified flow是一种最近提出的生成模型形式，它将...
-
政安晨【零基础玩转各类开源AI项目】解析开源：Stable Diffusion 3 论文及用户界面工具 StableSwarmUI
目录 关键成果 性能 结构细节 通过重新配重改善整形流量 比例整形变换模型 灵活的文本编码器 使用模型：StableSwarmUI 开源项目的现状： 政安晨的个人主页：政安晨 欢迎 ?点赞✍评论⭐收藏 收录专栏: 零基...
-
每日AIGC最新进展(29)：复旦大学提出通过人类反馈来优化语音生成模型SpeechAlign、浙江大学提出跟踪3D空间中的任何2D像素SpatialTracker、西安交大提出动态场景的语义流
Diffusion Models专栏文章汇总：入门与实战 SpeechAlign: Aligning Speech Generation to Human Preferences 本文介绍了一种名为SpeechAlign的方法，旨在通过人类反馈...
-
LLaMa系列模型详解（原理介绍、代码解读）：LLaMA 2
LLaMA 2 大型语言模型（LLMs）作为高度能力的人工智能助手，在需要跨多个领域专家知识的复杂推理任务中表现出巨大潜力，包括编程和创意写作等专业领域。它们通过直观的聊天界面与人类互动，这导致了快速和广泛的公众采用。考虑到训练方法的看似简单性，LLM...
-
meta-llama/Meta-Llama-3-8B
https://huggingface.co/meta-llama/Meta-Llama-3-8B 型号细节 Meta开发并发布了Meta Llama 3家族大型语言模型(LLM ,这是一组预训练和指令微调的生成性文本模型,大小为8B和70B参数。L...
-
AI生图格局大震！Stable Diffusion 3开源倒计时，2B单机可跑碾压闭源Midjourney
重磅消息!Stable Diffusion3，大概率会在明天开源。距离2月SD3的横空出世，已经过去了4个月。如果此事为真，生图圈子第一个出现开源碾压闭源的奇景!强大的MMDiT全新架构，将彻底改变AI生图的格局。现在，全体AI社区都在翘首以盼。 万众瞩目...
-
LLM | 偏好学习算法并不学习偏好排序
图片 一、结论写在前面 偏好学习算法（Preference learning algorithms，如RLHF和DPO）常用于引导大型语言模型（LLMs）生成更符合人类偏好的内容，但论文对其内部机制的理解仍有限。论文探讨了传统观点，即偏好学习训练模型通过...
-
LeCun新作：分层世界模型，数据驱动的人型机器人控制
有了大模型作为智能上的加持，人型机器人已然成为新的风口。 科幻电影中「安能辨我不是人」的机器人似乎已经越来越近了。 不过，要想像人类一样思考和行动，对于机器人，特别是人型机器人来说，仍是个艰巨的工程问题。 就拿简单的学走路来说，利用强化学习来训练可能会演...
-
llama_factory微调QWen1.5
GitHub - hiyouga/LLaMA-Factory: Unify Efficient Fine-Tuning of 100+ LLMsUnify Efficient Fine-Tuning of 100+ LLMs. Contribute to...
-
笔记1--Llama 3 超级课堂 | Llama3概述与演进历程
1、Llama 3概述 https://github.com/SmartFlowAI/Llama3-Tutorial.git【Llama 3 五一超级课堂 | Llama3概述与演进历程】 2、Llama 3 改进点 【最新【大模型微调】大模...
-
Stable Diffusion 3.0技术论文解读
前几周 AI绘画领域扔出了一颗重磅炸弹 那就是Stability AI发布了备受期待的Stable Diffusion 3.0 简称SD3 一周后 官方放出了一篇详尽的技术论文 阐述了SD3实现突破性进展的底层原理 但是同时也引发了一连串疑问...
-
众包新玩法！LLM竞技场诞生基准测试，严格分离学渣学霸
大模型排行榜哪家强？还看LLM竞技场~ 截至此刻，已有共计90名LLM加入战斗，用户总投票数超过了77万。 图片 然而，在网友们吃瓜调侃新模型冲榜、老模型丧失尊严的同时， 人家竞技场背后的组织LMSYS，已经悄悄完成了成果转化：从实战中诞生的最有说服力的...
-
开源模型穷途末路？Stability AI欠下1亿美元，四处找钱
曾经创造出Stable Diffusion系列模型的Stability AI，目前面临前所未有的财务危机。 这个曾经有10亿美元估值，却只有180名员工的明星初创公司正在考虑出售，并积极与潜在买家接触。 有知情人士表示，Stability AI曾私下联系...
-
UIUC发布StarCoder2-15B-Instruct代码大模型 无需OpenAI数据登上性能榜单
UIUC与BigCode组织的研究者们最近发布了StarCoder2-15B-Instruct代码大模型，这一创新成果在代码生成任务方面取得了显著突破。这款模型成功超越了CodeLlama-70B-Instruct，登上了代码生成性能榜单之巅。 StarC...
-
英伟达开源大模型对齐框架—NeMo-Aligner
随着ChatGPT、Midjourney等大模型产品的影响力、应用场景越来越多，为了确保输出的内容安全、可靠，对齐成为开发人员的关注重点和难点。 但现在的模型参数少则几百亿多则上千亿，想通过传统的监督式微调方法来完成对齐效果往往不理想。 因此，英伟达的研究...
-
Deepseek-V2技术报告解读！全网最细！
深度求索Deepseek近日发布了v2版本的模型，沿袭了1月发布的 Deepseek-MoE（混合专家模型）的技术路线，采用大量的小参数专家进行建模，同时在训练和推理上加入了更多的优化。沿袭了一贯的作风，Deepseek对模型（基座和对话对齐版本）进行了...
-
「非常接近GPT-4」的WizardLM-2被微软紧急撤回，有什么内幕？
前段时间，微软搞了个乌龙：隆重地开源了 WizardLM-2，又在不久后撤回得干干净净。 据现在可以查到的 WizardLM-2 发布信息，这是一个「真正媲美 GPT-4」的开源大模型，在复杂聊天、多语言、推理和代理方面的性能得到了提高。 该系列包括三个...
-
十个大型语言模型(LLM)常见面试问题和答案解析
今天我们来总结以下大型语言模型面试中常问的问题 一、哪种技术有助于减轻基于提示的学习中的偏见? A.微调 Fine-tuning B.数据增强 Data augmentation C.提示校准 Prompt calibration D.梯度裁剪 Gra...
-
AI 新技术 EVI:第一个能听懂人类语气的智能助手引发热议
最近，一款名为 EVI 的 AI 智能助手引发了轩然大波。EVI 不仅可以听懂用户说话的语气，还能为每个词增加意义，给出具有情感色彩的回应。 网友们纷纷表示，使用 EVI 时感觉在和真人交谈一般，甚至有人直呼惊讶。知名科技博主 Robert Scoble...
-
AI下一个重大飞跃是理解情感！第一个具有情商的对话型AI来了
想了解更多AIGC的内容： 请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ AI的下一个重大突破是理解情感吗？Hume AI表示是的。 3月27日，一家名为Hume AI的新创公司宣布，他们已经在一轮B轮融资中...
-
论文笔记：Llama 2: Open Foundation and Fine-Tuned Chat Models
导语 Llama 2 是之前广受欢迎的开源大型语言模型 LLaMA 的新版本，该模型已公开发布，可用于研究和商业用途。本文记录了阅读该论文的一些关键笔记。 链接：https://arxiv.org/abs/2307.09288 1 引言 大型语言...
-
大型语言模型如何教会自己遵循人类指令？
译者 | 李睿 审校 | 重楼 如今，人们对能够使大型语言模型(LLM 在很少或没有人为干预的情况下改进功能的技术越来越感兴趣。大型语言模型(LLM 自我改进的领域之一是指令微调(IFT ，也就是让大型语言模型教会自己遵循人类指令。 指令微调(IFT ...
-
开源文生图大模型Playground v2.5发布：超越SD、DALL·E 3和 Midjourney
前言 在AI技术迅速发展的今天，文生图模型成为了艺术创作、设计创新等领域的重要工具。Playground v2.5的发布，不仅在技术上取得了突破，更在开源文化的推广与实践上迈出了重要一步。 Huggingface模型下载：https://huggi...
-
图像生成地表最强！Playground v2.5技术报告解读重磅来袭！超越SD、DALL·E 3和 Midjourney
文章链接：https://arxiv.org/pdf/2402.17245 模型地址： https://huggingface.co/playgroundai/playground-v2.5-1024px-aesthetic 本文分享了在文本到图像生成模...
-
大模型之Llama系列- LlaMA 2及LLaMA2_chat(上)
LlaMA 2是一个经过预训练与微调的基于自回归的transformer的LLMs，参数从7B至70B。同期推出的Llama 2-Chat是Llama 2专门为对话领域微调的模型。 在许多开放的基准测试中Llama 2-Chat优于其他开源的聊天模型，此外...
-
Stable Diffusion 3报告
报告链接：https://stability.ai/news/stable-diffusion-3-research-paper 文章目录 要点 表现 架构细节 通过重新加权改善整流流量 Scaling Rectified Flow Tr...
-
新智元 | Stable Diffusion 3技术报告流出，Sora构架再立大功！生图圈开源暴打Midjourney和DALL·E 3？
本文来源公众号“新智元”，仅用于学术分享，侵权删，干货满满。 原文链接：Stable Diffusion 3技术报告流出，Sora构架再立大功！生图圈开源暴打Midjourney和DALL·E 3？ 【新智元导读】Stability AI放出了号称能暴...
-
Stable Diffusion 3 技术论文解读：开源能赢得文生图竞赛吗？
在大语言模型领域，闭源模型正在赢得比赛，无论是 OpenAI 还是刚刚发布新模型的 Anthropic，都是闭源模型的代表。 但在文生图领域，开源模型却表现出了足够强的竞争力。 2 周前，开源模型的代表企业 Stability AI 发布了最新...
-
Stable Diffusion 3 架构细节大揭秘
在众多前沿成果都不再透露技术细节之际，Stable Diffusion 3 论文的发布显得相当珍贵。 Stable Diffusion 3 的论文终于来了！ 这个模型于两周前发布，采用了与 Sora 相同的 DiT（Diffusion Transf...
-
GPT-4王冠没掉！Claude 3竞技场人类投票成绩出炉：仅居第三
Claude 3的竞技场排名终于来了： 短短3天内，20000张投票，将榜单的流量推向空前。 最终，Claude 3最强的“大杯”模型Opus得分1233，成为第一个能和GPT-4-Turbo一较高下的选手。 “中杯”Sonnet也还不错，和GPT-4的...
-
Stable Diffusion 3技术报告出炉：揭露Sora同款架构细节
很快啊，“文生图新王”Stable Diffusion 3的技术报告，这就来了。 全文一共28页，诚意满满。 “老规矩”，宣传海报（⬇️）直接用模型生成，再秀一把文字渲染能力： 所以，SD3这比DALL·E 3和Midjourney v6都要强的文字...
-
通义千问1.5(Qwen1.5)大语言模型在PAI-QuickStart的微调与部署实践
作者：汪诚愚（熊兮）、高一鸿（子洪）、黄俊（临在） Qwen1.5（通义千问1.5）是阿里云最近推出的开源大型语言模型系列。作为“通义千问”1.0系列的进阶版，该模型推出了多个规模，从0.5B到72B，满足不同的计算需求。此外，该系列模型还包括了Base...
-
Stable Diffusion 3论文终于发布，架构细节大揭秘，对复现Sora有帮助？
Stable Diffusion 3 的论文终于来了！ 这个模型于两周前发布，采用了与 Sora 相同的 DiT（Diffusion Transformer）架构，一经发布就引起了不小的轰动。 与之前的版本相比，Stable Diffusion 3 生成...
-
Stability AI发布SD3技术报告 披露SD3更多细节
Stability AI 最近发布了他们最强的图片生成模型 Stable Diffusion3（SD3） 的技术报告，披露了 SD3的更多细节。据 Stability AI 所说，SD3在排版质量、美学质量和提示词理解上超过了目前所有的开源模型和商业模型，...
-
十分钟读完 Meta提出Llama 2模型的经典论文：Llama 2: Open Foundation and Fine-Tuned Chat Models
超越GPT-3：Meta AI发布新一代开源人工智能对话大模型Llama 2 引言：介绍 Llama 2 的发布背景和其在对话用例中的优化。 随着人工智能技术的飞速发展，大型语言模型（LLMs）已经成为了人类智能助手的代表，它们在需要专业知识的复杂推理...
-
LLaMA v1/2模型结构总览
LLaMA v1/2模型结构总览 孟繁续 目录 收起 结构 Group Query Attention(V2 only RMSNorm SwiGLU RoPE llama2 出来了，并且开源可商用，这下开源社区又要变天了。快速...