-
【国产AI绘图】快手把“可图”大模型开源了,这是一款支持中文的SDXL模型
Kolors 是由 Kuaishou Kolors 团队(快手可图)开发的基于潜在扩散的大规模文本到图像生成模型。经过数十亿对文本图像的训练,Kolors 在视觉质量、复杂语义的准确性以及中英文字符的文本渲染方面,与开源和专有模型相比都具有显著优势。此外,...
-
使用 ORPO 微调 Llama 3
原文地址:https://towardsdatascience.com/fine-tune-llama-3-with-orpo-56cfab2f9ada 更便宜、更快的统一微调技术 2024 年 4 月 19 日 ORPO 是一种新的令人兴奋的微调技...
-
The Llama 3 Herd of Models
本文是LLM系列文章,针对《The Llama 3 Herd of Models》的翻译。 LLama3模型 摘要 1 引言 2 一般概述 3 预训练 3.1 预训练数据 3.1.1 网络数据管...
-
LLaMA3技术报告解读
前言 LLaMA系列算法是Meta公司发布的开源大模型。近期Meta公司又发布了LLaMA 3.1系列的模型,在这一系列模型中参数量最大的高达405B,上下文窗口多达128K个token。同时对模型进行了广泛的实证评估,发现在很多任务中,LLaMA 3...
-
MSRA古纾旸:2024年,视觉生成领域最重要的问题有哪些?
文章链接: https://arxiv.org/pdf/2407.18290 亮点直击 概述了视觉生成领域中的各种问题。 这些问题的核心在于如何分解视觉信号,其他所有问题都与这一核心问题密切相关,并源于不适当的信号分解方法。 本文旨...
-
Post-Training有多重要?AI2研究员长文详解前沿模型的后训练秘籍
越来越多研究发现,后训练对模型性能同样重要。Allen AI的机器学习研究员Nathan Lambert最近发表了一篇技术博文,总结了科技巨头们所使用的模型后训练配方。 随着LLM学界和工业界日新月异的发展,不仅预训练所用的算力和数据正在疯狂内卷,后训练(...
-
【论文+中文文生图】Kolors:快手可图绘画模型实测(24.07.06开源)
代码:https://github.com/Kwai-Kolors/Kolors | 权重 论文原文:Kolors: Effective Training of Diffusion Model for Photorealistic Text-to-Imag...
-
【AI学习】LLaMA 系列模型的进化(二)
在前面LLaMA 系列模型的进化(一)中学习了LLama模型的总体进化发展,再来看看其中涉及的一些重要技术。 PreLayerNorm Layer Norm有Pre-LN和Post-LN两种。Layer Normalization(LN)在Trans...
-
【大语言模型LLMs】Llama系列简介
【大语言模型LLMs】Llama系列简介 文章目录 【大语言模型LLMs】Llama系列简介 1. LLaMa 1.1 引言 1.2 方法 1.2.1 预训练数据 1.2.2 架构 1.2.3 优化器 1.2.4 效率 2....
-
每日AIGC最新进展(31):新加坡国立大学提出视频生成人类评估协议、加州大学提出视频生成测试基准TC-Bench、清华大学提出视频编辑新方法COVE
Diffusion Models专栏文章汇总:入门与实战 Rethinking Human Evaluation Protocol for Text-to-Video Models: Enhancing Reliability,Reproducibi...
-
传知代码-Llama 2:开放基础和微调聊天模型以及法律判决数据集分类实战(论文复现)
代码以及视频讲解 本文所涉及所有资源均在传知代码平台可获取 本文概述 本文首先会介绍一下Llama2大模型,然后会使用一个公开的中文法律判决数据集(部分)进行Llama2提示学习的分类实战。 论文主要内容 这篇文章介绍了Llama 2,这是...
-
开源之光 Stable Diffusion 3 技术论文全解:公式占一半,实验很充分!
文章链接:https://arxiv.org/pdf/2403.03206 扩散模型通过反转数据到噪声的正向路径来从噪声中创建数据,并已成为处理高维感知数据(如图像和视频)的强大生成建模技术。Rectified flow是一种最近提出的生成模型形式,它将...
-
政安晨【零基础玩转各类开源AI项目】解析开源:Stable Diffusion 3 论文及用户界面工具 StableSwarmUI
目录 关键成果 性能 结构细节 通过重新配重改善整形流量 比例整形变换模型 灵活的文本编码器 使用模型:StableSwarmUI 开源项目的现状: 政安晨的个人主页:政安晨 欢迎 👍点赞✍评论⭐收藏 收录专栏: 零基...
-
每日AIGC最新进展(29):复旦大学提出通过人类反馈来优化语音生成模型SpeechAlign、浙江大学提出跟踪3D空间中的任何2D像素SpatialTracker、西安交大提出动态场景的语义流
Diffusion Models专栏文章汇总:入门与实战 SpeechAlign: Aligning Speech Generation to Human Preferences 本文介绍了一种名为SpeechAlign的方法,旨在通过人类反馈...
-
LLaMa系列模型详解(原理介绍、代码解读):LLaMA 2
LLaMA 2 大型语言模型(LLMs)作为高度能力的人工智能助手,在需要跨多个领域专家知识的复杂推理任务中表现出巨大潜力,包括编程和创意写作等专业领域。它们通过直观的聊天界面与人类互动,这导致了快速和广泛的公众采用。考虑到训练方法的看似简单性,LLM...
-
meta-llama/Meta-Llama-3-8B
https://huggingface.co/meta-llama/Meta-Llama-3-8B 型号细节 Meta开发并发布了Meta Llama 3家族大型语言模型(LLM ,这是一组预训练和指令微调的生成性文本模型,大小为8B和70B参数。L...
-
AI生图格局大震!Stable Diffusion 3开源倒计时,2B单机可跑碾压闭源Midjourney
重磅消息!Stable Diffusion3,大概率会在明天开源。距离2月SD3的横空出世,已经过去了4个月。如果此事为真,生图圈子第一个出现开源碾压闭源的奇景!强大的MMDiT全新架构,将彻底改变AI生图的格局。现在,全体AI社区都在翘首以盼。 万众瞩目...
-
LLM | 偏好学习算法并不学习偏好排序
图片 一、结论写在前面 偏好学习算法(Preference learning algorithms,如RLHF和DPO)常用于引导大型语言模型(LLMs)生成更符合人类偏好的内容,但论文对其内部机制的理解仍有限。论文探讨了传统观点,即偏好学习训练模型通过...
-
LeCun新作:分层世界模型,数据驱动的人型机器人控制
有了大模型作为智能上的加持,人型机器人已然成为新的风口。 科幻电影中「安能辨我不是人」的机器人似乎已经越来越近了。 不过,要想像人类一样思考和行动,对于机器人,特别是人型机器人来说,仍是个艰巨的工程问题。 就拿简单的学走路来说,利用强化学习来训练可能会演...
-
llama_factory微调QWen1.5
GitHub - hiyouga/LLaMA-Factory: Unify Efficient Fine-Tuning of 100+ LLMsUnify Efficient Fine-Tuning of 100+ LLMs. Contribute to...
-
笔记1--Llama 3 超级课堂 | Llama3概述与演进历程
1、Llama 3概述 https://github.com/SmartFlowAI/Llama3-Tutorial.git【Llama 3 五一超级课堂 | Llama3概述与演进历程】 2、Llama 3 改进点 【最新【大模型微调】大模...
-
Stable Diffusion 3.0技术论文解读
前几周 AI绘画领域扔出了一颗重磅炸弹 那就是Stability AI发布了备受期待的Stable Diffusion 3.0 简称SD3 一周后 官方放出了一篇详尽的技术论文 阐述了SD3实现突破性进展的底层原理 但是同时也引发了一连串疑问...
-
众包新玩法!LLM竞技场诞生基准测试,严格分离学渣学霸
大模型排行榜哪家强?还看LLM竞技场~ 截至此刻,已有共计90名LLM加入战斗,用户总投票数超过了77万。 图片 然而,在网友们吃瓜调侃新模型冲榜、老模型丧失尊严的同时, 人家竞技场背后的组织LMSYS,已经悄悄完成了成果转化:从实战中诞生的最有说服力的...
-
开源模型穷途末路?Stability AI欠下1亿美元,四处找钱
曾经创造出Stable Diffusion系列模型的Stability AI,目前面临前所未有的财务危机。 这个曾经有10亿美元估值,却只有180名员工的明星初创公司正在考虑出售,并积极与潜在买家接触。 有知情人士表示,Stability AI曾私下联系...
-
UIUC发布StarCoder2-15B-Instruct代码大模型 无需OpenAI数据登上性能榜单
UIUC与BigCode组织的研究者们最近发布了StarCoder2-15B-Instruct代码大模型,这一创新成果在代码生成任务方面取得了显著突破。这款模型成功超越了CodeLlama-70B-Instruct,登上了代码生成性能榜单之巅。 StarC...
-
英伟达开源大模型对齐框架—NeMo-Aligner
随着ChatGPT、Midjourney等大模型产品的影响力、应用场景越来越多,为了确保输出的内容安全、可靠,对齐成为开发人员的关注重点和难点。 但现在的模型参数少则几百亿多则上千亿,想通过传统的监督式微调方法来完成对齐效果往往不理想。 因此,英伟达的研究...
-
Deepseek-V2技术报告解读!全网最细!
深度求索Deepseek近日发布了v2版本的模型,沿袭了1月发布的 Deepseek-MoE(混合专家模型)的技术路线,采用大量的小参数专家进行建模,同时在训练和推理上加入了更多的优化。沿袭了一贯的作风,Deepseek对模型(基座和对话对齐版本)进行了...
-
「非常接近GPT-4」的WizardLM-2被微软紧急撤回,有什么内幕?
前段时间,微软搞了个乌龙:隆重地开源了 WizardLM-2,又在不久后撤回得干干净净。 据现在可以查到的 WizardLM-2 发布信息,这是一个「真正媲美 GPT-4」的开源大模型,在复杂聊天、多语言、推理和代理方面的性能得到了提高。 该系列包括三个...
-
十个大型语言模型(LLM)常见面试问题和答案解析
今天我们来总结以下大型语言模型面试中常问的问题 一、哪种技术有助于减轻基于提示的学习中的偏见? A.微调 Fine-tuning B.数据增强 Data augmentation C.提示校准 Prompt calibration D.梯度裁剪 Gra...
-
AI 新技术 EVI:第一个能听懂人类语气的智能助手引发热议
最近,一款名为 EVI 的 AI 智能助手引发了轩然大波。EVI 不仅可以听懂用户说话的语气,还能为每个词增加意义,给出具有情感色彩的回应。 网友们纷纷表示,使用 EVI 时感觉在和真人交谈一般,甚至有人直呼惊讶。知名科技博主 Robert Scoble...
-
AI下一个重大飞跃是理解情感!第一个具有情商的对话型AI来了
想了解更多AIGC的内容: 请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ AI的下一个重大突破是理解情感吗?Hume AI表示是的。 3月27日,一家名为Hume AI的新创公司宣布,他们已经在一轮B轮融资中...
-
论文笔记:Llama 2: Open Foundation and Fine-Tuned Chat Models
导语 Llama 2 是之前广受欢迎的开源大型语言模型 LLaMA 的新版本,该模型已公开发布,可用于研究和商业用途。本文记录了阅读该论文的一些关键笔记。 链接:https://arxiv.org/abs/2307.09288 1 引言 大型语言...
-
大型语言模型如何教会自己遵循人类指令?
译者 | 李睿 审校 | 重楼 如今,人们对能够使大型语言模型(LLM 在很少或没有人为干预的情况下改进功能的技术越来越感兴趣。大型语言模型(LLM 自我改进的领域之一是指令微调(IFT ,也就是让大型语言模型教会自己遵循人类指令。 指令微调(IFT ...
-
开源文生图大模型Playground v2.5发布:超越SD、DALL·E 3和 Midjourney
前言 在AI技术迅速发展的今天,文生图模型成为了艺术创作、设计创新等领域的重要工具。Playground v2.5的发布,不仅在技术上取得了突破,更在开源文化的推广与实践上迈出了重要一步。 Huggingface模型下载:https://huggi...
-
图像生成地表最强!Playground v2.5技术报告解读重磅来袭!超越SD、DALL·E 3和 Midjourney
文章链接:https://arxiv.org/pdf/2402.17245 模型地址: https://huggingface.co/playgroundai/playground-v2.5-1024px-aesthetic 本文分享了在文本到图像生成模...
-
大模型之Llama系列- LlaMA 2及LLaMA2_chat(上)
LlaMA 2是一个经过预训练与微调的基于自回归的transformer的LLMs,参数从7B至70B。同期推出的Llama 2-Chat是Llama 2专门为对话领域微调的模型。 在许多开放的基准测试中Llama 2-Chat优于其他开源的聊天模型,此外...
-
Stable Diffusion 3报告
报告链接:https://stability.ai/news/stable-diffusion-3-research-paper 文章目录 要点 表现 架构细节 通过重新加权改善整流流量 Scaling Rectified Flow Tr...
-
新智元 | Stable Diffusion 3技术报告流出,Sora构架再立大功!生图圈开源暴打Midjourney和DALL·E 3?
本文来源公众号“新智元”,仅用于学术分享,侵权删,干货满满。 原文链接:Stable Diffusion 3技术报告流出,Sora构架再立大功!生图圈开源暴打Midjourney和DALL·E 3? 【新智元导读】Stability AI放出了号称能暴...
-
Stable Diffusion 3 技术论文解读:开源能赢得文生图竞赛吗?
在大语言模型领域,闭源模型正在赢得比赛,无论是 OpenAI 还是刚刚发布新模型的 Anthropic,都是闭源模型的代表。 但在文生图领域,开源模型却表现出了足够强的竞争力。 2 周前,开源模型的代表企业 Stability AI 发布了最新...
-
Stable Diffusion 3 架构细节大揭秘
在众多前沿成果都不再透露技术细节之际,Stable Diffusion 3 论文的发布显得相当珍贵。 Stable Diffusion 3 的论文终于来了! 这个模型于两周前发布,采用了与 Sora 相同的 DiT(Diffusion Transf...
-
GPT-4王冠没掉!Claude 3竞技场人类投票成绩出炉:仅居第三
Claude 3的竞技场排名终于来了: 短短3天内,20000张投票,将榜单的流量推向空前。 最终,Claude 3最强的“大杯”模型Opus得分1233,成为第一个能和GPT-4-Turbo一较高下的选手。 “中杯”Sonnet也还不错,和GPT-4的...
-
Stable Diffusion 3技术报告出炉:揭露Sora同款架构细节
很快啊,“文生图新王”Stable Diffusion 3的技术报告,这就来了。 全文一共28页,诚意满满。 “老规矩”,宣传海报(⬇️)直接用模型生成,再秀一把文字渲染能力: 所以,SD3这比DALL·E 3和Midjourney v6都要强的文字...
-
通义千问1.5(Qwen1.5)大语言模型在PAI-QuickStart的微调与部署实践
作者:汪诚愚(熊兮)、高一鸿(子洪)、黄俊(临在) Qwen1.5(通义千问1.5)是阿里云最近推出的开源大型语言模型系列。作为“通义千问”1.0系列的进阶版,该模型推出了多个规模,从0.5B到72B,满足不同的计算需求。此外,该系列模型还包括了Base...
-
Stable Diffusion 3论文终于发布,架构细节大揭秘,对复现Sora有帮助?
Stable Diffusion 3 的论文终于来了! 这个模型于两周前发布,采用了与 Sora 相同的 DiT(Diffusion Transformer)架构,一经发布就引起了不小的轰动。 与之前的版本相比,Stable Diffusion 3 生成...
-
Stability AI发布SD3技术报告 披露SD3更多细节
Stability AI 最近发布了他们最强的图片生成模型 Stable Diffusion3(SD3) 的技术报告,披露了 SD3的更多细节。据 Stability AI 所说,SD3在排版质量、美学质量和提示词理解上超过了目前所有的开源模型和商业模型,...
-
十分钟读完 Meta提出Llama 2模型的经典论文:Llama 2: Open Foundation and Fine-Tuned Chat Models
超越GPT-3:Meta AI发布新一代开源人工智能对话大模型Llama 2 引言:介绍 Llama 2 的发布背景和其在对话用例中的优化。 随着人工智能技术的飞速发展,大型语言模型(LLMs)已经成为了人类智能助手的代表,它们在需要专业知识的复杂推理...
-
LLaMA v1/2模型结构总览
LLaMA v1/2模型结构总览 孟繁续 目录 收起 结构 Group Query Attention(V2 only RMSNorm SwiGLU RoPE llama2 出来了,并且开源可商用,这下开源社区又要变天了。快速...
-
全球最强开源大模型一夜易主!谷歌Gemma 7B碾压Llama 2 13B,今夜重燃开源之战
一声炸雷深夜炸响,谷歌居然也开源LLM了?! 这次,重磅开源的Gemma有2B和7B两种规模,并且采用了与Gemini相同的研究和技术构建。 有了Gemini同源技术的加持,Gemma不仅在相同的规模下实现SOTA的性能。 而且更令人...
-
开源大模型王座易主!谷歌Gemma杀入场,笔记本可跑,可商用
刚刚,谷歌杀入开源大模型。 开源领域大模型,迎来了重磅新玩家。 谷歌推出了全新的开源模型系列「Gemma」。相比 Gemini,Gemma 更加轻量,同时保持免费可用,模型权重也一并开源了,且允许商用。 Gemma 官方页面:https://ai.goo...
-
全球最强开源大模型一夜易主!谷歌Gemma 7B碾压Llama 2 13B,重燃开源之战
一声炸雷深夜炸响,谷歌居然也开源LLM了?! 这次,重磅开源的Gemma有2B和7B两种规模,并且采用了与Gemini相同的研究和技术构建。 有了Gemini同源技术的加持,Gemma不仅在相同的规模下实现SOTA的性能。 而且更令人印象深刻的是,还...