-
硅谷AI保卫战打响！最强4050亿开源模型Llama 3.1上线，OpenAI：GPT-4o mini免费用｜最新快讯
Meta CEO扎克伯格强调，美国在 AI 发展方面永远领先中国数年是不现实的。但他也指出，即使是几个月的微小领先也会随着时间的推移而“积少成多”，从而使美国获得“明显优势”。 （图片来源：Meta AI） 就在今天凌晨，Meta和OpenAI...
-
LLama+Mistral+…+Yi=? 免训练异构大模型集成学习框架DeePEn来了
LLama+Mistral+…+Yi=? 免训练异构大模型集成学习框架DeePEn来了 机器之心 2024年07月19日 12:27 辽宁 AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了200...
-
自回归模型胜过扩散模型：用于可扩展图像生成的 Llama
? 文献卡 Autoregressive Model Beats Diffusion: Llama for Scalable Image Generation 作者: Peize Sun; Yi Jiang; Shoufa Chen; Shil...
-
Midjourney 升级了！揭秘个性化微调功能：一篇文章带你深入了解
大家好，我是花生，这里是我们共同探索 AI 的平台~ 最近几个月，Midjourney 没有大规模更新，自从今年二、三月份推出风格参考（style reference）和角色参考（character reference）之后，直到昨天才发布了两项新内容：...
-
Stable Diffusion工作原理一篇文章带你详解！
前言 翻译自How does Stable Diffusion work? 1. SD能做什么 最基本的功能是：文生图（text-to-image） SD以文字提示为输入，输出与提示相配的图像 2. 扩散模型 SD属于扩散模...
-
Llama-3.1-8B功能介绍及免费使用指南 Meta AI最新模型体验地址入口
Meta-Llama-3.1-8B简介 Meta-Llama-3.1-8B是一款多语言大型语言模型（LLMs），包含8B大小的版本，支持 8 种语言，专为多语言对话用例优化，并在行业基准测试中表现优异。它采用自回归语言模型，使用优化的Transformer...
-
双非本科工程造价专业，转行AIGC产品经理，涨薪65%
大家好，我是一名证券产品转AIGC产品经理的案例，学习课程后，入职一家内容创作工具公司，薪资也有了较大提升，经过测算涨幅也是超过了65%。 新公司的主要产品是视频和图文创作工具，服务对象主要是金融客户和电商客户两类群体，主要使用场景是用来创作短视频和图文...
-
苹果开源7B大模型，训练过程数据集一口气全给了，网友：开放得不像苹果
苹果最新杀入开源大模型战场，而且比其他公司更开放。 推出7B模型，不仅效果与Llama38B相当，而且一次性开源了全部训练过程和资源。 要知道，不久前Nature杂志编辑Elizabeth Gibney还撰文批评: 而苹果这次竟然来真的!! 就连NLP...
-
【八股文】算法岗位八股文、深度学习、AIGC八股文面试经验（一）
1. 请解释一下Batch Normalization的原理及其在训练深度神经网络中的作用。 Batch Normalization（批归一化）是一种在训练深度神经网络时常用的技术，旨在提高训练速度、稳定性和性能。 2. 在图像预处理过程中，如何选择合适...
-
AFAC2024-基于保险条款的问答 比赛日记 llamafactory qwen npu 910B1
AFAC2024: 基于保险条款的问答挑战——我的实战日记 概述 在最近的AFAC2024竞赛中，我参与了基于保险条款的问答赛道。这是一次深度学习与自然语言处理的实战演练，旨在提升模型在复杂保险文本理解与问答生成方面的能力。本文将分享我的参赛过程，...
-
LLaMA-Factory：开源的低代码大模型训练框架
LLaMA-Factory 是一个由零隙智能（SeamLessAI）开源的低代码大模型训练框架，它集成了业界最广泛使用的微调方法和优化技术，并支持众多开源模型的微调和二次训练。 一、功能特点 支持多种开源模型：LLaMA-Factory支持包括...
-
AIGC从入门到实战：ChatGPT 简介：从 GPT1 到 GPT4 的发展历程和应用领域
AIGC从入门到实战：ChatGPT 简介：从 GPT1 到 GPT4 的发展历程和应用领域 1. 背景介绍 1.1 问题的由来 自然语言处理(Natural Language Processing, NLP 是人工智能(Artificial...
-
使用llama.cpp量化模型
文章目录 概要 整体实验流程 技术细节 小结 概要 大模型量化是指在保持模型性能尽可能不变的情况下，通过减少模型参数的位数来降低模型的计算和存储成本。本次实验环境为魔搭社区提供的免费GPU环境（24G），使用Llama.cpp进行...
-
山东大学项目实训（十六）:基于LLaMA-Factory的微调模型评估和测试
在LLaMA-Factory的Evaluate & Predict界面进行评测 原始模型评测 微调后模型评测 可以看到，微调之后的模型在各个指标上有了显著提升 在完成大型语言模型（如 ChatGLM）的微调后，对模型进行全面评估...
-
揭秘！FFmpeg+Whisper双剑合璧：解锁视频到文本的二阶段奇迹
解锁视频到文本的二阶段奇迹 一、引言 二、视频音频提取与处理 视频音频提取与处理 2.1 环境搭建 2.2 视频音频提取 2.3 音频预处理 示例代码： 三、语音识别与翻译 3.1 加载Whisper模型 3.2 语音识别 3.3 语言检...
-
Llama 3 基于知识库应用实践（一）
一、概述 Llama 3 是Meta最新推出的开源大语言模型，其8B和13B参数的模型的性能与之前的Llama 2相比实现了质的飞跃。以下是官方给出的模型性能评测对比结果（引自：https://ai.meta.com/blog/meta-llama-3/...
-
突破AI性能瓶颈 揭秘LLaMA-MoE模型的高效分配策略
获取本文论文原文PDF，请在公众号【AI论文解读】留言：论文解读 本文介绍了一种名为“LLaMA-MoE”的方法，通过将现有的大型语言模型（LLMs）转化为混合专家网络（MoE），从而解决了训练MoE时遇到的数据饥饿和不稳定性问题。该方法基于著名的LLa...
-
这届AI厂家，同质下同焦虑
这届WAIC世界人工智能大会上，每家AI企业似乎都找了自己的PMF（产品市场契合点）。 2023年是国产大模型元年，腾讯、字节、百度等众多大模型进入市场，正式开启对外服务，月之暗面、智谱AI等创业公司也形成“五小虎”的格局。迭代发展一年后，大模型选手们都已...
-
大模型真的在吞噬人类的一切数据吗？
在弗兰克·赫伯特的《沙丘》中，沙漠星球厄拉科斯的沙丘下隐藏着一种无价之宝:香料。 这种神秘物质使太空旅行成为可能，能延长寿命，并具有扩展意识的效果，是宇宙中最宝贵的财富。“谁控制了香料，谁就控制了宇宙”。正如香料在《沙丘》宇宙中占据着至关重要的地位一样，在...
-
使用LlamaFactory进行模型微调：参数详解
在深度学习和自然语言处理领域，模型微调是提升预训练模型性能的重要手段。本文将介绍如何使用LlamaFactory进行模型微调，并详细解析一些关键参数，包括 --cutoff_len 1024、--flash_attn auto、--lora_rank 8、...
-
Meta Llama 3 来啦！性能算力究竟如何？
新一代大语言模型 Meta Llama 3 横空出世！ 前言 就在4月19日，Meta公司推出了他们最新开源的大型语言模型(LLM Llama 3！这次的Llama 3包含了8B和70B两种不同参数规模的模型。那么作为Llama的第三代模型它...
-
【AIGC 概念理解】Zero-Shot，One-Shot，Few-Shot，In-Context Learning，Tuning-Free/Training-Free/Inference-Only
在人工智能领域，特别是自然语言处理（NLP）和机器学习中，几个重要的概念正在推动研究和应用的前沿发展。以下是few-shot learning, zero-shot learning, in-context learning, tuning-free, t...
-
混元单日调用tokens达千亿后，腾讯大模型战略露出全貌
大模型之争，到了不只是拼技术的时刻。 最新的行业风向是:谁能大范围应用落地?谁能笑到最后?谁能真正产生价值? 对大模型行业玩家的评判标准也不再只看技术。战略布局、落地进展、未来判断……成为了更被重视的维度。 无论“杨植麟们”还是大厂高管，公开探讨大模型的频...
-
003篇 - AIGC提示词工程 - 提示词在AI模型中的作用（Prompt Engineering - Role of Prompts in AI Models）
大家好，我是元壤教育的张涛，一名知识博主，专注于生成式人工智能（AIGC）各领域的研究与实践。我喜欢用简单的方法，帮助大家轻松掌握AIGC应用技术。我的愿景是通过我的文章和教程，帮助1000万人学好AIGC，用好AIGC。 小伙伴们，上节咱们说到这个提示...
-
Meta Llama 3 残差结构
Meta Llama 3 残差结构 flyfish 在Transformer架构中，残差结构（Residual Connections）是一个关键组件，它在模型的性能和训练稳定性上起到了重要作用。残差结构最早由He et al.在ResNet中提出，并...
-
开源之光 Stable Diffusion 3 技术论文全解：公式占一半，实验很充分！
文章链接：https://arxiv.org/pdf/2403.03206 扩散模型通过反转数据到噪声的正向路径来从噪声中创建数据，并已成为处理高维感知数据（如图像和视频）的强大生成建模技术。Rectified flow是一种最近提出的生成模型形式，它将...
-
探索多模态智能边界：Visual-Chinese-LLaMA-Alpaca 开源项目解析与应用指南
探索多模态智能边界：Visual-Chinese-LLaMA-Alpaca 开源项目解析与应用指南 在人工智能领域，多模态学习正逐渐成为研究热点，它旨在融合视觉和语言信息，构建能够理解和生成跨模态内容的智能体。Visual-Chinese-LLaMA...
-
AIGC入门（一） 从零开始搭建Transformer！（上）
前言 我记得曾经看过一篇综述，综述里曾这样讲过： 多模态使用Transformer作为基石模型的一个原因之一，就是因为它能够很好地统一视觉（ViT、DiT）和文本，并且无限制地扩大其参数。这是一个在工程上很有作用也很有实际意义的事情。 笔者...
-
GPT-4批评GPT-4实现「自我提升」！OpenAI前超级对齐团队又一力作被公开
今天，OpenAI悄悄在博客上发布了一篇新论文——CriticGPT，而这也是前任超级对齐团队的「遗作」之一。CriticGPT同样基于GPT-4训练，但目的却是用来指正GPT-4的输出错误，实现「自我批评」。 OpenAI最近的拖延症状逐渐严重，不仅GP...
-
每日AIGC最新进展(29)：复旦大学提出通过人类反馈来优化语音生成模型SpeechAlign、浙江大学提出跟踪3D空间中的任何2D像素SpatialTracker、西安交大提出动态场景的语义流
Diffusion Models专栏文章汇总：入门与实战 SpeechAlign: Aligning Speech Generation to Human Preferences 本文介绍了一种名为SpeechAlign的方法，旨在通过人类反馈...
-
llama系列模型学习
一、目录 llama1 模型与transformer decoder的区别 llama2 模型架构 llama2 相比llama1 不同之处 llama3 相比llama2 不同之处 llama、llama2、llama3 分词器词表大小以及优缺点...
-
重磅！Meta 发布 Llama 3，前所未有的强大功能和多模态能力｜TodayAI
Meta今日宣布推出其最新一代尖端开源大型语言模型Llama 3。该模型预计很快将在多个领先的云服务平台上线，包括AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft A...
-
LLaMA 羊驼系大语言模型的前世今生
关于 LLaMA LLaMA是由Meta AI发布的大语言系列模型，完整的名字是Large Language Model Meta AI，直译：大语言模型元AI。Llama这个单词本身是指美洲大羊驼，所以社区也将这个系列的模型昵称为羊驼系模型。 Ll...
-
ChatGPT等模型疯狂训练，最快2026年消耗尽公开文本数据
AI发展科研机构Epochai在官网发布了一项，关于大模型消耗训练数据的研究报告。 目前，人类公开的高质量文本训练数据集大约有300万亿tokens。但随着ChatGPT等模大型的参数、功能越来越强以及过度训练，对训练数据的需求呈指数级增长，预计将在202...
-
机器学习正在突破摩尔定律，Epoch 最新AI发展趋势预测
近日，Epoch AI更新了他们对机器学习远期趋势的研究报告，在计算、数据、硬件、算法、成本等多个维度对人工智能模型趋势进行了深入研究。 Epoch AI是一家研究机构，致力于研究影响人工智能发展轨迹和治理的关键趋势和问题，以造福社会。其报告中的研究结论联...
-
LLaMA: Open and Efficient Foundation Language Models
*背景 已有的大模型越来越多的追求更大的参数量以实现更高的性能，但有研究表明更小的模型在更大的数据集上同样可以表现良好，因此本文旨在通过大量公开可用的数据集来训练一个语言模型同时取得SOTA的性能，模型大小从7B到65B，并且开源相关模型代码。(htt...
-
大模型论文解读|| 数学新巅峰，微软&清华联合研究发现：7B级LLaMA-2模型数学能力惊人，准确率高达97.7%
开篇：数学能力在常规语言模型中的崭露头角 数学能力长期以来被认为是语言模型中难以攻克的领域，只有在模型规模极大或经过大量数学相关预训练的情况下才可能显现。然而，最新的研究表明，即使是规模较小的常规语言模型，如LLaMA-2 7B，也已经展现出了强大的数学...
-
大规模语言模型从理论到实践 LLaMA的模型结构
1.背景介绍 随着人工智能技术的不断发展，大规模语言模型（Large Language Models, LLMs）已经成为自然语言处理领域的热点。这些模型通过在大规模数据集上进行训练，能够生成连贯、相关且有趣的文本输出。LLaMA 是 Meta AI 开...
-
论文笔记：Pixel-Aware Stable Diffusion for Realistic Image Super-Resolution and Personalized Stylization
CVPR2024 论文代码：yangxy/PASD (github.com 论文地址：[2308.14469v3] Pixel-Aware Stable Diffusion for Realistic Image Super-resolution a...
-
一文实现Llama 3 图片理解能力微调（XTuner+LLaVA 版）
本次实验基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。实验平台为InternStudio，实验所用的显存为24G。 =============目录=...
-
探秘Whisper Diarization：语音转文字与对话分割的新锐工具
探秘Whisper Diarization：语音转文字与对话分割的新锐工具 项目地址:https://gitcode.com/MahmoudAshraf97/whisper-diarization 项目简介 Whisper Diarization 是...
-
LLaMA 2语言大模型的微调策略：LoRA与全参数选择
随着自然语言处理（NLP）技术的飞速发展，大型语言模型（LLMs）在各个领域都展现出了强大的能力。LLaMA 2作为其中的佼佼者，具有巨大的潜力。然而，如何有效地对LLaMA 2进行微调，以适应特定的任务或数据集，成为了一个关键问题。本文将对LoRA技术与...
-
深度学习突破：LLaMA-MoE模型的高效训练策略
在人工智能领域，大模型（LLM）的崛起带来了前所未有的进步，但随之而来的是巨大的计算资源需求。为了解决这一问题，Mixture-of-Expert（MoE）模型架构应运而生，而LLaMA-MoE正是这一架构下的重要代表。 LLaMA-MoE是一种基于...
-
百度文心一言与谷歌Gemini的对比
版权声明 本文原创作者：谷哥的小弟 作者博客地址：http://blog.csdn.net/lfdfhl 本文从多角度将百度文心一言与谷歌Gemini进行对比。因为不同评测基准的侧重点和难度可能有所不同，所以本文涉及到的评测结果仅供参考。Gem...
-
这个团队做了OpenAI没Open的技术，开源OpenRLHF让对齐大模型超简单
随着大型语言模型（LLM）规模不断增大，其性能也在不断提升。尽管如此，LLM 依然面临着一个关键难题：与人类的价值和意图对齐。在解决这一难题方面，一种强大的技术是根据人类反馈的强化学习（RLHF）。 但是，随着模型越来越大，RLHF 通常需要维持多个模型...
-
OpenAI前员工预测：2027年AGI降临！GPT智商飙升，4年从幼儿园蹿到高中生
AGI到底是科技公司画的大饼，还是可预测的未来？ 几天前，Anthropic一名25岁的高管在博客上发文，表示自己已经准备好了3年后退休，让AI取代自己的工作。 最近，OpenAI前员工的一篇博客文章也有类似的观点。 图片 他不仅认为AGI很可能实现，而...
-
快手版Sora「可灵」开放测试：生成超120s视频，更懂物理，复杂运动也能精准建模
什么？疯狂动物城被国产AI搬进现实了？ 与视频一同曝光的，是一款名为「可灵」全新国产视频生成大模型。 它采用了Sora相似的技术路线，结合多项自研技术创新，生成的视频不仅运动幅度大且合理，还能模拟物理世界特性，具备强大的概念组合能力和想象力。 数据上看...
-
首次证实白盒Transformer可扩展性！马毅教授CRATE-α：鲸吞14亿数据，性能稳步提升
在过去的几年里，Transformer架构在自然语言处理（NLP）、图像处理和视觉计算领域的深度表征学习中取得了显著的成就，几乎成为了AI领域的主导技术。 然而，虽然Transformer架构及其众多变体在实践中取得了巨大成功，但其设计大多是基于经验的，...
-
Github万星！北航发布零代码大模型微调平台LlamaFactory
在人工智能领域，大语言模型（LLMs）已成为推动技术进步的关键力量。它们在理解和生成自然语言方面展现出了卓越的能力，从而在问答系统、机器翻译、信息提取等多样化任务中发挥着重要作用。然而，要将这些模型适配到特定的下游任务中，通常需要进行微调（fine-tun...
-
智谱AI宣布开源 GLM 第四代模型 GLM-4-9B
GLM 技术团队于2023年3月14日开源了 ChatGLM-6B，引起了广泛的关注和认可。随后又开源了 ChatGLM3-6B，开发者对 GLM 第四代模型的开源充满期待。经过近半年的探索工作，GLM 技术团队推出了第四代 GLM 系列开源模型:GLM-...