-
Llama 3 微调项目实践与教程（XTuner 版）
Llama 3 微调项目实践与教程（XTuner 版） OpenMMLab 2024-04-20 11:37 上海 以下文章来源于InternLM ，作者XTuner InternLM. 以原始创新引领AI大模型技术进步。 Lla...
-
Novita AI开源Animate Anyone项目 上传一张照片即可合成动画
阿里巴巴的一个项目，利用一张图片和提取视频中的人物姿势合成角色动画，现在被Novita AI开源并提供了API。用户只需提供一张照片和一个参考视频，即可通过API接入合成动画。该项目名为Animate Anyone，灵感来源于MooreThreads/Mo...
-
分分钟完成Excel任务的十大AI工具
译者 | 布加迪 审校 | 重楼 通过无缝集成Python和各种人工智能(AI 工具，Excel的功能正在迅速发生转变，彻底改变了工作节奏。 去年，微软宣布了Python集成的公开预览版，Excel因此迎来了重大升级。这意味着开发人员和数据分析师不再需...
-
麻省理工科技评论称：数据是生成式AI的基础
预训练的大型语言模型（LLM）如 GPT-4和 Gemini 备受组织关注，他们渴望利用 LLM 构建聊天机器人、副驾驶等应用。根据麻省理工科技评论的最新报告，名为 “C 级领导人的 AI 准备情况”，该报告是代表 ETL 供应商 Fivetran 进行的...
-
LLaMa系列模型详解（原理介绍、代码解读）：LLaMA 3
LLaMA 3 2024年4月18日，Meta 重磅推出了Meta Llama 3，Llama 3是Meta最先进开源大型语言模型的下一代，包括具有80亿和700亿参数的预训练和指令微调的语言模型，能够支持广泛的应用场景。这一代Llama在一系列行业标...
-
北航发布LlamaFactory，零代码大模型微调平台，一键快速实现大模型训练/微调/评估
“LLAMAFACTORY: Unified Efficient Fine-Tuning of 100+ Language Models” 在大模型发展如火如荼的今天，训练和微调一个大模型对于绝大部分普通工程师来说仍然是一个难题。为了降低大模型训练、...
-
阅读llama源码笔记_1
文章目录 总体逻辑 1 构造模型 2 定义数据 3 处理下游任务 1.构造模型 1.1构造分词器tokenizer 1.2构造Transformer 2.定义数据 3.处理下游任务 3.1分词（编码） 3.2 generate...
-
通过强化学习策略进行特征选择
特征选择是构建机器学习模型过程中的决定性步骤。为模型和我们想要完成的任务选择好的特征，可以提高性能。 如果我们处理的是高维数据集，那么选择特征就显得尤为重要。它使模型能够更快更好地学习。我们的想法是找到最优数量的特征和最有意义的特征。 在本文中，我们将...
-
微调真的能让LLM学到新东西吗:引入新知识可能让模型产生更多的幻觉
大型语言模型(llm 是在巨大的文本语料库上训练的，在那里他们获得了大量的事实知识。这些知识嵌入到它们的参数中，然后可以在需要时使用。这些模型的知识在培训结束时被“具体化”。在预训练结束时，模型实际上停止学习。 对模型进行对齐或进行指令调优，让模型学习...
-
27岁华裔天才少年对打UC伯克利，首发SEAL大模型排行榜！Claude 3 Opus数学封神
前段时间，由27岁的华裔创始人Alexandr Wang领导的Scale AI刚刚因为融资圈了一波关注。 今天，他又在推特上官宣推出全新LLM排行榜——SEAL，对前沿模型开展专业评估。 SEAL排行榜主打三个特色： - 私有数据 Scale AI的专...
-
每天都看模型评分，但你真的了解吗？OpenAI研究员最新博客，一文读懂LLM评估
上周六，OpenAI研究院Jason Wei在个人网站上发表了一篇博客，讨论了他眼中「成功的语言模型评估」应该具备哪些因素，并总结出了阻碍好的评估在NLP社区获得关注的「七宗罪」。 Jason Wei在最近的斯坦福NLP研讨会上展示了这篇文章，Open...
-
AI绘画stablediffusion comfyui SDXL Controlnet模型终于全了 tile来了
以前一直在直播中吐槽说不建议大家用SDXL生态，即便已经出来了Turbo，即便除了SDXLLighting等等周边但是我们最最喜欢用的controlnet还是补全，即便是现在也不算完全意义的全，但是最起码我们今天呢能够带来第一个期待已久的tile模型，和隐...
-
通用大模型研究重点之五：llama family
LLAMA Family decoder-only类型 LLaMA（Large Language Model AI）在4月18日公布旗下最大模型LLAMA3，参数高达4000亿。目前meta已经开源了80亿和700亿版本模型，主要升级是多模态、长文本方...
-
超强！必会的十大机器学习算法
1.线性回归 线性回归是用于预测建模的最简单且使用最广泛的机器学习算法之一。 它是一种监督学习算法，用于根据一个或多个自变量预测因变量的值。 定义 线性回归的核心是根据观察到的数据拟合线性模型。 线性模型由以下方程表示： 其中 是因变量（我们想要预测...
-
保姆级零基础微调大模型（LLaMa-Factory，多卡版）
此处非常感谢https://github.com/hiyouga/LLaMA-Factory这个项目。 看到网上的教程很多都是教如何用webui来微调的，这里出一期命令行多卡微调教程~ 1. 模型准备 模型下载比较方便的方法： 1. modelsc...
-
简单几步微调Llama 3大模型，小白轻松上手
这是面向小白用户的一个超级简单的微调大模型示例，通过这个例子将得到一个速度翻倍，并可以包含自己业务知识数据的微调后llama3模型，可用于本地部署构建私有化的AI智能体。very 的 nice 首先请准备好google账号和网络环境，这个示例基于gool...
-
AlphaFold 3不开源，统一生物语言大模型阿里云先开了！
把169861个生物物种数据装进大模型，大模型竟get到了生物中心法则的奥秘—— 不仅能识别DNA、RNA与相应蛋白质之间的内在联系，在基因分类、蛋白质相互作用预测、热稳定性预测等7种不同类型任务中也能比肩SOTA模型。 模型名为LucaOne，由阿里云...
-
超详细！AIGC面试系列 大模型进阶(2)
本期问题快览 1. 如何让大模型处理更长的文本？ 2. 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？ 3. 什么是有监督微调SFT 4. SFT 指令微调数据如何构建? 5. 领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘...
-
用GPT-3.5生成数据集！北大天工等团队图像编辑新SOTA，可精准模拟物理世界场景
高质量图像编辑的方法有很多，但都很难准确表达出真实的物理世界。 那么，Edit the World试试。 图片 来自北京大学、Tiamat AI、天工AI、Mila实验室提出了EditWorld，他们引入了一种新的编辑任务，即世界指令（world-ins...
-
一文速览Llama 3及其微调：从如何把长度扩展到100万到如何微调Llama3 8B
前言 4.19日凌晨正准备睡觉时，突然审稿项目组的文弱同学说：Meta发布Llama 3系列大语言模型了，一查，还真是 本文以大模型开发者的视角，基于Meta官方博客的介绍：Introducing Meta Llama 3: The most capa...
-
Google Bard的Gemini Pro最新升级；Nomic Embed: 开源文本嵌入模型
🦉 AI新闻 🚀 Google Bard的Gemini Pro最新升级 摘要：Bard现在可以在超过40种语言和230多个国家和地区使用Gemini Pro，提供更强大的理解、推理、总结和编码能力。 Bard的双重检查功能将扩展到40多种语言，用户...
-
详解生成式人工智能的开发过程
译者 | 晶颜 审校 | 重楼 开发生成式人工智能应用程序与开发传统的机器学习应用程序非常不同，以下是步骤详解。 回到机器学习的“古老”时代，在您可以使用大型语言模型(LLM 作为调优模型的基础之前，您基本上必须在所有数据上训练每个可能的机器学习模型，...
-
数据驱动与 LLM 微调：打造 E2E 任务型对话 Agent
作者 | Thought Agent 社区 在对话系统的设计和实现中，传统的基于 Rasa-like 框架的方法往往需要依赖于多个模块的紧密协作，例如我们在之前的文章中提到的基于大模型（LLM）构建的任务型对话 Agent，Thought Agent，其...
-
Stable Diffusion初级教程
一、入门篇 1. 理解基本概念 扩散模型（Diffusion Models）：扩散模型是一种生成模型，通过逐步添加噪声到数据样本中，然后学习如何逐步去除这些噪声来恢复原始数据。 Latent Diffusion Model (LDM ：LDM是...
-
手把手教你基于华为云，实现MindSpore模型训练
本文分享自华为云社区《【昇腾开发全流程】MindSpore华为云模型训练》，作者：沉迷sk。 前言 学会如何安装配置华为云ModelArts、开发板Atlas 200I DK A2。 并打通一个Ascend910训练到Ascend310推理的全流程...
-
马斯克烧60亿美元难题，国内大厂有解？开源MoE模算效率黑马登场，3.7B参数单挑Llama 3-70B
如今，想训个SOTA的大模型，不仅缺数据和算力，甚至连电都不够用了。 最近马斯克就公开表示，因为苦于买不到足够的芯片，xAI只能推迟Gork 2的训练和发布。 Grok 3及更高版本，甚至需要10万个H100，按每台H100售价3万美元来算，仅芯片就要花...
-
LightGBM算法背景、原理、特点+Python实战案例
大家好，我是Peter~ 今天给大家分享一下树模型的经典算法：LightGBM，介绍算法产生的背景、原理和特点，最后提供一个基于LightGBM和随机搜索调优的案例。 LightGBM算法 在机器学习领域，梯度提升机（Gradient Boosting...
-
大模型时代下如何数据治理？|
随着ChatGPT和其他大语言模型(LLM 的快速发展，AI已成为我们工作和生活中不可或缺的一部分，并从简单的文本生成逐渐演变成为能够处理复杂语义理解和生成的高级AI系统。 这些模型的能力和应用范围的扩展，不仅标志着技术的进步，也标志着它们在实际业务中...
-
llama-factory SFT系列教程 (三)，chatglm3-6B 大模型命名实体识别实战
文章目录 文章列表： 简介 装包 数据集 lora 微调 API 部署 大模型预测 评估 缺少数据集 文章列表： llama-factory SFT系列教程 (一 ，大模型 API 部署与使用 llama-factory SFT...
-
适应多形态多任务，最强开源机器人学习系统「八爪鱼」诞生
在机器人学习方面，一种常用方法是收集针对特定机器人和任务的数据集，然后用其来训练策略。但是，如果使用这种方法来从头开始学习，每一个任务都需要收集足够数据，并且所得策略的泛化能力通常也不佳。 原理上讲，从其它机器人和任务收集的经验能提供可能的解决方案，能让...
-
国产开源Sora上新：全面支持国产AI算力，可用ReVideo视频编辑，北大-兔展团队出品
北大-兔展联合发起的Sora开源复现计划Open-Sora-Plan，今起可以生成最长约21秒的视频了! 生成的视频水平，如下展示。先看这个长一点的，9.2s: 当然了，老规矩，这一次的所有数据、代码和模型，继续开源。 目前，Open-Sora-Plan在...
-
仅用250美元，Hugging Face技术主管手把手教你微调Llama 3
ChatGPT狂飙160天，世界已经不是之前的样子。 新建了免费的人工智能中文站https://ai.weoknow.com 新建了收费的人工智能中文站https://ai.hzytsoft.cn/ 更多资源欢迎关注 大语言模型的微...
-
Meta被曝使用Instagram等照片训练AI模型引发隐私争议
全球社交巨头 Meta 最近因使用用户照片训练 AI 模型 Emu 引发了一场隐私争议。据报道，Meta 正在利用 Instagram 和 Facebook 上的用户照片进行训练，同时还会使用用户对图片的描述、标题等文本数据。这严重违反了数据隐私搜集条例，...
-
OpenAI联创Greg最新采访：为什么OpenAI最先做出GPT-4？
凯文·凯利在《5000天后的世界》一书中预测，称雄AR世界的不会是GAFA——如今的科技四大巨头。 纵观颠覆性技术的发展史，一个领域的主导者从来无法在下一个时代的平台上继续称雄，因为它们的成功会成为它们最大的桎梏。 事实仿佛真的如此。即便谷歌疯狂自证在A...
-
实战whisper语音识别第一天，部署服务器，可远程访问，实时语音转文字（全部代码和详细部署步骤）
Whisper是OpenAI于2022年发布的一个开源深度学习模型，专门用于语音识别任务。它能够将音频转换成文字，支持多种语言的识别，包括但不限于英语、中文、西班牙语等。Whisper模型的特点是它在多种不同的音频条件下（如不同的背景噪声水平、说话者的口音...
-
Llama中文大模型-模型预训练
Atom系列模型包含Atom-7B和Atom-13B，基于Llama2做了中文能力的持续优化。Atom-7B和Atom-7B-Chat目前已完全开源，支持商用，可在Hugging Face仓库获取模型:https://huggingface.co/Flag...
-
CIO指南：采用开源生成式AI需要注意的十件事
开源生成式AI模型是可以免费下载的、大规模使用而无需增加API调用成本的，并且可以在企业防火墙后面安全运行。但你不要放松警惕，风险仍然存在，有些风险不仅被放大了，而且针对生成式AI的新风险正在出现。 如今似乎任何人都可以制作AI模型，即使你没有训练数...
-
文字生成手语视频大模型SignLLM 帮助听障人群实现无障碍沟通
站长之家（ChinaZ.com）5月28日 消息近日，一款名为SignLLM的多语言手语模型引起了广泛关注。据称，这是第一个可以从输入文本生成手语手势的模型。 SignLLM利用了丰富的"Prompt2Sign"多语言手语数据集，确保生成的手语视频动作自...
-
AI可以生成手语手势视频了！SignLLM通过文字描述即可生成手语视频
SignLLM是一个创新的多语言手语模型，它具有通过文字描述生成手语视频的能力。这项技术对于听力障碍者来说是一个巨大的进步，因为它能够提供一种新的沟通方式。 以下是SignLLM的一些关键特点: 文本到手语视频的转换:SignLLM模型能够将输入的文本或...
-
TigerGraph CoPilot如何实现图形增强式AI
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 通过对比其他商用LLM的缺陷，本文详细介绍了TigerGraph CoPilot的主要功能、优点、以及两个关键用例。 近年来，数据作为...
-
智慧建筑：基于YOLOv7的建筑外墙缺陷检测
01 前景概要 现有的基于深度学习的方法在识别速度和模型复杂性方面面临一些挑战。为了保证建筑外墙缺陷检测的准确性和速度，我们研究了了一种改进的YOLOv7方法BFD-YOLO。首先，将YOLOv7中原有的ELAN模块替换为轻量级的MobileOne模块，...
-
用于精确目标检测的多网格冗余边界框标注
本文经计算机视觉研究院公众号授权转载，转载请联系出处。 一、前言 现在领先的目标检测器是从基于深度CNN的主干分类器网络重新调整用途的两级或单级网络。YOLOv3就是这样一种众所周知的最先进的单级检测器，它接收输入图像并将其划分为大小相等的网格矩阵。具...
-
解读注意力机制原理，教你使用Python实现深度学习模型
本文分享自华为云社区《使用Python实现深度学习模型：注意力机制（Attention）》，作者：Echo_Wish。 在深度学习的世界里，注意力机制（Attention Mechanism）是一种强大的技术，被广泛应用于自然语言处理（NLP）和计算机视...
-
可解释性人工智能：解释复杂的AI/ML模型
译者 | 李睿 审校 | 重楼 人工智能(AI 和机器学习(ML 模型如今变得越来越复杂，这些模型产生的输出是黑盒——无法向利益相关者解释。可解释性人工智能（XAI）旨在通过让利益相关者理解这些模型的工作方式来解决这一问题，确保他们理解这些模型实际上是如...
-
Llama 3 实践教程（InternStudio 版）
文章目录 Llama3本地 Web Demo部署 初始环境配置 下载模型 Web Demo 部署 XTuner 微调 Llama3 个人小助手 自我认知训练数据集准备 XTuner配置文件准备 训练模型 推理验证 XTuner微调Lla...
-
众神听令，王者归位！Meta最强开源大模型 Llama 3 重磅来袭
整理 | 王轶群 责编 | 唐小引 出品丨AI 科技大本营（ID：rgznai100） 4月19日凌晨，Meta重磅发布了全球最大开源大模型Llama 3，一夜间重新坐稳王者之位。 模型下载链接：https://llama.meta.com/lla...
-
机器学习：K均值算法
一、基础理论 1. 欧氏距离 想象你在北京，想要知道离上海有多远，则可以直接计算这个城市（两点）间直线的距离，这就是欧氏距离。 在二维平面上，在二维平面上有两个点A(x1, y1 和B(x2, y2 ，欧氏距离为： 图片 欧氏距离衡量的是两点间的真实物理...
-
多模态预训练模型在 OPPO 端云场景的落地实践
一、端侧图文检索技术研究 1. 解决了什么问题？ 首先来介绍图文检索技术。以前在手机端相册搜索照片，都是基于标签来搜索。从 CLIP 模型出现后开始做自然语言搜索。目前正在解决端侧性能、搜索效果、安全等问题。技术难度并不大，重点在于提高搜索速度。并...
-
鹅厂造了个AI翻译公司：专攻网络小说，自动适配语言风格，真人和GPT-4看了都说好
鹅厂搞了个150多人的“翻译公司”，从老板到员工都是AI智能体！ 主营业务是翻译网络小说，质量极高，参与评价的读者认为比真人翻译得还要好。 而且相比于雇佣真人，用它来翻译文学作品，成本降低了近80倍。 公司名为TransAgents，每个岗位都配备了3...
-
LLaMA-Factory微调LLama2
LLaMA-Factory(0.6.2版本 微调LLama2 1.下载安装 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e...