-
马斯克烧60亿美元难题，国内大厂有解？开源MoE模算效率黑马登场，3.7B参数单挑Llama 3-70B
如今，想训个SOTA的大模型，不仅缺数据和算力，甚至连电都不够用了。 最近马斯克就公开表示，因为苦于买不到足够的芯片，xAI只能推迟Gork 2的训练和发布。 Grok 3及更高版本，甚至需要10万个H100，按每台H100售价3万美元来算，仅芯片就要花...
-
LightGBM算法背景、原理、特点+Python实战案例
大家好，我是Peter~ 今天给大家分享一下树模型的经典算法：LightGBM，介绍算法产生的背景、原理和特点，最后提供一个基于LightGBM和随机搜索调优的案例。 LightGBM算法 在机器学习领域，梯度提升机（Gradient Boosting...
-
大模型时代下如何数据治理？|
随着ChatGPT和其他大语言模型(LLM 的快速发展，AI已成为我们工作和生活中不可或缺的一部分，并从简单的文本生成逐渐演变成为能够处理复杂语义理解和生成的高级AI系统。 这些模型的能力和应用范围的扩展，不仅标志着技术的进步，也标志着它们在实际业务中...
-
llama-factory SFT系列教程 (三)，chatglm3-6B 大模型命名实体识别实战
文章目录 文章列表： 简介 装包 数据集 lora 微调 API 部署 大模型预测 评估 缺少数据集 文章列表： llama-factory SFT系列教程 (一 ，大模型 API 部署与使用 llama-factory SFT...
-
适应多形态多任务，最强开源机器人学习系统「八爪鱼」诞生
在机器人学习方面，一种常用方法是收集针对特定机器人和任务的数据集，然后用其来训练策略。但是，如果使用这种方法来从头开始学习，每一个任务都需要收集足够数据，并且所得策略的泛化能力通常也不佳。 原理上讲，从其它机器人和任务收集的经验能提供可能的解决方案，能让...
-
国产开源Sora上新：全面支持国产AI算力，可用ReVideo视频编辑，北大-兔展团队出品
北大-兔展联合发起的Sora开源复现计划Open-Sora-Plan，今起可以生成最长约21秒的视频了! 生成的视频水平，如下展示。先看这个长一点的，9.2s: 当然了，老规矩，这一次的所有数据、代码和模型，继续开源。 目前，Open-Sora-Plan在...
-
仅用250美元，Hugging Face技术主管手把手教你微调Llama 3
ChatGPT狂飙160天，世界已经不是之前的样子。 新建了免费的人工智能中文站https://ai.weoknow.com 新建了收费的人工智能中文站https://ai.hzytsoft.cn/ 更多资源欢迎关注 大语言模型的微...
-
Meta被曝使用Instagram等照片训练AI模型引发隐私争议
全球社交巨头 Meta 最近因使用用户照片训练 AI 模型 Emu 引发了一场隐私争议。据报道，Meta 正在利用 Instagram 和 Facebook 上的用户照片进行训练，同时还会使用用户对图片的描述、标题等文本数据。这严重违反了数据隐私搜集条例，...
-
OpenAI联创Greg最新采访：为什么OpenAI最先做出GPT-4？
凯文·凯利在《5000天后的世界》一书中预测，称雄AR世界的不会是GAFA——如今的科技四大巨头。 纵观颠覆性技术的发展史，一个领域的主导者从来无法在下一个时代的平台上继续称雄，因为它们的成功会成为它们最大的桎梏。 事实仿佛真的如此。即便谷歌疯狂自证在A...
-
实战whisper语音识别第一天，部署服务器，可远程访问，实时语音转文字（全部代码和详细部署步骤）
Whisper是OpenAI于2022年发布的一个开源深度学习模型，专门用于语音识别任务。它能够将音频转换成文字，支持多种语言的识别，包括但不限于英语、中文、西班牙语等。Whisper模型的特点是它在多种不同的音频条件下（如不同的背景噪声水平、说话者的口音...
-
Llama中文大模型-模型预训练
Atom系列模型包含Atom-7B和Atom-13B，基于Llama2做了中文能力的持续优化。Atom-7B和Atom-7B-Chat目前已完全开源，支持商用，可在Hugging Face仓库获取模型:https://huggingface.co/Flag...
-
CIO指南：采用开源生成式AI需要注意的十件事
开源生成式AI模型是可以免费下载的、大规模使用而无需增加API调用成本的，并且可以在企业防火墙后面安全运行。但你不要放松警惕，风险仍然存在，有些风险不仅被放大了，而且针对生成式AI的新风险正在出现。 如今似乎任何人都可以制作AI模型，即使你没有训练数...
-
文字生成手语视频大模型SignLLM 帮助听障人群实现无障碍沟通
站长之家（ChinaZ.com）5月28日 消息近日，一款名为SignLLM的多语言手语模型引起了广泛关注。据称，这是第一个可以从输入文本生成手语手势的模型。 SignLLM利用了丰富的"Prompt2Sign"多语言手语数据集，确保生成的手语视频动作自...
-
AI可以生成手语手势视频了！SignLLM通过文字描述即可生成手语视频
SignLLM是一个创新的多语言手语模型，它具有通过文字描述生成手语视频的能力。这项技术对于听力障碍者来说是一个巨大的进步，因为它能够提供一种新的沟通方式。 以下是SignLLM的一些关键特点: 文本到手语视频的转换:SignLLM模型能够将输入的文本或...
-
TigerGraph CoPilot如何实现图形增强式AI
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 通过对比其他商用LLM的缺陷，本文详细介绍了TigerGraph CoPilot的主要功能、优点、以及两个关键用例。 近年来，数据作为...
-
智慧建筑：基于YOLOv7的建筑外墙缺陷检测
01 前景概要 现有的基于深度学习的方法在识别速度和模型复杂性方面面临一些挑战。为了保证建筑外墙缺陷检测的准确性和速度，我们研究了了一种改进的YOLOv7方法BFD-YOLO。首先，将YOLOv7中原有的ELAN模块替换为轻量级的MobileOne模块，...
-
用于精确目标检测的多网格冗余边界框标注
本文经计算机视觉研究院公众号授权转载，转载请联系出处。 一、前言 现在领先的目标检测器是从基于深度CNN的主干分类器网络重新调整用途的两级或单级网络。YOLOv3就是这样一种众所周知的最先进的单级检测器，它接收输入图像并将其划分为大小相等的网格矩阵。具...
-
解读注意力机制原理，教你使用Python实现深度学习模型
本文分享自华为云社区《使用Python实现深度学习模型：注意力机制（Attention）》，作者：Echo_Wish。 在深度学习的世界里，注意力机制（Attention Mechanism）是一种强大的技术，被广泛应用于自然语言处理（NLP）和计算机视...
-
可解释性人工智能：解释复杂的AI/ML模型
译者 | 李睿 审校 | 重楼 人工智能(AI 和机器学习(ML 模型如今变得越来越复杂，这些模型产生的输出是黑盒——无法向利益相关者解释。可解释性人工智能（XAI）旨在通过让利益相关者理解这些模型的工作方式来解决这一问题，确保他们理解这些模型实际上是如...
-
Llama 3 实践教程（InternStudio 版）
文章目录 Llama3本地 Web Demo部署 初始环境配置 下载模型 Web Demo 部署 XTuner 微调 Llama3 个人小助手 自我认知训练数据集准备 XTuner配置文件准备 训练模型 推理验证 XTuner微调Lla...
-
众神听令，王者归位！Meta最强开源大模型 Llama 3 重磅来袭
整理 | 王轶群 责编 | 唐小引 出品丨AI 科技大本营（ID：rgznai100） 4月19日凌晨，Meta重磅发布了全球最大开源大模型Llama 3，一夜间重新坐稳王者之位。 模型下载链接：https://llama.meta.com/lla...
-
机器学习：K均值算法
一、基础理论 1. 欧氏距离 想象你在北京，想要知道离上海有多远，则可以直接计算这个城市（两点）间直线的距离，这就是欧氏距离。 在二维平面上，在二维平面上有两个点A(x1, y1 和B(x2, y2 ，欧氏距离为： 图片 欧氏距离衡量的是两点间的真实物理...
-
多模态预训练模型在 OPPO 端云场景的落地实践
一、端侧图文检索技术研究 1. 解决了什么问题？ 首先来介绍图文检索技术。以前在手机端相册搜索照片，都是基于标签来搜索。从 CLIP 模型出现后开始做自然语言搜索。目前正在解决端侧性能、搜索效果、安全等问题。技术难度并不大，重点在于提高搜索速度。并...
-
鹅厂造了个AI翻译公司：专攻网络小说，自动适配语言风格，真人和GPT-4看了都说好
鹅厂搞了个150多人的“翻译公司”，从老板到员工都是AI智能体！ 主营业务是翻译网络小说，质量极高，参与评价的读者认为比真人翻译得还要好。 而且相比于雇佣真人，用它来翻译文学作品，成本降低了近80倍。 公司名为TransAgents，每个岗位都配备了3...
-
LLaMA-Factory微调LLama2
LLaMA-Factory(0.6.2版本 微调LLama2 1.下载安装 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e...
-
芝大论文证明GPT-4选股准确率高达60%，人类股票分析师要下岗？AI大牛质疑数据污染
最近，各位业内大咖都被芝大的一篇论文震惊了。 研究者发现，由GPT-4帮忙选择的股票，直接击败了人类！同时也pk掉了许多其他针对金融训练的机器学习模型。 最让他们震惊的是，LLM可以在没有任何叙述上下文的情况下，就成功分析财务报表中的数字！ 图片 论文地...
-
换了30多种方言，我们竟然没能考倒中国电信的语音大模型
不管你来自哪个城市，相信在你的记忆中，都有自己的「家乡话」:吴语柔软细腻、关中方言质朴厚重、四川方言幽默诙谐、粤语古雅潇洒…… 某种意义上说，方言不只是一种语言习惯，也是一种情感连接、一种文化认同。我们「上网冲浪」遇到的新鲜词汇中，有不少就是来自各地方言。...
-
只需单卡RTX 3090，低比特量化训练就能实现LLaMA-3 8B全参微调
自 2010 年起，AI 技术历经多个重大发展阶段，深度学习的崛起和 AlphaGo 的标志性胜利显著推动了技术前进。尤其是 2022 年底推出的 ChatGPT，彰显了大语言模型（LLM）的能力达到了前所未有的水平。自此，生成式 AI 大模型迅速进入高...
-
自定义数据集使用llama_factory微调模型并导入ollama
本文所有操作均在linux系统下完成 llama_factory安装 参考github的安装命令 git clone https://github.com/hiyouga/LLaMA-Factory.git conda create -n llama...
-
目标检测新SOTA，端侧实时识别，沈向洋罕见转发点赞
目标检测领域，迎来了新进展—— Grounding DINO 1.5，IDEA研究院团队出品，在端侧就可实现实时识别。 这一进展获得AI大佬沈向洋转发，他一般都是一年一转的节奏。 此次发布主要有两个版本：Pro和Edge。Pro版更强，Edge版更快。...
-
YOLOv10来啦！真正实时端到端目标检测
本文经自动驾驶之心公众号授权转载，转载请联系出处。 过去几年里，YOLOs因在计算成本和检测性能之间实现有效平衡而成为实时目标检测领域的主流范式。研究人员针对YOLOs的结构设计、优化目标、数据增强策略等进行了深入探索，并取得了显著进展。然而，对非极大...
-
教程：利用LLaMA_Factory微调llama3:8b大模型
一、安装llama模型文件 下载地址（魔塔）：https://modelscope.cn/models/LLM-Research/Meta-Llama-3-8B-Instruct/files 点击下载模型，复制git命令： git clone htt...
-
DiffMap：首个利用LDM来增强高精地图构建的网络
本文经自动驾驶之心公众号授权转载，转载请联系出处。 论文标题： DiffMap: Enhancing Map Segmentation with Map Prior Using Diffusion Model 论文作者： Peijin Jia, Tuo...
-
为何说小语言模型是AI界的下一大热门？
译者 | 布加迪 审校 | 重楼 在AI领域，科技巨头们一直在竞相构建越来越庞大的语言模型，如今出现了一个令人惊讶的新趋势：小就是大。随着大语言模型（LLM）方面的进展出现了停滞的迹象，研究人员和开发人员日益开始将注意力转向小语言模型（SLM）。这种紧凑...
-
Shortened LLaMA：针对大语言模型的简单深度剪枝法
🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/ 论文标题 & 发表会议：Shortened LLaMA: A Simple Depth Pruning for Large Language Model...
-
Llama 3 Agent 能力体验+微调
Llama 3 Agent 能力体验+微调（Lagent 版） 微调过程 本次实验基于AutoDL平台使用A40显卡做的实验，使用 XTuner 在 Agent-FLAN 数据集上微调 Llama3-8B-Instruct，以让 Llama3-8B...
-
阿里开源截止目前为止参数规模最大的Qwen1.5-110B模型：MMLU评测接近Llama-3-70B，略超Mixtral-8×22B！
本文原文来自DataLearnerAI官方网站：阿里开源截止目前为止参数规模最大的Qwen1.5-110B模型：MMLU评测接近Llama-3-70B，略超Mixtral-8×22B！ | 数据学习者官方网站(Datalearner https://www...
-
llama-factory SFT系列教程 (二)，大模型在自定义数据集 lora 训练与部署
文章目录 简介 支持的模型列表 2. 添加自定义数据集 3. lora 微调 4. 大模型 + lora 权重，部署 问题 参考资料 简介 文章列表： llama-factory SFT系列教程 (一 ，大模型 API 部署与...
-
Llama 3大模型发布！快速体验推理及微调
Meta，一家全球知名的科技和社交媒体巨头，在其官方网站上正式宣布了一款开源的大型预训练语言模型——Llama-3。 据了解，Llama-3模型提供了两种不同参数规模的版本，分别是80亿参数和700亿参数。这两种版本分别针...
-
llama-factory SFT系列教程 (一)，大模型 API 部署与使用
文章目录 背景 简介 难点 前置条件 1. 大模型 api 部署 下一步阅读 背景 本来今天没有计划学 llama-factory，逐步跟着github的文档走，发现这框架确实挺方便，逐渐掌握了一些。 最近想使用 SFT 微调大模...
-
CVPR 2024 | 图像超分、图像恢复汇总！用AIGC扩散模型diffusion来解决图像low-level任务的思路...
1、Arbitrary-Scale Image Generation and Upsampling using Latent Diffusion Model and Implicit Neural Decoder 超分辨率（SR）和图像生成是计算...
-
autodl 上 使用 LLaMA-Factory 微调 中文版 llama3
autodl 上 使用 LLaMA-Factory 微调 中文版 llama3 环境准备 创建虚拟环境 下载微调工具 LLaMA-Factory 下载 llama3-8B 开始微调 测试微调结果 模型合并后导出 vllm 加速推理...
-
CVPR 2024 | 图像检测类（目标、deepfake、异常）！AIGC扩散模型diffusion解决detection任务...
目标跟踪 1、Delving into the Trajectory Long-tail Distribution for Muti-object Tracking 多目标跟踪（Multiple Object Tracking，MOT）是计算...
-
微调llama 3 — PEFT微调和全量微调
1. llama 3 微调基础 1.1 llama 3 简介 官方blog llama 3 目前有两个版本：8B版和70B版。8B版本拥有8.03B参数，其尺寸较小，可以在消费者硬件上本地运行。 meta-llama/Meta-Llama-3-...
-
llama-factory/peft微调千问1.5-7b-chat
目标 使用COIG-CQIA数据集和通用sft数据集对qwen1.5-7b-chat进行sft微调，使用公开dpo数据集进行dpo对齐。学习千问的长度外推方法。 一、训练配置 使用Lora方式, 将lora改为full即可使用全量微调。具体的参数...
-
「AIGC」AIGC技术入门
人工智能（AI）领域的多个重要概念和实践。 一、思考问题 什么是AI? 什么是AIGC? 什么是AGI? 什么是模型? 什么是大模型(LLM ,什么是小模型? 什么是提示词工程?如何写提示词 什么是神经网络? 召回率是什么含义?...
-
【优质书籍推荐】AIGC时代的PyTorch 深度学习与企业级项目实战
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
Llama-Factory + Ollama 打造属于自己的中文版 Llama3
Meta 推出 Llama3 也有一小段时间了。Llama3 包含 8B 和 70B 两种参数规模，涵盖预训练和指令调优的变体。Llama 3 支持多种商业和研究用途，并已在多个行业标准测试中展示了其卓越的性能（关于Llama3的具体介绍可以参考本站另外一...
-
LLaMA-Factory参数的解答（命令，单卡，预训练）
前面这个写过，但觉得写的不是很好，这次是参考命令运行脚本，讲解各个参数含义。后续尽可能会更新，可以关注一下专栏！！ *这是个人写的参数解读，我并非该领域的人如果那个大佬看到有参数解读不对或者有补充的请请反馈！谢谢（后续该文章可能会持续更新） * LLaMA...
-
探秘phpdisk爬虫：原理、应用与风险防范
在数字时代，数据的重要性日益凸显，而爬虫技术作为获取信息的一种手段，也越发受到人们的关注。其中，“phpdisk爬虫”作为一个特定领域的爬虫工具，其背后的原理、应用场景以及潜在的风险都值得我们深入探讨。本文将详细剖析phpdisk爬虫的方方面面，帮助读者更...