-
[玩转AIGC]如何训练LLaMA2（模型训练、推理、代码讲解，并附可直接运行的kaggle连接）
目录 一、clone仓库 二、数据集下载与处理 1、数据集下载 2、数据集标记化（耗时较长） 三、修改配置 四、开始训练 五、模型推理 六、train.py训练代码讲解 1、导包 2、定义模型训练参数与相关设置 3、加载模型配置 4、迭代...
-
最强开源大模型？Llama 2论文解读
标题 简介 模型预训练 预训练设置 硬件资源与碳排放 模型评估 模型微调 有监督微调 基于人工反馈的强化学习（RLHF） 人类偏好数据的收集 奖励模型 迭代微调过程 多轮对话控制 RLHF 结果 模型回答的安全性 一直...
-
九大Pytorch最重要操作！！
今儿咱们聊聊pytorch的事情，今儿总结了九个最重要的pytorch的操作，一定会给你一个总体的概念。 张量创建和基本操作 PyTorch的张量类似于NumPy数组，但它们提供了GPU加速和自动求导的功能。张量的创建可以通过torch.tensor，...
-
一文读懂分类模型评估指标
模型评估是深度学习和机器学习中非常重要的一部分，用于衡量模型的性能和效果。本文将逐步分解混淆矩阵，准确性，精度，召回率和F1分数。 混淆矩阵 混淆矩阵是在分类问题中用于评估模型性能的表格，它展示了模型对样本的分类情况。混淆矩阵的行表示实际类别，列表示预...
-
关于生成式语言大模型的一些工程思考 paddlenlp & chatglm & llama
生成式语言大模型，随着chatgpt的爆火，市场上涌现出一批高质量的生成式语言大模型的项目。近期百度飞桨自然语言处理项目paddlenlp发布了2.6版本。更新了以下特性：全面支持主流开源大模型Bloom, ChatGLM, GLM, Llama, OPT...
-
深度学习之目标检测中的常用算法
随着深度学习的不断发展，深度卷积神经网络在目标检测领域中的应用愈加广泛，现已被应用于农业、交通和医学等众多领域。 与基于特征的传统手工方法相比，基于深度学习的目标检测方法可以学习低级和高级图像特征，有更好的检测精度和泛化能力。 什么是目标检测？ 目标检测...
-
论文笔记--Llama 2: Open Foundation and Fine-Tuned Chat Models
论文笔记--Llama 2: Open Foundation and Fine-Tuned Chat Models 1. 文章简介 2. 文章概括 3 文章重点技术 3.1 预训练Pretraining 3.1.1 预训练细节 3.1.2...
-
通义千问72B模型荣登大模型评测平台OpenCompass榜首
中国权威的大型模型评估平台OpenCompass最近更新其排名，通义千问72B模型以67.1的高分荣登榜首。 OpenCompass是由上海人工智能实验室推出的开源大型模型评估平台，其评估范围涵盖学科、语言、知识、理解和推理五个维度，能够全面评估大型模型的...
-
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_pt_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的chec
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_pt_with_peft.py文件 —模型训练前置工作(参数解析+配置日志 →模型初始化(检测是否存在训练过的checkpoint+加载预训练模型和tokenizer →数据...
-
火星探测器背后的人工智能：从原理到实战的强化学习
本文详细探讨了强化学习在火星探测器任务中的应用。从基础概念到模型设计，再到实战代码演示，我们深入分析了任务需求、环境模型构建及算法实现，提供了一个全面的强化学习案例解析，旨在推动人工智能技术在太空探索中的应用。 关注TechLead，分享AI全...
-
一文读懂常用的 “生成式 AI 框架”
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - Gen AI ，即“生成式 AI” 技术。 随着 AI 技术的不断发展，Gen AI 的力量超越了单纯的技术奇迹，更是一种具有变革性的动态力量，深刻地塑造了...
-
Koala：加州大学BAIR团队使用ChatGPT蒸馏数据和公开数据集微调LLaMA模型得到
自从Meta发布LLaMA以来，围绕它开发的模型与日俱增，比如Alpaca、llama.cpp、ChatLLaMA以及Vicuna等等，相关的博客可以参考如下： 【Alpaca】斯坦福发布了一个由LLaMA 7B微调的模型Alpaca（羊驼），训练3小时...
-
机器学习 - 混淆矩阵：技术与实战全方位解析
本文深入探讨了机器学习中的混淆矩阵概念，包括其数学原理、Python实现，以及在实际应用中的重要性。我们通过一个肺癌诊断的实例来演示如何使用混淆矩阵进行模型评估，并提出了多个独特的技术洞见。文章旨在为读者提供全面而深入的理解，从基础到高级应用。...
-
构建实时推荐系统：利用MongoDB和机器学习算法
实时推荐系统是当今互联网应用中十分重要的一部分，能够根据用户的兴趣和行为，实时地提供个性化的推荐内容。下面将介绍如何利用MongoDB作为数据存储和管理的基础，并结合机器学习算法来构建一个高效的实时推荐系统。主要包括数据处理与存储、特征工程、机器学习模型...
-
机器学习 - 似然函数：概念、应用与代码实例
本文深入探讨了似然函数的基础概念、与概率密度函数的关系、在最大似然估计以及机器学习中的应用。通过详尽的定义、举例和Python/PyTorch代码示例，文章旨在提供一个全面而深入的理解。 关注TechLead，分享AI全维度知识。作者拥有10+...
-
Llama-Factory的baichuan2微调
Llama-Factory：https://github.com/hiyouga/LLaMA-Factory/tree/main 请使用 --quantization_bit 4/8 来启用 QLoRA 训练。 默认模块应作...
-
Llama 2 论文《Llama 2: Open Foundation and Fine-Tuned Chat Models》阅读笔记
文章目录 Llama 2: Open Foundation and Fine-Tuned Chat Models 1.简介 2.预训练 2.1 预训练数据 2.2 训练详情 2.3 LLAMA 2 预训练模型评估 3. 微调 3.1 s...
-
自驱力超强的羊驼？斯坦福微调LLaMa
大型“指令调优”语言模型在新任务上展现了Zero-shot的卓越能力，但严重依赖于人类编写的指令数据，而这些数据在数量、多样性和创造性方面都是有限的。 斯坦福科研人员引入了self-instruction框架，提高指令遵循能力来自我迭代进化，与Instr...
-
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_sft_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的che
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_sft_with_peft.py文件 —模型训练前置工作(参数解析+配置日志 →模型初始化(检测是否存在训练过的checkpoint+加载预训练模型和tokenizer →数...
-
大模型之Bloom&LLAMA----Pre-Training(二次预训练)
0. 简介 随着chatgpt的爆火，最近也有很多大模型在不断地出现，比如说Bloom系列以及以LLAMA为基础的ziya和baichuan。这些模型相较于chatglm来说，更加具有发展前景，因为其是完全可商用，并可以不断迭代更新的。最近作者在跟着h...
-
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架 的简介、安装、案例实战应用之详细攻略 导读：2023年07月31日，哈工大讯飞联合实验室，发布Chinese-LLaMA-Alpaca-2，本项目基于Meta发布的...
-
腾讯披露最新大模型训练方法，可节省50%算力成本
在算力紧缺的背景下，如何提升大模型训练和推理的效率，并降低成本，成为业界关注的焦点。 11月23日，腾讯披露，腾讯混元大模型背后的自研机器学习框架Angel再次升级，大模型训练效率提升至主流开源框架的2.6倍，千亿级大模型训练可节省50%算力成本。升级后...
-
CART算法解密：从原理到Python实现
本文深入探讨了CART（分类与回归树）算法的核心原理、实现方法以及应用场景。文章首先介绍了决策树的基础知识，然后详细解析了CART算法的工作机制，包括特征选择和树的构建。接着，通过Python和PyTorch的实例代码展示了CART算法在实际问题中的应用。...
-
Vectara排行榜:OpenAI的GPT-4在文档摘要中幻觉率最低
在一项由Vectara进行的开源模型评估中，OpenAI的GPT-4在文档摘要中表现卓越，凭借其出色的97%准确率和令人瞩目的3%的幻觉率，成为幻觉率最低的大型语言模型。 Vectara在GitHub上发布了一个排行榜，评估了一些大型语言模型在其“Hall...
-
一种全新的日志异常检测评估框架：LightAD
本文分享自华为云社区《【AIOps】一种全新的日志异常检测评估框架：LightAD，相关成果已被软工顶会ICSE 2024录用》，作者： DevAI。 深度学习（DL）虽然在日志异常检测中得到了不少应用，但在实际轻量级运维模型选择中，必须仔细考虑异常检测...
-
谷歌研究:通过对抗性数据生成和多元评估应对GenAI的道德和安全风险
谷歌研究团队在人工智能领域持续推动着对生成式AI（GenAI）安全的研究，以应对其在虚假信息、偏见和安全性方面带来的挑战。作为谷歌研究的一部分，负责构建负责任的AI和数据系统的Responsible AI and Human-Centered Techno...
-
AI重塑媒体行业，凤凰卫视重磅入场AI数据赛道
媒体人在2023年或多或少都有点“失业”焦虑——媒体人被认为是最可能被ChatGPT取代的高危职业之一。 面对人工智能的冲击，部分媒体选择以防御之态应对，保护自己的内容不受大语言模型的“侵略”。根据《卫报》的报道，CNN、纽约时报和路透社等多个媒体巨头在...
-
一招分辨刷榜作弊大模型，博士小哥开源AI数学“照妖镜”
如今很多大模型都声称擅长数学，谁有真才实学？谁是靠背测试题“作弊”的？ 有人在今年刚刚公布题目的匈牙利全国数学期末考试上做了一把全面测试。 很多模型一下子就“现原形”了。 先看绿色部分，这些大模型在经典数学测试集GSM8k和全新卷子上取得的成绩差不多，...
-
浅析半监督学习及其应用场景
Labs 导读 随着互联网的发展，企业可以获得越来越多的数据，这些数据可以用于帮助企业更好的了解用户，即客户画像，也可以用来改善用户的体验。但这些数据中可能存在大量没有标记的数据。如果所有数据均采用人工标记的方式则存在两方面的缺点，一是花费的时间成本较...
-
LLMs之Code：Code Llama的简介(衍生模型如Phind-CodeLlama/WizardCoder)、安装、使用方法之详细攻略
LLMs之Code：Code Llama的简介(衍生模型如Phind-CodeLlama/WizardCoder 、安装、使用方法之详细攻略 导读：2023年08月25日(北京时间 ，Meta发布了Code Llama，一个可以使用文本提示生成...
-
大模型走捷径「刷榜」？数据污染问题值得重视
生成式 AI 元年，大家的工作节奏快了一大截。 特别是，今年大家都在努力卷大模型：最近国内外科技巨头、创业公司都在轮番推出大模型，发布会一开，个个都是重大突破，每一家都是刷新了重要 Benchmark 榜单，要么排第一，要么第一梯队。 在兴奋于技术进展速...
-
谨防大模型基准评估陷阱！测试集乱入预训练，模型变傻
最新研究警告，大型模型在基准评估中可能面临潜在危害，原因是测试集中的数据可能意外进入预训练过程。这项研究由中国人民大学信息学院、高瓴人工智能学院和伊利诺伊大学厄巴纳-香槟分校的学者联合进行。 研究发现，由于预训练语料包含大量公开文本，而评估基准建立在这些信...
-
使用百度EasyDL实现电动车进电梯自动预警
项目说明 业务背景 近年来，电动车进楼入户发生火灾的事故屡见不鲜，针对该问题，社区物业已明令禁止电动车入户，但是依然有住户忽视这个问题的严重性。 业务难点 由于小区电梯多，人工监控很难及时发现电瓶车入户违规，最终造成严重的人员伤亡事故。 同...
-
百度智能云千帆大模型平台推出千帆SDK开源版本
百度智能云千帆大模型平台再次升级，推出千帆 SDK，全面开源并免费下载使用。 该 SDK 提供了从数据集管理、模型训练、模型评估到服务部署等一系列功能，用户可以通过代码接入并调用百度智能云千帆大模型平台的能力，轻松实现 LLMOps 全流程的落地，快速构建...
-
通过100个关键词学习法来学习人工智能（AI）
100个关键词学习法是一种高效的学习方法，它的核心思想是围绕关键词（也就是重点）来进行学习。这套方法论最初由冯唐在世界顶级咨询公司中总结出来。具体来说，不论你想学习哪个行业的知识，首先需要掌握这个行业最重要的一百个关键词。这些关键词可以帮助你快速理解并掌...
-
AI治理的内容、方式及其产生的原因
自诞生以来，AI一直是一个强大的工具，通过自动化任务和简化操作，构建更好的技术，并使最终用户体验更轻松和更个性化，帮助改善内部运营。虽然AI对社会的影响并不新鲜，但更先进的AI解决方案的崛起引发了人们对这些技术将如何利用的担忧。 AI的繁荣创造了对强大...
-
给大模型评分的基准靠谱吗？Anthropic来了次大评估
现阶段，大多数围绕人工智能 （AI）对社会影响的讨论可归结为 AI 系统的某些属性，例如真实性、公平性、滥用的可能性等。但现在面临的问题是，许多研究人员并没有完全意识到建立稳健可靠的模型评估是多么困难。当今许多现有的评估套件在各个方面的表现都很有限。 A...
-
人工智能进入强监管时代
以ChatGPT为代表的基于LLM(大语言模型 的生成式人工智能应用正风靡全球，各行各业都在争先恐后将其集成到前端和后端的各种系统中，与此同时生成式人工智能面临的安全风险也正随着其热度上升而凸显。 生成式人工智能自身正面临提示注入等多种攻击，很可能给企...
-
OpenAI 宣布成立新团队以评估和防范人工智能模型可能带来的「灾难性风险」
OpenAI 今天宣布，已成立一个名为「准备组」（Preparedness）的新团队，由麻省理工学院可部署机器学习中心的主任亚历山大·马德里（Aleksander Madry）领导，以评估、检测并预防人工智能模型可能导致的「灾难性风险」。 据 Linke...
-
OpenAI、谷歌微软等设立 1000 万美元 AI 安全基金
谷歌、微软、OpenAI 和 Anthropic 发布联合声明，任命美国智库学会高管 Chris Meserole 为前沿模型论坛 (Frontier Model Forum 首任执行董事。并宣布设立 1000 万美元的 AI 安全基金，“以推动正在进...
-
AI基础软件：如何自主构建大+小模型？
一、公司介绍 九章云极DataCanvas以创造智能探索平台为使命，怀揣着助力全球企业智能升级的愿景，是中国人工智能基础软件领域的佼佼者。公司专注于自主研发的人工智能基础软件产品系列和解决方案，为用户提供全面的人工智能基础服务，旨在帮助用户在数智化转...
-
微软、OpenAI等投入1000万美元用于增强生成式AI产品的安全
微软、OpenAI、谷歌和Anthropic宣布了一项重要举措，共同投入1000万美元用于增强生成式AI产品的安全。这个决定包括任命Chris Meserole为“前沿模型论坛”的执行董事，该论坛由上述公司联合创立，旨在确保前沿AI模型的安全和负责任开发。...