-
大模型——LLaVA和LLaMA的介绍和区别
LLaVA和LLaMA是两个不同的模型架构，它们的设计目的和应用领域有所不同： LLaMA（Large Language Model Meta AI） 简介：LLaMA是由Meta AI推出的一系列大规模语言模型（Large Language M...
-
大规模语言模型从理论到实践 LLaMA分布式训练实践
大规模语言模型从理论到实践 LLaMA分布式训练实践 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 随着深度学习的快速发展，大规模语言模型（La...
-
Nvidia AI 发布 Llama-Minitron 3.1 4B：通过修剪和提炼 Llama 3.1 8B 构建的新语言模型
Nvidia 刚刚发布了语言模型的新版本，不过这次是一个小型语言模型：Llama-3.1-Minitron 4B 模型。这意味着它是语言模型不断发展的重要步骤之一，通过剪枝和知识提炼等尖端技术，将大型模型的效率与小型模型相结合。 Llama-3.1-...
-
BitNet B1.58——模型参数用三个值表示，精度优于 Llama
介绍 论文地址：https://github.com/microsoft/bitblas 源码地址：https://github.com/microsoft/bitblas 与大型语言模型（LLMs）相比，小型语言模型（SLMs）正逐渐成为人们关注的焦...
-
llama.cppllama.cpp 是一个C++库，用于简化LLM推理的设置。它使得在本地机器上运行Qwen成为可能。该库是一个纯C/C++实现，不依赖任何外部库，并且针对x86架构提供了AVX、
llama.cpp llama.cpp - Qwen llama.cpp 是一个C++库，用于简化LLM推理的设置。它使得在本地机器上运行Qwen成为可能。该库是一个纯C/C++实现，不依赖任何外部库，并且针对x86架构提供了AVX、AVX2和AVX5...
-
LLAMA Factory: 简洁高效的大语言模型训练平台
LLAMA Factory: 简洁高效的大语言模型训练平台 LLaMA-Factory易于使用的LLM微调框架（LLaMA, BLOOM, Mistral, 百川， Qwen, ChatGLM）。项目地址:https://gitcode.com/gh_...
-
文心一言 vs gpt-4 全面横向比较
文心一言是中国百度公司研发的大规模语言模型，它有超多的参数，就像一个超级大脑，特别擅长理解并生成中文内容。在聊天啊、写文章啊、答题这些任务上表现不错，对中国文化和国情有更深的理解和适应能力。 GPT-3.5是OpenAI公司的上一代大模型，比GPT-...
-
【人工智能】一文看懂 LLaMA 2：原理、模型与训练
LLaMA 2（Large Language Model for AI Modeling and Assistance）是近年来广受关注的大规模语言模型之一。它被广泛应用于自然语言处理（NLP）任务，如文本生成、机器翻译和问答系统。本文将深入介绍LLaMA...
-
如何使用通义千问整理、分析、提取数据，提升办公效率
在数字化时代，数据的重要性不言而喻。无论是企业还是个人，都面临着海量数据的挑战。如何有效地整理、分析和提取数据，成为提升办公效率的关键。本文将介绍如何利用通义千问这一工具，帮助您在办公过程中实现数据的高效管理。 一、通义千问简介 通义千问，由阿里云开发...
-
一文看懂LLaMA 2：原理、模型与训练
引言 人工智能领域的快速发展，带来了许多强大的语言模型。LLaMA 2 是其中之一，以其出色的性能和灵活的应用能力，吸引了广泛关注。这篇文章将带你深入了解 LLaMA 2 的原理、模型架构和训练过程，帮助你全面掌握这一前沿技术。 什么是LLaMA...
-
【AIGC调研系列】MetaGpt与AutoGpt相比有哪些优势和劣势
MetaGPT与AutoGPT相比，具有以下优势和劣势： 优势： MetaGPT采用了多智能体框架，通过角色专业化、工作流管理和灵活的消息机制，增强了大规模语言模型在多智能体协作上的能力[4]。这种设计使得MetaGPT能够处理更复杂的任务，并通过结...
-
深入探索Llama 2：下一代开源语言模型的革新与影响
Llama 2是Meta AI发布的一款先进的开源大模型，属于大型语言模型（LLM）类别。它是Transformer架构的一种变体，经过预先训练并在多种文本和代码数据集上进行微调，旨在提升功能和安全性。Llama 2的关键特点包括： 庞大的训练数据集...
-
大模型应用实战4——开源大模型微调（基于LLaMA-Factory）
所谓微调，通俗理解就是围绕大模型进行参数修改，从而永久性的改变模型的某些性能。而大模型微调又分为全量微调和高效微调两种，所谓全量微调，指的是调整大模型的全部参数，而高效微调，则指的是调整大模型的部分参数，目前常用的高效微调方法包括LoRA、QLoRA、p-...
-
探索国内主要大模型AIGC产品以及未来的发展
随着近日腾讯元宝APP的正式上线，国内大模型产品又添一员。除此之外，还有大家已经耳熟能详的几个大模型产品，比如：CSDN官方推出的C知道、百度出品的文心一言、阿里达摩院出品的通义千问、360出品的360智脑、字节跳动出品的豆包、科大讯飞出品的讯飞星火。本文...
-
大规模语言模型从理论到实践 LLaMA的模型结构
1.背景介绍 随着人工智能技术的不断发展，大规模语言模型（Large Language Models, LLMs）已经成为自然语言处理领域的热点。这些模型通过在大规模数据集上进行训练，能够生成连贯、相关且有趣的文本输出。LLaMA 是 Meta AI 开...
-
LLaMa系列模型详解（原理介绍、代码解读）：LLaMa
LLaMA详解 LLaMA（Large Language Model Meta AI）是由Meta（前身为Facebook）开发的一种大规模语言模型，旨在提高自然语言处理（NLP）任务的性能。LLaMA基于变换器（Transformer）架构，并经过大...
-
离大模型落地应用最近的工程化技术(RAG)
虽然大规模语言模型（LLM）在自然语言处理（NLP）方面表现出了其强大的文本生成和理解能力，但是它们在实际应用中仍然面临一些挑战，如处理大规模知识库和实时获取最新信息的能力，并且会产生幻觉。为了解决这些问题，检索增强生成（Retrieval-Augmen...
-
一文读懂常见的几种 LangChain 替代品
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM 开发框架 。 在 LLM (大规模语言模型 应用开发领域，开源框架扮演着至关重要的角色，为广大开发者提供了强大的工具支持。作为这一领域的领军者，Lan...
-
Intel发布Gaudi 3 AI加速器：4倍性能提升、无惧1800亿参数大模型
快科技4月10日消息，美国当地时间4月9日，Intel举办了一场面向客户和合作伙伴的Intel Vision 2024产业创新大会，做出多项重磅宣布，包括全新的Gaudi 3 AI加速器，包括全新的至强6品牌，以及涵盖全新开放、可扩展系统，下一代产品和一系...
-
提高 AI 训练算力效率：蚂蚁 DLRover 故障自愈技术的创新实践
本文来自蚂蚁 DLRover 开源负责人王勤龙（花名长凡）在 2024 全球开发者先锋大会(GDC 的分享——《DLRover 训练故障自愈：大幅提升大规模 AI 训练的算力效率》。 王勤龙，长期在蚂蚁从事 AI 基础设施的研发，主导了蚂蚁分布式训练的弹...
-
为什么大型语言模型都在使用 SwiGLU 作为激活函数？
如果你一直在关注大型语言模型的架构，你可能会在最新的模型和研究论文中看到“SwiGLU”这个词。SwiGLU可以说是在大语言模型中最常用到的激活函数，我们本篇文章就来对他进行详细的介绍。SwiGLU其实是2020年谷歌提出的激活函数，它结合了SWISH和...
-
llama-factory简介
llamafactory是什么，能干什么 LLaMA-Factory 是一个易于使用的大规模语言模型（Large Language Model, LLM）微调框架，它支持多种模型，包括 LLaMA、BLOOM、Mistral、Baichuan、Qwen ...
-
抖音推出全新AI社交产品“话炉” 能陪你闲扯还能讲故事、猜谜语
据Tech星球的报道，抖音再次推出了全新的社交产品“话炉”，这次加入了AI的元素。继多闪、飞聊之后，抖音再次在社交领域发力。 “话炉”是一款基于字节旗下云雀大模型驱动的角色聊天产品。用户可以通过与个性鲜明、背景各异的AI角色实时聊天互动，满足闲谈生活日常、...
-
出门问问开放大模型“序列猴子”开源数据集
出门问问宣布，将向公众开放其超大规模语言模型“序列猴子”的部分训练数据集，命名为“序列猴子开源数据集1.0”。 序列猴子，作为出门问问的核心技术之一，具备强大的通用表示与推理能力，已在问答系统、自然语言处理、机器翻译、文本摘要等多个领域展现出其卓越的性能，...
-
上海人工智能实验室发布LLaMA-Adapter | 如何1小时训练你的多模态大模型用于下游任务
本文首发于微信公众号 CVHub，未经授权不得以任何形式售卖或私自转载到其它平台，违者必究！ Title: LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-...
-
玩LLM和StableDiffusion常说的LoRA到底是什么
论文地址：LoRA: Low-Rank Adaptation of Large Language Models LoRA是一种用于adapters和大模型迁移的技术,全称为Low-Rank Adaptation of Large Language M...
-
OS-AIGC通用生成式人工智能模型加密接入标准API协议-2023 Beta版
说明 OS-AIGC通用生成式人工智能模型加密接入标准API协议（Universal Language Model Encryption Access Standard API Protocol）国内的通用语言大模型的加密接入标准API协议。能够适配各种...
-
2023-12-12 AIGC-AI工具的基本工作原理
摘要: 2023-12-12 AIGC-AI工具的基本工作原理 AI工具的基本工作原理 AI工具的基本工作原理涉及到一系列复杂的技术和算法。这些原理可以根据不同类型的AI工具进行概括，包括机器学习、自然语言处理、图像识别等。以下是一些关键的A...
-
AI2发布开放语言模型OLMo 号称多项性能媲美Llama2
AI2最新发布的开放语言模型（OLMo）框架旨在推动大规模语言模型的研究和实验。通过在Hugging Face和GitHub上提供训练代码、模型和评估代码，AI2致力于让学术界和研究人员能够共同研究语言模型的科学，探索新的预训练数据子集对下游性能的影响，以...
-
【探索科技 感知未来】文心一言大模型
【探索科技 感知未来】文心大模型 ?本文介绍 文心一言大模型是由中国科技巨头百度公司研发的一款大规模语言模型，其基于先进的深度学习技术和海量数据训练而成。这款大模型具备强大的自然语言处理能力，可以理解并生成自然语言，为用户提供自然、流畅的语言交...
-
2023世界人工智能大会，和鲸科技入选中国信通院《2023大模型和AIGC产业图谱》
近日，2023 世界人工智能大会（WAIC）“聚焦·大模型时代 AIGC 新浪潮”论坛上，中国信息通信研究院（以下简称“中国信通院”）正式发布《2023 大模型和AIGC产业图谱》（以下称“图谱”）。和鲸作为大模型时代 AI 基础设施的入口，凭借在大模型的...
-
AIGC学习笔记（1）——AI大模型提示词工程师
文章目录 AI大模型提示词工程师 1 Prompt工程之原理 1.1 AIGC的发展和产业前景 前言 AIGC时代的到来 发展趋势和应用展望 1.2 大模型的类型和特点 大模型的对比 上手 特点 1.3 大模型技术原理和发展 成语...
-
ChatGPT vs 文心一言: 两大AI助手的较量
文章目录 每日一句正能量 前言 ChatGPT ChatGPT的优点 ChatGPT的劣势 文心一言 文心一言的优势 文心一言的劣势 后记 每日一句正能量 无所不能的人实在一无所能，无所不专的专家实在是一无所专。...
-
LLaMA-v2-Chat vs. Alpaca：应该在什么时候使用不同的人工智能模型？
译者 | 李睿 审校 | 重楼 如今，大型语言模型（LLM）正在彻底改变人们的工作和生活，从语言生成到图像字幕软件，再到友好的聊天机器人。这些人工智能模型为解决现实世界的问题提供了强大的工具，例如生成聊天响应或遵循复杂的指令。在这篇关于LLaMA v2的...
-
AIGC之论文笔记DALL-E
文章目录 Zero-Shot Text-to-Image Generation 一. 简介 二. 方法 2.1. 第一阶段：Learning the visual codebook 2.1.1 回顾VQ-VAE 2.1.2...
-
大模型入局传统算法，LLMZip基于LLaMA-7B实现1MB文本压缩率90%！
论文链接： https://arxiv.org/abs/2306.04050 随着以ChatGPT、GPT-4为代表的AI大模型逐渐爆火进入公众视野，各行各业都开始思考如何更好的使用和发展自己的大模型，有一些评论甚至认为大模型是以人工智能为标志的...
-
研究称：英特尔Gaudi2技术在大语言模型推理方面媲美英伟达AI加速器
根据 Databricks 的最新研究，英特尔的 Gaudi2技术在大规模语言模型推理方面与业界领先的英伟达 AI 加速器相媲美。该研究发现，Gaudi2在解码方面的延迟与英伟达 H100系统相当，并且优于英伟达 A100。研究还发现，Gaudi2的推理性...
-
从模型、数据和框架三个视角出发，这里有份54页的高效大语言模型综述
大规模语言模型（LLMs）在很多关键任务中展现出显著的能力，比如自然语言理解、语言生成和复杂推理，并对社会产生深远的影响。然而，这些卓越的能力伴随着对庞大训练资源的需求（如下图左）和较长推理时延（如下图右）。因此，研究者们需要开发出有效的技术手段去解决其...
-
盘古智能体（Pangu-Agent）的五个创新点
随着大规模语言模型（Large Language Model，LLM）的发展和应用，人工智能领域出现了一种新的研究方向，即基于LLM的自主智能体（LLM-based Autonomous Agent）。这种智能体利用LLM的强大的表示能力和生成能力，可以...
-
最强英文开源模型LLaMA架构探秘，从原理到源码
导读：LLaMA 65B是由Meta AI（原Facebook AI）发布并宣布开源的真正意义上的千亿级别大语言模型，发布之初（2023年2月24日）曾引起不小的轰动。LLaMA的横空出世，更像是模型大战中一个搅局者。虽然它的效果（performance）...
-
生成式人工智能如何改变数据中心的要求
什么是数据中心，我们如何使用它?更具体地说，数据中心有哪些不同类型，它们为使用它们的企业提供哪些不同的用途? 这些问题看似简单，但要得出令人满意的答案却出人意料地困难。就在过去一年左右的时间里，我们看到越来越强大的大型语言模型(LLM 正在支持新的生成...
-
AIGC迈向通用人工智能时代
一、AIGC“起飞”的背后 2023年1月30日，AIGC概念股突飞猛涨。一时间，AIGC再次站上风口浪尖。 AIGC（AI Generated Content）是指利用人工智能技术来生成内容，被认为是继UGC、PGC之后的新型内容生产方式，常见的A...
-
24 LLM错误代码补全：机器学习顶会NeurIPS‘23 智能体评估：自行构建数据集Buggy-HumanEval、Buggy-FixEval+错误代码补全+修复模型【网安AIGC专题11.22】
Large Language Models of Code Fail at Completing Code with Potential Bugs 写在最前面 论文名片 对于命名实体识别、关系抽取任务的启发 课堂讨论 实验 自己构建的数据集...
-
赶上ChatGPT的车，百度文心一言和阿里通义千问上线
百度“文心一言”，地址：https://yiyan.baidu.com 阿里“通义千问”，地址：https://tongyi.aliyun.com 以下介绍来自官方： 一、“文心一言”介绍： 你好，我是文心一言 ERNIE Bot 作为一个人工...
-
灵雀云Alauda MLOps 现已支持 Meta LLaMA 2 全系列模型
在人工智能和机器学习领域，语言模型的发展一直是企业关注的焦点。然而，由于硬件成本和资源需求的挑战，许多企业在应用大模型时仍然面临着一定的困难。为了帮助企业更好地应对上述挑战，灵雀云于近日宣布，企业可通过Alauda MLOps（以下简称AML）使用由 Me...
-
ChatGPT一周年，Altman霸气重返OpenAI！自曝回归内幕Ilya去向待定
ChatGPT一周年之际，OpenAI发文官宣：Sam Altman重启OpenAI！ 一年前的今天，他作为CEO，正在做着ChatGPT上线前最后的准备工作。他应该怎么也想不到，上线后这一年，会发生这么多事情。 今天OpenAI，也戴上了庆祝自己生...
-
为什么微软必须拯救OpenAI
雇佣 CEO，雇佣团队，派遣 CEO 回去，坐上董事会——微软将不惜一切代价让 OpenAI 保持运行。 译自Why Microsoft Has to Save OpenAI。 生成式AI明星公司OpenAI的混乱瓦解，就像一个提前的感恩节家庭争吵，起初...
-
xAI Grok官网体验入口 对话式AI免费软件app下载
《xAI Grok》是一个基于大规模语言模型的对话式AI系统，它能够理解用户的问题并提供知识性的回答，实现更人性化的交互。这个系统还具有持续学习的能力，会根据用户的反馈不断改进。那么，《xAI Grok》在哪里可以体验呢?下面就给大家带来《xAI Grok...
-
Meta工程师称全球AI推理用电仅需新增两座核电站即可满足
近日，Meta公司的生成式人工智能工程总监谢尔盖·埃杜诺夫在硅谷数字工人论坛上透露，为满足明年全球不断增长的人工智能应用推理需求，仅需新增两座核电站的发电量即可。 埃杜诺夫表示，他仅通过简单的数学计算得出这个结果。他专门分析了人工智能“推理”阶段的用电量。...
-
五个可以无限免费的AI写作工具
目前有不少优秀的AI写作助手工具,为用户提供免费的写作生成服务。我推荐5个无限免费的AI写工具如下: 1. ChatGPT: 这是OpenAI研发的大规模语言模型,可以进行智能写作和创意脑storm。它可以根据提示生成不同格式、风格的长文本,如故事、说...