-
LLaMA: Open and Efficient Foundation Language Models
*背景 已有的大模型越来越多的追求更大的参数量以实现更高的性能，但有研究表明更小的模型在更大的数据集上同样可以表现良好，因此本文旨在通过大量公开可用的数据集来训练一个语言模型同时取得SOTA的性能，模型大小从7B到65B，并且开源相关模型代码。(htt...
-
关于AI绘画Stable diffusion的各种模型，看这篇就可以了！
大家好，我是程序员晓晓 今天主要是帮大家梳理下Stable diffusion里面的各种模型，模型在Stable diffusion中占据着至关重要的地位，不仅决定了出图的风格，也决定了出图质量的好坏。 但在第一次接触SD的时候，我就被里面的模型搞到头...
-
大模型论文解读|| 数学新巅峰，微软&清华联合研究发现：7B级LLaMA-2模型数学能力惊人，准确率高达97.7%
开篇：数学能力在常规语言模型中的崭露头角 数学能力长期以来被认为是语言模型中难以攻克的领域，只有在模型规模极大或经过大量数学相关预训练的情况下才可能显现。然而，最新的研究表明，即使是规模较小的常规语言模型，如LLaMA-2 7B，也已经展现出了强大的数学...
-
探索国内主要大模型AIGC产品以及未来的发展
随着近日腾讯元宝APP的正式上线，国内大模型产品又添一员。除此之外，还有大家已经耳熟能详的几个大模型产品，比如：CSDN官方推出的C知道、百度出品的文心一言、阿里达摩院出品的通义千问、360出品的360智脑、字节跳动出品的豆包、科大讯飞出品的讯飞星火。本文...
-
AI初识--LLM、ollama、llama都是些个啥？
LLM全称（large language model）也就是大语言模型 什么是Ollama，它与Llama是什么关系？ Ollama是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型，降低使用大语言模型的门槛，使得大模型的开发者...
-
如何免费用 Llama 3 70B 帮你做数据分析与可视化？
快速、强悍且免费，你还等啥？ Llama 3 的发布，真可谓一石激起千层浪。前两天，许多人还对「闭源模型能力普遍大于开源模型」的论断表示赞同。但是，最新的 LLM 排行榜（https://chat.lmsys.org/?leaderboar...
-
【Tokenizer原理篇】超详细！AIGC面试系列 大模型进阶(5)
本期问题聚焦于大模型Tokenizer相关问题 本期问题快览 模型中的Tokenization是指的什么 常用的Tokenization方法了解有哪些吗 了解什么是Byte-Pair Encoding(BPE 吗 介绍下Byte-Pair E...
-
#RAG | AIGC # RAG召回率提升的方法以及优劣势
RAG（Retrieval-Augmented Generation）是一种结合了检索（Retrieval）和生成（Generation）的模型，用于增强大型语言模型（LLMs）的性能。召回率（Recall）是衡量RAG系统性能的关键指标之一，它表示系统能...
-
Llama模型家族之Stanford NLP ReFT源代码探索 （三）reft_model.py代码解析
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
文心一言vsGPT-4全面对比
文心一言和GPT-4都是当前非常先进的人工智能语言模型，它们各自具有独特的特点和优势。以下是对这两款工具的全面比较： 文心一言是由百度开发的一款大型人工智能语言模型，它基于强大的深度学习技术和海量的数据资源，具备出色的语言理解和生成能力。文心一言在中文处...
-
563支AI队伍做了姜萍同一份数学试卷： 结果最高分仅34
快科技6月16日消息，在最近举办的阿里巴巴全球数学竞赛中，来自江苏省涟水中等专业学校的17岁女生姜萍不仅成功入围决赛，还以全球排名12的成绩成为了赛事历史上首个进入决赛的中专生。 不仅如此，今年的阿里数赛还首次开放了AI大模型挑战赛，共有563支由全球知名...
-
大规模语言模型从理论到实践 LLaMA的模型结构
1.背景介绍 随着人工智能技术的不断发展，大规模语言模型（Large Language Models, LLMs）已经成为自然语言处理领域的热点。这些模型通过在大规模数据集上进行训练，能够生成连贯、相关且有趣的文本输出。LLaMA 是 Meta AI 开...
-
英伟达开源3400亿巨兽，98%合成数据训出最强开源通用模型！性能对标GPT-4o
【新智元导读】刚刚，英伟达全新发布的开源模型Nemotron-4 340B，有可能彻底改变训练LLM的方式！从此，或许各行各业都不再需要昂贵的真实世界数据集了。而且，Nemotron-4 340B直接超越了Mixtral 8x22B、Claude sonn...
-
“AIGC第一股”出门问问如愿登录港交所，能否喂饱饥饿的“序列猴子”？
大数据产业创新服务媒体 ——聚焦数据 · 改变商业 创立十二年后，历经两次递表，出门问问终于迎来了上市。 这家由前知名谷歌研究员李志飞创立的专注于提供人工智能服务和智能设备的公司，于今天正式亮相港交所，股票代码 “2438”...
-
文心一言上线声音定制功能；通义千问开源模型；openAI又侵权？
文心一言上线定制专属声音功能 百度旗下 AI 聊天机器人文心一言上线新功能，用户录音一句话，即可定制声音。 使用这项功能需要使用文心一言 App。在创建智能体中，点击创建自己的声音，朗读系统提示的一句话，等候几秒钟时间，系统就能捕捉到用户的声音...
-
文心一言指令
文心一言 文心一言（ERNIE Bot）是百度公司研发的知识增强大语言模型，它可以根据用户的指令和输入，生成相应的回答或文本。以下是一些可能的指令示例，用于指导文心一言完成不同的任务： 知识问答： 指令：“请问什么是人工智能？” 文心一言将...
-
大模型理解复杂表格，字节&中科大出手了
只要一个大模型，就能解决打工人遇到的表格难题! 字节联手中科大推出了一款统一表格理解大模型，可以以用户友好的方式解决多种表格理解任务。 同时提出的还有一套开源测试基准，可以更好地评估模型在表格理解任务上的表现。 该模型名为TabPedia，利用多模态大模...
-
区分LLaMA、llama.cpp和Ollama
大模型本地部署和运行中，经常遇到这三个概念，llama，ollama，llama.cpp。 刚开始接触时，的确有些傻傻分不清楚。这里简单区分理解下，方便快速上手。 简单来讲，llama 是一个Meta公司开源的预训练大型语言模型，llama.cpp用于加...
-
LLaMA Factory多卡微调的实战教程（持续更新）
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
规格拉满！Llama和Sora作者都来刷脸的中国AI春晚，还开源了一大堆大模型成果
本周国内最受关注的AI盛事，今日启幕。 活动规格之高，没有哪个关心AI技术发展的人能不为之吸引—— Sora团队负责人Aditya Ramesh与DiT作者谢赛宁同台交流，李开复与张亚勤炉边对话，Llama2/3作者Thomas Scialom，王小川、杨...
-
一个提问高下立见？国产AI大模型冲上扣子广场PK
以“国产GPTs”出名的扣子，做出了GPT没有的功能。 6月12日，字节跳动旗下的AI应用开发平台“扣子”（Coze国内版）悄悄上线了新功能“模型广场”。 扣子是AI应用开发平台，无论用户是否有编程基础，都可以在扣子上快速搭建基于大模型的各种聊天机器人（...
-
当AI与数学同时走下神坛
2024年4月13日，一场特别的考试开考。 数万名分散在全球各地的数学高手，在这一天早上8点打开了阿里巴巴全球数学竞赛预赛的试卷，他们有48小时，来攻克20分的选择题和100分的解答题。过去的6届，天才们在这个赛事里亮相，有17岁拿下IMO满分金牌的北大神...
-
大型语言模型（LLMs）在AIGC中的核心地位
本文收录于专栏：精通AI实战千例专栏合集 https://blog.csdn.net/weixin_52908342/category_11863492.html 从基础到实践，深入学习。无论你是初学者还是经验丰富的老手，对于本专栏案例和项目实践...
-
用 Unsloth 微调 LLaMA 3 8B
用 Unsloth 微调 LLaMA 3 8B 今年4月份，Meta 公司发布了功能强大的大型语言模型（LLM）Llama-3，为从事各种 NLP 任务的开发人员提供了功能强大可以在普通机器上运行的开源LLM。然而，传统的 LLM 微调过程既耗时又耗费资...
-
探索全新的AI大语言模型和AI绘画工具：无需联网，CPU即可运行！
今天我们非常激动地向大家介绍一款革命性的AI产品——一键安装的AI大语言模型和AI绘画工具包！这不仅是一个技术突破，更是AI应用领域的一大里程碑。最令人兴奋的是，这些工具完全可以在本地运行，不需要联网，只要您的电脑配备了CPU，就能轻松使用。 一、产...
-
LLama的激活函数SwiGLU 解释
目录 Swish激活函数 1. Swish函数公式 LLaMA模型中的激活函数 1. SwiGLU激活函数 2. SwiGLU激活函数的表达式 3. SwiGLU激活函数的优势 Swish激活函数 Swish是一种激活函数，其计算...
-
[从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码：绝对位置、相对位置、旋转位置编码
[从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码 文章目录 [从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码 1. 位置编码 1.1 绝对位...
-
使用 Amazon SageMaker 微调 Llama 2 模型
本篇文章主要介绍如何使用 Amazon SageMaker 进行 Llama 2 模型微调的示例。 这个示例主要包括: Llama 2 总体介绍 Llama 2 微调介绍 Llama 2 环境设置 Llama 2 微调训练 前言...
-
【AIGC调研系列】进行大模型调用开发使用的框架有哪些
AIGC大模型进行调用开发使用的框架包括但不限于以下几种： LangChain：这是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口，可简化创建由大型语言模型（LLM）和聊天机器人驱动的应用程序的过程[8...
-
基于 langchain 和大语言模型 (LLM) 的自然语言数据库查询系统 (RAG)——data copilot
data-copilot ✨ 基于 langchain 和大语言模型 (LLM 的自然语言数据库查询系统 (RAG 通过自然语言提问，使用大语言模型智能解析数据库结构，对数据进行智能多表结构化查询和统计计算，根据查询结果智能绘制多种图表。 Pyw...
-
苹果AI第一枪失声了
过去几个月，苹果要在开发者大会（WWDC）上发布AI 进展的消息，吊足了市场的胃口。 投资者对苹果打响AI时代的第一枪、在AI时代里再创辉煌的期待，推动着苹果股价上涨。自5月初发布二季报以来，苹果股价累计上涨超15%，是其过去18个月里表现最好的一个月。...
-
苹果市值一夜大涨超1.5万亿：iPhone将接入ChatGPT
在6月11日的美股市场交易中，三大指数收盘表现各异，纳指和标普500指数均实现了历史性的收盘新高，而道指则小幅下跌。 然而，苹果公司的股价却一枝独秀，大涨超过7%，不仅刷新了历史新高，更实现了自2022年11月以来的最大单日涨幅。这一涨幅使得苹果的市值飙升...
-
苹果迈入AI时代 股价大涨超5% 创历史最高市值
快科技6月11日消息，在今天凌晨举行的WWDC大会上，苹果正式发布了其首个生成式AI大模型Apple Intelligence，此举标志着苹果正式迈入了AI时代。 截至发稿时，苹果的股价已经上涨超过5%，创下历史新高，市值达到了惊人的3.11万亿美元。...
-
在嵌入式处理器Jetson Orin上使用Whisper做语音内容识别（3）
1、简介 Nvidia的GPU+CUDA架构在大算力时代遥遥领先毫无疑问了，其通用的硬件特性使得它不再是以往的“显卡”，算力强大并且支持各种AI，软件生态的应用方式基本可以照搬PC端。相比于特定的核心NPU，它显得更加灵活，系统和显存的共用在带宽上有明显...
-
Perplexica 是 Perplexity.ai 的开源 AI 搜索引擎替代品
Perplexica 是一个开源项目，旨在提供一个隐私保护的 AI 搜索引擎，作为 Perplexity AI 等专有选项的替代方案。它利用大型语言模型（LLMs）和人工智能功能，提供了一个开放的搜索解决方案。 产品入口：https://top.aiba...
-
谷歌Deepmind表示开放式AI是实现超级智能的关键
谷歌 Deepmind 的研究人员表示，AI 系统具备开放式的能力是发展超级智能的关键。他们认为，单纯依靠不断扩大的数据集并不足以实现超级人工智能（ASI），而现有的规模化策略往往集中在使用更多的计算资源和数据。相反，AI 系统必须能够以开放式的方式产生新...
-
文心一言 vs GPT-4 -- 全面横向比较
文心一言和GPT-4都是当前非常先进的自然语言处理模型，它们在语言理解、生成和翻译等方面都展现出了出色的能力。以下是对这两个模型的全面横向比较： 核心技术基础： 文心一言：是基于BERT（Bidirectional Encoder Represen...
-
《The end of Software》争议不断：AIGC下的软件行业是不是80年代的传统媒体行业？
要理解软件将如何变化，我们可以从研究技术如何改变其他行业中获益。如果你倾听，历史往往会有韵律。 在互联网之前，媒体的行为方式非常不同——它很贵。 你必须支付人们制作内容、编辑它和分发它。因为内容的制作成本很高，所以它必须赚钱。消费者为报纸、杂志、书籍、有线...
-
消灭最后一个短板！分析师：WWDC24结束后苹果不再是AI落后者
快科技6月10日消息，分析师郭明錤透露，WWDC24开发者大会结束后，苹果将不再是AI产业的落后者。 郭明錤表示，苹果将在WWDC24上带来全新的AI功能，包括AI翻译、AI搜索、AI文本处理、AI照片编辑等等，Siri的使用体验也会显著改善。 与此同时，...
-
iOS 18来了！苹果骚操作：本地AI功能至少要8GB内存 劝退一众iPhone
快科技6月10日消息，据国外媒体报道称，苹果本地AI功能将至少需要8GB内存，这对于众多老iPhone而言不是好消息。 报道中提到，iOS 18中的本地AI功能将需要至少8GB的内存，这意味着iPhone 15 Pro以上的设备和配备M1芯片的iPad将成...
-
【大模型】LLaMA-1 模型介绍
文章目录 一、背景介绍 二、模型介绍 2.1 模型结构 2.2 模型超参数 2.3 SwiGLU 三、代码分析 3.1 模型结构代码 3.2 FairScale库介绍 四、LLaMA家族模型 4.1 Alpaca 4.2 Vicuna...
-
存内计算与扩散模型：下一代视觉AIGC能力提升的关键
目录 前言 视觉AIGC的ChatGPT4.0时代 扩散模型的算力“饥渴症” 存内计算解救算力“饥渴症” 结语 前言 在这个AI技术日新月异的时代，我们正见证着前所未有的创新与变革。尤其是在视觉内容生成领域...
-
20K star！搞定 LLM 微调的开源利器LLaMA Factory
20K star！搞定 LLM 微调的开源利器LLaMA Factory 关于LLM 微调 优化型技术 计算型技术 LLaMA Factory 是什么 使用 LLaMA Factory 模型导出 LLaMA-Factory 结构 总结 项目...
-
LLaMA 2语言大模型的微调策略：LoRA与全参数选择
随着自然语言处理（NLP）技术的飞速发展，大型语言模型（LLMs）在各个领域都展现出了强大的能力。LLaMA 2作为其中的佼佼者，具有巨大的潜力。然而，如何有效地对LLaMA 2进行微调，以适应特定的任务或数据集，成为了一个关键问题。本文将对LoRA技术与...
-
RAFT：引领 Llama 在 RAG 中发展
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同...
-
GPT-4欺骗人类高达99.16%惊人率！PNAS重磅研究曝出，LLM推理越强欺骗值越高
【新智元导读】最近，德国研究科学家发表的PANS论文揭示了一个令人担忧的现象:LLM已经涌现出「欺骗能力」，它们可以理解并诱导欺骗策。而且，相比前几年的LLM，更先进的GPT-4、ChatGPT等模型在欺骗任务中的表现显著提升。 此前，MIT研究发现，AI...
-
Llama.cpp大模型量化简明手册
大型语言模型 (LLM ，尤其是像 Mixtral 8x7b（467 亿个参数）这样的大型模型，对内存的要求非常高。当你尝试降低推理成本、提高推理速度或在边缘设备上进行推理时，这种内存需求就会变得明显。解决此问题的一个潜在方法是量化。在本文中，我们将使用易...
-
Llama模型家族训练奖励模型Reward Model技术及代码实战（三） 使用 TRL 训练奖励模型
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
Llama模型家族之使用 Supervised Fine-Tuning（SFT）微调预训练Llama 3 语言模型（十） 使用 LoRA 微调常见问题答疑
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
【AIGC半月报】AIGC大模型启元：2024.05（上）
AIGC大模型启元：2024.05（上） (1 Video Mamba Suite（Mamba视频领域应用） (2 KAN（全新神经网络架构） (3 Meshy 3（文本生成3D模型） (4 MemGPT（LLM记忆管理框架） (5 ...