-
微软 Phi-3.1 Mini (3.8B)：刚刚进行了疯狂升级（击败 Llama-3 和 Qwen2）
微软 Phi-3.1 Mini (3.8B ：刚刚进行了疯狂升级（击败 Llama-3 和 Qwen2） 原创 Aitrainee AI进修生 2024年07月06日 15:16 湖南 Aitrainee | 公众号：AI进修生 ?这...
-
使用llama.cpp量化模型
文章目录 概要 整体实验流程 技术细节 小结 概要 大模型量化是指在保持模型性能尽可能不变的情况下，通过减少模型参数的位数来降低模型的计算和存储成本。本次实验环境为魔搭社区提供的免费GPU环境（24G），使用Llama.cpp进行...
-
AI日报：阿里云发布音频模型Qwen2-Audio；字节将推类sora模型；AI眼里13.11＞13.8
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ 1、Qwen2-Audio：千问系...
-
绕晕了！9.11 大还是 9.9 大，难倒一批 AI 大模型？
「9.11和9.9，哪个大?」 对于不少习惯了更新软件版本号的程序员而言，不少人的第一反应就是:当然是9.11大。但是如果没有限定场景，只是单纯地提出上面这个问题时，结果必然是相反的。 没想到，将这个问题抛给前能答疑解惑、后能挑战各种高数难题的 AI 大模...
-
前百度高管入局AI搜索，挑战Google和Perplexity，种子轮获6000万美元资金
在这个信息泛滥但缺乏有意义内容的时代，传统搜索引擎的表现常常不尽人意，用户被广告、垃圾邮件和偏见内容所困扰。 Genspark的目标是打破这些旧有障碍，不仅要改进搜索技术，还要彻底改变用户访问和与信息互动的方式。 Sense 思考 我们尝试基于文章内容，提...
-
“全网最全”LLM推理框架集结营 - 看似微不足道，却决定着AIGC项目的成本、效率与性能!
00-前序 随着ChatGPT、GPT-4等大语言模型的出现，彻底点燃了国内外的学者们与企业家们研发LLM的热情。国内外的大语言模型如雨后春笋一般的出现，这些大语言模型有一部分是开源的，有一部分是闭源的。 伴随着大语言模型的出现，国内外基于大语言模型...
-
AI日报：Claude 3.5 Sonnet数据可视化超越GPT-4o；谷歌推AI视频剪辑Vids；首届AI小姐选美结果出炉
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ 1、争气！Claude 3.5 S...
-
Llama模型家族之使用 Supervised Fine-Tuning（SFT）微调预训练Llama 3 语言模型（七） 使用 LoRA 微调 LLM 的实用技巧
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
【大模型能力分水岭数学考试，文心一言超gpt4o排名第一】
文末有福利！ 2024年全国高考成绩陆续放榜，各位考生的成绩怎么样？在本次考试中还有几位特殊的考生——国内外知名的9个AI大模型也“参与”了本次高考，它们的成绩可谓也是“几家欢喜，几家愁”。 以河北省录取分数线（文科一本线：521分，理科一本线：...
-
开发者评测｜操作系统智能助手OS Copilot
操作系统智能助手OS Copilot 文章目录 操作系统智能助手OS Copilot OS Copilot 是什么 优势 功能 操作步骤 创建实验 重置密码 创建Access Key 配置安全组 安装 os-copilot 环境...
-
Qwen2——阿里巴巴最新的多语言模型挑战 Llama 3 等 SOTA
引言 经过几个月的期待， 阿里巴巴 Qwen 团队终于发布了 Qwen2 – 他们强大的语言模型系列的下一代发展。 Qwen2 代表了一次重大飞跃，拥有尖端的进步，有可能将其定位为 Meta 著名的最佳替代品 骆驼3 模型。在本次技术深入探讨中，我...
-
LLama Factory微调模型全流程，与peft库调用训练的adapter
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 LLama Factory微调流程 一、准备微调的数据集和模型 二、读取模型和数据进行训练 1.使用web ui 2.修改官方脚本（推荐） 第三，加载与推...
-
【AIGC调研系列】InternVL开源多模态模型与GPT-4V的性能对比
InternVL和GPT-4V都是多模态模型，但它们在性能、参数量以及应用领域上有所不同。 InternVL是一个开源的多模态模型，其参数量为60亿，覆盖了图像/视频分类、检索等关键任务，并在32个视觉-语言基准测试中展现了卓越性能[2]。InternV...
-
自定义 LLM：LangChain与文心一言擦出火花
自定义 LLM 自定义 LLM 需要实现以下必要的函数： _call ：它需要接受一个字符串、可选的停用词，并返回一个字符串。 它还可以实现第二个可选的函数： _identifying_params ：用于帮助打印 LLM 信息。该函数应该返回...
-
引入 AI 技术后，数据库变成了什么样？
作为数据库技术发展趋势之一，AI 与数据库融合迸发无限潜力，推动着数据管理与分析进入一个全新的时代。当前，一些数据库厂商已经开始融合 AI 技术来增强其数据管理和处理能力，用于自动化的数据库调优、预测性维护、智能查询优化、模式识别以及更高级别的数据分析等方...
-
Fastgpt接入Whisper本地模型实现语音输入
前言 FastGPT 默认使用了 OpenAI 的 LLM 模型和语音识别模型，如果想要私有化部署的话，可以使用openai 开源模型Whisper。参考文章 《openai 开源模型Whisper语音转文本模型下载使用》 开源项目地址 ： 兼容op...
-
大模型剧本杀开源：6个Claude里藏一个凶手！刚上线服务器就被挤爆，免费免下载免注册
AI原生互动侦探游戏，刚上线就爆火，服务器一度挤爆。 免费、免下载、免注册、中文友好、浏览器运行… … 这么多buff叠在一起，是不是勾起了你的好奇心? 今天的主角AI Alibis，由两位外国游戏爱好者共同开发，并且作为参赛作品提交给了Anthropi...
-
OpenAI秘密武器「草莓」计划曝光！Q*推理能力大爆发，逼近AGI L2里程碑
【新智元导读】OpenAI被曝出了新项目「草莓」，据悉能提前计划，自主浏览网页，还能进行深度研究。草莓由大量通用数据上后训练而成，推理能力显著提高。根据OpenAI最近的AGI路线图，草莓疑似已达Level2。 昨天刚刚被曝出AGI五级路线图，今天Open...
-
近屿OJAC带你解读：AIGC核心知识点LLM
近年来，人工智能（AI）领域经历了令人瞩目的增长，尤其是自然语言处理（NLP）。你知道是什么推动了NLP领域的这种飞速发展吗？没错，那就是大型语言模型LLM。这些模型可能会彻底改变我们与科技的互动方式！ 这些模型是如何工作的呢？它们为何如此流行？在本文中...
-
llama-factory学习使用笔记
想要对开源的llama大模型，针对自己的数据进行微调，这里推荐llama-factory项目，LLama Factory，这个工具能够高效且低成本地支持对 100 多个模型进行微调。LLama Factory 简化了模型微调的过程，并且易于访问...
-
【Llama 2的使用方法】
Llama 2是Meta AI（Facebook的母公司Meta的AI部门）开发并开源的大型语言模型系列之一。Llama 2是在其前身Llama模型的基础上进行改进和扩展的，旨在提供更强大的自然语言处理能力和更广泛的应用场景。 以下是Llama 2的一...
-
Llama 3 与 GPT-4：哪个更好？
Llama 3 和 GPT-4 是目前公开可用的两种最先进的大型语言模型（LLM）。让我们通过比较这两个模型的多模态性、上下文长度、性能和成本，来看看哪个 LLM 更好。 什么是 GPT-4？ GPT-4 是 OpenAI 开发的最新大型语言模型（...
-
高质量AIGC/ChatGPT/大模型资料分享
2023年要说科技圈什么最火爆，一定是ChatGPT、AIGC（人工智能生成内容）和大型语言模型。这些技术前沿如同科技世界的新潮流，巨浪拍岸，引发各界关注。ChatGPT的互动性和逼真度让人们瞠目，它能与用户展开流畅对话，回答问题，乃至创作文章和诗歌，展现...
-
探索大模型：袋鼠云在 Text To SQL 上的实践与优化
Text To SQL 指的是将自然语言转化为能够在关系型数据库中执行的结构化查询语言（简称 SQL）。近年来，伴随人工智能大模型技术的不断进步，Text To SQL 任务的成功率显著提升，这得益于大模型的推理、理解以及指令遵循等能力。 对于大数据平台...
-
Llama-factory源码详细解读
微调 采用逐行调试的方法，细节来看SFT代码 AutoModelForCausalLM...
-
实现 LLM 应用的可观测，难在哪里？
随着生成式 AI 概念的火爆，以 ChatGPT、通义大模型为代表，市场上涌现了一系列商用或者开源的大模型，同时基于大语言模型（LLM ）以及 AI 生态技术栈构建的应用以及业务场景也越来越多。 众所周知，LLM 包含数十亿甚至万亿级别的参数，其架构复杂...
-
【AIGC半月报】AIGC大模型启元：2024.06（下）
AIGC大模型启元：2024.06（下） (1 Gen-3 (2 Open-Sora 1.2（Open-Sora再升级） (3 Claude 3.5 Sonnet（Claude升级） (4 ChatTTS v3（ChatTTS升级） (...
-
Chinese-LLaMA-Alpaca-2模型量化部署&测试
简介 Chinese-LLaMA-Alpaca-2基于Meta发布的可商用大模型Llama-2开发, 是中文LLaMA&Alpaca大模型的第二期项目. 量化 模型的下载还是应用脚本 bash hfd.sh hfl/chinese-al...
-
快速LLaMA：面向大型语言模型的查询感知推理加速 论文摘要翻译与评论
论文摘要翻译与评论 论文标题： QuickLLaMA: Query-aware Inference Acceleration for Large Language Models 提出的框架 我们Q-LLM框架的示意图。来自记忆上下文的输入被...
-
史上最「蠢」AI凶手？剧本杀被人类一秒揪出，开发者小哥紧急调教
【新智元导读】AI剧本杀，开本了!最近，两位开发者在黑客马拉松期间创作了一款AI游戏「山庄谋杀案」，我们需要和五位AI嫌疑人对话，揪出真正的凶手。没想到，小编一番试玩后，结局出乎意料…… 想玩剧本杀但凑不齐人发车? 别苦恼了!可以和AI一起博弈破案了，人机...
-
国产大模型第一梯队玩家，为什么pick了CPU？
AI一天，人间一年。 现在不论是大模型本身，亦或是AI应用的更新速度简直令人直呼跟不上—— Sora、Suno、Udio、Luma……重磅应用一个接一个问世。 也正如来自InfoQ的调查数据显示的那般，虽然AIGC目前还处于起步阶段，但市场规模已初具雏形:...
-
力图缩小与NVIDIA差距！AMD豪掷6.65亿美元现金收购Silo AI
快科技7月11日消息，AMD近日宣布，将以6.65亿美元的全现金方式收购芬兰人工智能初创公司Silo AI，力图缩小与行业领导者NVIDIA的差距。 Silo AI作为欧洲最大的私人AI实验室之一，专注于为企业提供定制化的AI模型和平台。 此次收购将使AM...
-
[大模型]Llama-3-8B-Instruct FastApi 部署调用
环境准备 在 Autodl 平台中租赁一个 3090 等 24G 显存的显卡机器，如下图所示镜像选择 PyTorch-->2.1.0-->3.10(ubuntu22.04 -->12.1。 接下来打开刚刚租用服务器的 JupyterL...
-
Llama 3 模型微调的步骤
环境准备 操作系统：Ubuntu 22.04.5 LTS Anaconda3：Miniconda3-latest-Linux-x86_64 GPU： NVIDIA GeForce RTX 4090 24G Step 1. 准备conda环境 创...
-
全球247亿美元豪赌GenAI，疯狂入局AI成高风险博弈？
【新智元导读】面对GenAI的技术浪潮，很多人都会在不断迭代更新的技术中逐渐迷失。站在潮头的Sapphire、Emergence、Menlo等风投公司，又会如何看待这场AI变局的现状与走向? 根据Sapphire Ventures的数据，GenAI领域从2...
-
海外用户突破2亿，AI+办公软件的「化学反应」在哪里？| 对话一线
对话嘉宾: 张宁，金山办公全球业务副总经理 罗文冲，金山办公全球业务首席科学家 沈涛，亚马逊云科技中国区行业集群总经理 对话背景:10年+出海历程，WPS 官宣海外活跃用户突破2亿，在 AI 浪潮下，办公软件怎样与 AI 结合，才能对齐用户需求。 这一波...
-
AI日报：商汤Vimi视频生成大模型开放内测；腾讯智影上线AI视频功能；可直接生成6k图像的生成器UltraPixel
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ 1、商汤科技推出Vimi视频生成大...
-
RAG微调Llama 3竟超越GPT-4！英伟达GaTech华人学者提出RankRAG框架
【新智元导读】来自佐治亚理工学院和英伟达的两名华人学者带队提出了名为RankRAG的微调框架，简化了原本需要多个模型的复杂的RAG流水线，用微调的方法交给同一个LLM完成，结果同时实现了模型在RAG任务上的性能提升。 在需要大量事实知识的文本生成任务中，R...
-
LLama-Factory大模型训练框架，基于自己数据集微调qwen7B模型实战
一，项目简介 LLama-Factory，大模型训练框架，支持多种模型，多种训练方式， 项目github地址：link 项目特色 多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baic...
-
14-31 剑和诗人5 - 使用 AirLLM 和分层推理在单个 4GB GPU 上运行 LLama 3 70B
利用分层推理实现大模型语言(LLM 大型语言模型 (LLM 领域最近取得了显著进展，LLaMa 3 70B 等模型突破了之前认为可能实现的极限。然而，这些模型的庞大规模给其部署和实际使用带来了巨大挑战，尤其是在资源受限的设备上，例如内存有限的 GPU...
-
【大语言模型LLM】- Meta开源推出的新一代大语言模型 Llama 3
?博客主页：西瓜WiFi ?系列专栏：《大语言模型》 很多非常有趣的模型，值得收藏，满足大家的收集癖！ 如果觉得有用，请三连?⭐❤️，谢谢！ 长期不定时更新，欢迎watch和fork！❤️❤️❤️ ❤️感谢大家点赞? 收藏⭐ 评论⭐ ?大语言模...
-
大模型咨询培训老师叶梓：利用知识图谱和Llama-Index增强大模型应用
大模型（LLMs）在自然语言处理领域取得了显著成就，但它们有时会产生不准确或不一致的信息，这种现象被称为“幻觉”。为了提高LLMs的准确性和可靠性，可以借助外部知识源，如知识图谱。那么我们如何通过Llama-Index实现知识图谱与LLMs的有效交互，从而...
-
【Python】科研代码学习：十六 Model架构的代码细节，附架构图：Llama 为例 （v4.28.0）
【Python】科研代码学习：十六 Model与网络架构 的代码细节：Llama 为例（v4.28.0） 前言 导入依赖 `LlamaRMSNorm`：改进的 层正则化 `LlamaRotaryEmbedding`：旋转式位置编码 `Llama...
-
万字长文解析AI Agent技术原理和应用
本文分享自华为云社区《AI Agent框架（LLM Agent）：LLM驱动的智能体如何引领行业变革，应用探索与未来展望》，作者： 汀丶。 1. AI Agent（LLM Agent）介绍 1.1. 术语 Agent：“代理” 通常是指有意...
-
AI日报：快手上线可灵网页端并开源可图Kolors；达摩院AI视频平台“寻光”炸场；月之暗面推Kimi浏览器插件
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ 1、可灵AI又放大招：上线Web端...
-
陶哲轩点破「天机」：不懂数学别想靠ChatGPT飞升！
【新智元导读】冲锋在AI辅助数学研究第一线的陶哲轩，近日又有「神总结」:ChatGPT提升的，是我们在编码、图表等次要任务上的能力;而真要搞好数学研究，基础不扎实的话，AI也是没用的。 使用ChatGPT一年半了，陶哲轩的感想如何? 最近，一直冲锋在探索A...
-
AI+视频 | Nvidia 投资的AI公司，通过视频理解开创感知推理，获顶级风投5000万美元融资
在每天刷视频的时代，我们如何快速创作360度全方位理解的视频内容? Twelve Labs，一家旧金山初创公司，是由一支年轻的工程师团队Jae Lee 和 Aiden L 创立，该产品可在视频中提取特定视频瞬间，包括视觉、音频、文本和上下文信息，以实现语义...
-
llama_index 从 0 到 1：别再用传统方法处理数据了！LlamaIndex如何革新你的信息检索？
llama_index 从 0 到 1 llama_index 基础设施：数据连接、索引构建、查询接口 高级特性：六大核心功能来增强语言模型处理和响应外部数据的能力 数据连接器 Documents & Nodes (文档与节点 ...
-
[arxiv论文解读]LlamaFactory：100+语言模型统一高效微调
该文档是一篇关于LLAMAFACTORY的学术论文，这是一个用于高效微调大型语言模型（LLMs）的统一框架。这篇论文详细介绍了LLAMAFACTORY的设计、实现和评估，以及它在语言建模和文本生成任务中的应用。下面是对文档内容的详细解释： 摘要（Abst...
-
破解ChatGPT惊人耗电！DeepMind新算法训练提效13倍，能耗暴降10倍
【新智元导读】ChatGPT能耗惊人，该怎么解?谷歌DeepMind新算法JEST问世，让LLM训练的迭代次数降低13倍，计算量减少10倍，或将重塑AI未来。 ChatGPT早已成为世界耗能大户:一天用掉超50万度电，相当于1.7万个美国家庭的用电量! 然...