-
llamafile本地安装配置并部署及远程测试大语言模型详细实战教程
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老 导航 檀越...
-
深度解读 Llama 3.1 技术报告：从405B参数到24000块H100集群
Meta在最近发布了他们的开源大模型Llama 3.1，引起了广泛的关注和讨论。随着热度逐渐退潮，Llama 3.1 的详细技术报告也公开了。这份报告揭示了很多关于Llama 3.1 的技术细节和实现原理。本文将从模型参数、基础设施、预训练、后训练等方面，...
-
检索生成(RAG) vs 长文本大模型：实际应用中如何选择？
编者按：大模型的上下文理解能力直接影响到 LLMs 在复杂任务和长对话中的表现。本期内容聚焦于两种主流技术：长上下文(Large Context Windows 和检索增强生成(RAG 。这两种技术各有何优势？在实际应用中，我们又该如何权衡选择？ 文章...
-
小窗AI问答机有哪些功能？怎么使用方法详细教程指南
小窗AI问答机 是什么？ 小窗® 对话式 AI 问答机是一款基于大语言模型（LLM）的人工智能技术产品，主要面向孩子群体，帮助他们在学习和生活中获取知识，提升独立思考、提问和语言表达能力。该产品的优点包括博学多知的超级博士、随时交谈的外语陪练、无穷创意的...
-
基于华为昇腾910B和LLaMA Factory多卡微调的实战教程
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三...
-
Datawhale AI夏令营第四期AIGC方向Task2学习笔记
Kolors（可图）模型 Kolors是由快手团队开发的大规模文本到图像生成模型（可图 · 模型库 (modelscope.cn ）根据链接的文章内容，Kolors在视觉质量、复杂语义准确性以及中英文字符的文本渲染方面，显著优于开源和专有...
-
关于Stable diffusion的各种模型，看这篇就可以了！
前言 这篇文章主要是帮大家梳理下Stable diffusion里面的各种模型，模型在Stable diffusion中占据着至关重要的地位，不仅决定了出图的风格，也决定了出图质量的好坏。 但在第一次接触SD的时候，我就被里面的模型搞到头大，不仅有多...
-
语言图像模型大一统！Meta将Transformer和Diffusion融合，多模态AI王者登场
【新智元导读】就在刚刚，Meta最新发布的Transfusion，能够训练生成文本和图像的统一模型了!完美融合Transformer和扩散领域之后，语言模型和图像大一统，又近了一步。也就是说，真正的多模态AI模型，可能很快就要来了! Transformer...
-
Llama 3.1中文微调数据集已上线，超大模型一键部署
7 月的 AI 圈真是卷完小模型卷大模型，精彩不停！大多数同学都能体验 GPT-4o、Mistral-Nemo 这样的小模型，但 Llama-3.1-405B 和 Mistral-Large-2 这样的超大模型让很多小伙伴犯了难。 别担心！hyper.a...
-
摩尔线程开源音频理解大模型MooER：38小时训练5000小时数据
快科技8月23日消息，摩尔线程官方宣布，音频理解大模型MooER”（摩耳）已经正式开源，并公布在GitHub上：https://github.com/MooreThreads/MooER 目前开源的内容包括推理代码，以及5000小时数据训练的模型，后续还将...
-
最强终端部署的多模态MiniCPM-V模型部署分享（不看后悔）
MiniCPM-V模型是一个强大的端侧多模态大语言模型，专为高效的终端部署而设计。 目前该模型有MiniCPM-V 1.0、MiniCPM-V 2.0和MiniCPM-Llama3-V 2.5版本。 MiniCPM-V 1.0模型：该模型系列第一个版本...
-
基础模型在亚马逊的BEDROCK测试
前 言 通过 Amazon Bedrock，开发者可以轻松使用多种最新领先基础模型（FM）进行构建。本实验中，您将了解和体验到在 Amazon Bedrock 中模型的基础使用方法，以便您快速构建强大安全的大语言模型（LLM）应用，其中包括：...
-
一文理解生成式AI应用的五个级别：Tool、Chatbot、Copilot、Agent 和 Intelligence
当下，很多人对 AI 一知半解，并不能很好地区分：Tool、Chatbot、Copilot、Agent 和 Intelligence 概念之间的区别。 最近读完 《真格基金戴雨森谈生成式AI：这是比移动互联网更大的创业机会，开始行动是关键 》 发现讲的特别...
-
全球首个语音指挥FPS AI ，腾讯魔方携最新AI成果亮相科隆展
AI究竟会如何改变游戏?这应该是全球游戏行业近年最为关注的问题之一。在最近正在德国举办的全球最大游戏展—科隆游戏展上，腾讯游戏魔方工作室群技术中心联合《暗区突围:无限》项目组，首次对外公布其全球首个语音指挥FPSAIF.A.C.U.L.的技术Demo。这是...
-
法律 | 法律人AI使用指南
原文：法律 | 法律人AI使用指南|法官|法院|文书|公司法_网易订阅 01 引言 过去半年多，我一直在尝试着用AI来辅助自己的各项法律工作，将AI融入自己的日常工作之中，并试图形成自身稳定的“法律+AI”工作流。在此过程中，我时常惊讶于AI高效的工...
-
华为昇腾Ascend系列 之 01 什么是昇腾芯片？AIGC浪潮已至，进一步推动对芯片和算力的需求，主流 GPGPU/ASIC 产品性能对比（Ascend 910、Ascend 910B）
什么是昇腾Ascend 910、Ascend 910B 昇腾 310 和 910 处理器为华为AI 算力领域核心产品，910 单卡 Int8 算力大致可达 0.6 P，最大功耗为 300W，已可对标国际主流 GPU。且昇腾计算产业在硬件方面坚持“硬件开...
-
快速上手文心一言
在日常工作和学习中，人工智能的应用越来越广泛。文心一言是百度推出的一款人工智能大语言模型产品，它可以根据上一句话预测生成下一段话，帮助我们获取信息、知识和灵感。以下是对文心一言的介绍和使用方法。 一、什么是文心一言 文心...
-
MSRA古纾旸：2024年，视觉生成领域最重要的问题有哪些？
文章链接: https://arxiv.org/pdf/2407.18290 亮点直击 概述了视觉生成领域中的各种问题。 这些问题的核心在于如何分解视觉信号，其他所有问题都与这一核心问题密切相关，并源于不适当的信号分解方法。 本文旨...
-
T-Eval：大模型智能体能力评测基准解读 | ACL 2024
AI Agent（智能体）作为大模型的重要应用模式，能够通过使用外部工具来执行复杂任务，完成多步骤的工作流程。为了更全面地评估模型的工具使用能力，司南及合作伙伴团队推出了T-Eval评测基准，相关成果论文已被ACL 2024主会录用，点击链接可查看原文：h...
-
一文搞定大模型备案
《生成式人工智能服务安全基本要求》背景 1.1.基本要求对应的流程和介绍 "生成式人工智能服务安全基本要求"是针对"生成式人工智能（大语言模型）上线备案"流程制定的标准，这一流程也被称作"大模型上线备案"。这是继"生成合成（深度合成）类算法备案"之...
-
Llama中文大模型-模型微调
同时提供了LoRA微调和全量参数微调代码，关于LoRA的详细介绍可以参考论文“[LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685 ”以及...
-
论文阅读-Transformer Layers as Painters
1. 摘要 尽管大语言模型现在已经被广泛的应用于各种任务，但是目前对其并没有一个很好的认知。为了弄清楚删除和重组预训练模型不同层的影响，本文设计了一系列的实验。通过实验表明，预训练语言模型中的lower和final layers与中间层分布不一致，并且...
-
技术证书认证-附考试答案-AIGC与大模型通识-英特尔大湾区科技创新中心证书认证
目录 课程简介 面向人群 考核步骤 试题答案 知孤云出岫主页 课程以及考试链接：AIGC与大模型通识 - 英特尔大湾区科技创新中心 【英特尔大湾区科技创新中心】公益新课《AIGC与大模型通识》上线官网！首期结业认证进行中，提升...
-
本地部署 Llama 3.1：Ollama、OpenWeb UI 和 Spring AI 的综合指南
、 本文介绍如何使用 Ollama 在本地部署 Llama 3.1:8B 模型，并通过 OpenWeb UI 和 Spring AI 来增强模型交互体验和简化 API 的调用过程。 Ollama Ollama 是一个开源的大语言模型服...
-
深入剖析大模型安全问题：Langchain框架的隐藏风险
随着大模型热度持续，基于大模型的各类应用层出不穷。Langchain 作为一个以 LLM 模型为核心的开发框架，可以帮助我们灵活地创建各类应用，同时也为大模型的应用引入新的安全隐患。从今年 4 月 Langchain 被爆出在野 0day 漏洞开始，各类安...
-
【RAG检索增强生成】MaxKB：构建企业级知识库问答系统（Ollama+Qwen2）
目录 引言 1、MaxKB概述 1.1 定义与目标 1.2 特点与优势 2、MaxKB原理 3、MaxKB架构 4、基于MaxKB+Ollama+Qwen2搭建本地知识库 4.1 环境准备 4.2 部署MaxKB 4.3 部署Ollama...
-
Maxkb——无需代码，快速构建自己的AI助手
目录 1、maxkb的介绍 2、maxkb的安装步骤 2.1、硬件需求 2.2、搭建Docker环境 2.3、安装maxkb（使用命令形式） 2.4、使用1Panel安装 2.5、访问MaxKB 3、创建AI应用 4、内嵌项目 随...
-
LLAMA Factory: 简洁高效的大语言模型训练平台
LLAMA Factory: 简洁高效的大语言模型训练平台 LLaMA-Factory易于使用的LLM微调框架（LLaMA, BLOOM, Mistral, 百川， Qwen, ChatGLM）。项目地址:https://gitcode.com/gh_...
-
AI绘图：小白的第一本Stable Diffusion入门手册
本文包含大量AI干货 阅读完大约需要8分钟 ☞加入AI知识星球【AIGC（文本图像视频）特训营】，一起修炼AI ☞关注公众号【AIGC前沿洞察】，后台发送"AI"更可获取超多免费AI资源包 目录 1 AI图片生成——凝固的梦幻瞬间...
-
DeepMind科学家：LLM没有过度炒作！亲身分享50个AI用例让工作效率飞升50%
Nicholas Carlini是谷歌DeepMind的一位研究科学家，近日，他撰写了一篇长达8万字的文章，介绍自己是怎么使用AI的。 他详细列举了自己日常使用AI的50个实例，而且说这些只是他所有AI应用的不到2%。 文章地址:https://nich...
-
Datawhale X魔搭AI夏令营 魔搭-AIGC方向 Task2笔记
Datawhale X魔搭AI夏令营 魔搭-AIGC方向 Task2笔记 经过TASK1的学习，我们都或多或少地了解了AI作图的相关知识，那么接下来我们需要学习的便是深入Prompt工程与微调，精准理解AI作图个中原理，深刻探究文生图背...
-
Meta发布新肥羊：Llama 3.1 大模型
Meta 的新 Llama 3.1 模型已经发布，开始与 GPT-4o 和 Claude 3.5 Sonnet 竞争。 Meta 在 23 号宣布其开源 AI 模型 Llama 已发布最新版本。据 Meta 称，随着 Llama 3.1 405B 的...
-
Character.AI组团投身谷歌 AI小厂为何难逃「卖身」宿命？
又一家AI独角兽公司被大厂“收编”。8月2日，AI创业公司Character.AI的联合创始人、CEO Noam Shazeer 加入DeepMind团队，双方还签了个非独家协议:Character.AI授权谷歌使用其模型，谷歌则为Character.AI...
-
Huatuo Llama Med Chinese 教程
Huatuo Llama Med Chinese 教程 Huatuo-Llama-Med-ChineseRepo for BenTsao [original name: HuaTuo (华驼 ], Instruction-tuning Large La...
-
马斯克xAI新计划：人工智能模型Grok 2测试版即将发布
特斯拉CEO马斯克在X平台上表示，人工智能模型{tag_keyurl_2} 2测试版即将发布。 Grok，作为xAI公司的明星大语言模型，其首代产品Grok 1已凭借神经演化计算与深度学习技术的深度融合，展现了超乎想象的学习速度与智能深度，赢得了业界的广泛...
-
阿里开源新语音模型，比OpenAI的Whisper更好！
阿里巴巴在Qwen-Audio基础之上，开源了最新语音模型Qwen2-Audio。 Qwen2-Audio一共有基础和指令微调两个版本，支持使用语音向音频模型进行提问并识别内容以及语音分析。 例如，让一位女生说一段话，然后识别她的年纪或解读她的心情;发布一...
-
从LLaMa 3 技术报告，再看LLM构建过程 ——《带你自学大语言模型》系列（番外）
本系列目录 《带你自学大语言模型》系列部分目录及计划，完整版目录见：带你自学大语言模型系列 —— 前言 第一部分 走进大语言模型（科普向） 第一章 走进大语言模型 1.1 从图灵机到GPT，人工智能经历了什么？——《带你自学大语言模型...
-
大模型笔记之-Llama-3.1-405B-Instruct-FP8离线部署[8*A800] 基于vLLM 版本v0.5.3.post1
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、硬件环境 二、软件环境 三 . 模型下载 1.环境准备 新建 conda虚拟环境 安装vLLM 启动命令 启动日志截取 FP8 量化损失 对接...
-
llama模型，nano
目录 llama模型 Llama模型性能评测 nano模型是什么 Gemini Nano模型 参数量 MMLU、GPQA、HumanEval 1. MMLU（Massive Multi-task Language Understanding）...
-
[AI]如何在本地windows运行llama模型（CPU可运行）
一、为什么我们要在本地运行llama模型？ 想必大家已经体验过GPT， Claude，亦或是国内开源的GLM，这些强大的模型了，但是这些大模型虽然强大但有的要么收费，要么在本地部署对硬件要求高，要么就是本地部署的配置繁琐，对小白很不友好。...
-
Llama-2 vs. Llama-3：利用微型基准测试（井字游戏）评估大模型
编者按： 如何更好地评估和比较不同版本的大语言模型？传统的学术基准测试固然重要，但往往难以全面反映模型在实际应用场景中的表现。在此背景下，本文作者别出心裁，通过让 Llama-2 和 Llama-3 模型进行井字游戏对决，为我们提供了一个新颖而有趣的模型评...
-
Gary Marcus：生成式AI泡沫将退，神经符号AI才是未来
近日，人类神经科学和人工智能交叉领域的学者Gary Marcus发文，对生成式人工智能的未来做出了大胆预测:在接下来的12个月内，当前围绕生成式人工智能的泡沫将会破裂。他认为，“生成式人工智能最根本的缺陷在于其可靠性问题”，系统仍会产生幻觉进而生成虚假信息...
-
AIGC大模型如何赋能电力智能问答服务？
随着互联网不断发展以及电力客户服务需求的日益提升，单纯依靠人工的电力客服已经无法安全满足业务量的发展，电力智能问答成为重要的创新服务方式。精准、快速地解答用户问题是智能问答的核心价值。 近期AIGC的智能技术的发展，为智能问答提升注入了新的催化剂，推动智...
-
李沐团队发布Higgs-Llama-3-70B，角色扮演专用模型
前言 近年来，大语言模型（LLM）在各个领域都展现出强大的能力，尤其是其在对话、写作、代码生成等方面的应用越来越广泛。然而，想要让 LLM 真正地融入人类社会，扮演各种角色，还需要具备更强大的角色扮演能力。 为了解决这一问题，李沐团队（Boson AI...
-
如何定量分析 Llama 3，大模型系统工程师视角的 Transformer 架构
读完全文后，你将获得回答以下问题的能力（参考答案，请见最后一章节）： Llama 3 技术博客说 70B 模型、最长序列 8K、15T Tokens，训练了 640w GPU 时，这发挥了 H100 理论算力（989TFlops）的百分之多少?...
-
Win环境下Ollama+OpenWebUI本地部署llama教程
本文将简单介绍如何在Windows环境下通过Ollama本地部署大语言模型（LLM），并通过OpenWebUI实现访问。 一、准备工作 1. 系统要求 操作系统：Windows 10 或更新版本 内存：16GB 以上 GPU：性能和显存足够，如RT...
-
AI产品活跃用户排名出炉！文心一言APP国内第一，Kimi疯狂掉队
AI视频生成：小说文案智能分镜+智能识别角色和场景+批量Ai绘图+自动配音添加音乐+一键合成视频https://aitools.jurilu.com/ 6月28日，极光大数据旗下月狐数据发布2024年5月中国生成式AI行业市场热点月度分析...
-
普通电脑也能跑大模型，三步搞定私人AI助手 | LLaMA-3本地部署小白攻略
“ 在你的电脑上运行一个强大的AI助手，它不仅能力超群，还把所有秘密都藏在你的硬盘里。好奇这是如何实现的吗？动动手，三分钟就可以完成LLaMA-3的本地部署！” 01 — LLaMA-3 最近在试验检索增强生成（RAG）...
-
山大软院创新实训之大模型篇（二）——Llama Factory微调Qwen实践
山大软院创新实训之大模型篇（二）——Llama Factory微调Qwen实践 LLaMA Factory 是一个用于微调和部署 LLaMA (Large Language Model Applications 模型的框架。它旨在简化大语言模型的使用...
-
大模型行业，根本没有什么“真”开源？
最近一段时间开源大模型市场非常热闹，先是苹果开源了 70 亿参数小模型DCLM，然后是重量级的Meta的Llama 3.1 和Mistral Large2 相继开源，在多项基准测试中Llama 3. 1 超过了闭源SOTA模型。 不过开源派和闭源派之间的争...