-
用 LLaMA-Factory 在魔搭微调千问
今天在魔搭上把千问调优跑通了，训练模型现在在 Mac 还不支持，需要用 N 卡才可以，只能弄个N 卡的机器，或者买个云服务器。魔搭可以用几十个小时，但是不太稳定，有的时候会自动停止。 注册账号 直接手机号注册就可以. 找到对应模型 这步可能不需...
-
Intel三条线优化阿里云通义千问2模型：720亿参数轻松拿捏
快科技6月7日消息，Intel官方宣布，旗下数据中心、客户端、边缘AI解决方案均已经为阿里云通义千问2（Qwen2）的全球发布提供支持，已取得ModelScope、阿里云PAI、OpenVINO等诸多创新成果。 为了最大限度地提升诸通义千问2等大模型的效率...
-
LLM之RAG之LlaMAIndex：llama-index(一块轻快构建索引来查询本地文档的数据框架神器)的简介、安装、使用方法之详细攻略
LLM之RAG之LlaMAIndex：llama-index(一块轻快构建索引来查询本地文档的数据框架神器 的简介、安装、使用方法之详细攻略 目录 LlamaIndex的简介 1、LlamaIndex有什么帮助? 2、核心原理 llama-i...
-
Llama模型家族之使用 Supervised Fine-Tuning（SFT）微调预训练Llama 3 语言模型（一） LLaMA-Factory简介
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
WhisperCLI-本地部署语音识别系统；Mis开源LLM推理平台；Dokploy-开源版Vercel；Mem-大规模知识图谱
1. Whisper-cli：可本地部署的开源语音识别系统 近日，Ruff的开发团队发布了一款名为Whisper cpp cli的全新语音识别系统，该系统已在GitHub Repo上开源。这是一款完全自主研发的语音转文字系统，基于Whisper技术构建。...
-
探索GGUF：利用llama.cpp高效运行大型语言模型
探索GGUF：利用llama.cpp高效运行大型语言模型 在人工智能领域，大型语言模型（LLM）的应用越来越广泛，但运行这些模型常常需要大量计算资源和复杂的配置。最近，一个名为llama.cpp的开源项目引起了广泛关注，它通过C/C++实现了一个高效的...
-
什么！Intel/AMD/Apple Silicon也能本地部署的Llama工具来了
主流的LLM都需要通过CUDA才能高效的运行在本地，但是随着Github上出现了Llama.cpp这个神器，一切都改变了。它通过AVX指令和MPI来实现CPU上并行计算，从而在本地计算机高效地运行各种主流的类Llama模型。同时它也支持metal，使得Ap...
-
全新推理框架SymbCoT 让大模型实现类人的符号逻辑推理能力
新加坡国立大学联合加州大学圣芭芭拉分校与奥克兰大学的研究人员提出了一种名为SymbCoT（Symbolic Chain-of-Thought）的全新推理框架，旨在提升大语言模型(LLMs 的符号逻辑推理能力。这一框架结合了符号化逻辑表达式与思维链，极大提升...
-
每日AIGC最新进展(6)：视觉一致插图序列生成、阿里巴巴电商人物产品互动图生成、Text-to-Vector生成、多视图扩散模型3D重建
Diffusion Models专栏文章汇总：入门与实战 Generating Coherent Sequences of Visual Illustrations for Real-World Manual Tasks http://arxiv....
-
OpenAI新作署名Ilya，提取1600万个特征看透GPT-4大脑！
【新智元导读】今天，OpenAI发布了一篇GPT-4可解释性的论文，似乎是作为前两天员工联名信的回应。网友细看论文才发现，这居然是已经解散的「超级对齐」团队的「最后之作」。 前两天，OpenAI的一群员工刚刚联名发表公开信，表示自主的AI系统正在失控，呼吁...
-
深度学习突破：LLaMA-MoE模型的高效训练策略
在人工智能领域，大模型（LLM）的崛起带来了前所未有的进步，但随之而来的是巨大的计算资源需求。为了解决这一问题，Mixture-of-Expert（MoE）模型架构应运而生，而LLaMA-MoE正是这一架构下的重要代表。 LLaMA-MoE是一种基于...
-
3550万美元A轮融资，Praktika携手AI虚拟导师打造沉浸式英语学习课堂
大多数语言学习应用通过选择选项或滑动卡片进行互动，用户或多或少是在与机器互动。然而，Praktika 则采用了不同的方法:它让用户创建个性化的 AI 虚拟形象，模拟真人面授导师的课堂体验，利用语音语调和情感，使语言学习更加自然。 Sense 思考 我们尝试...
-
基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （四）
基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （四） 大家继续看 https://lilianweng.github.io/posts/2023-06-23-agent/的文档内容 第三部分：工具使用 工具的使用是人类...
-
2024 年 WWDC 上苹果 AI 驱动的 iOS 18 有哪些值得期待的？
苹果全球开发者大会将于下周开幕，这一活动有望成为iPhone制造商历史上的关键时刻。尽管去年的大会上首次亮相了Vision Pro，但今年的WWDC2024主要关注点将不在硬件上，而是集中在软件方面，特别是iOS18的发布。大会将于周一太平洋时间上午10点...
-
一文讲清楚，AI、AGI、AIGC与AIGC、NLP、LLM，ChatGPT等概念
前言 随着chatgpt3.5的横空出试，大模型爆火，这个风暴传递到了各行各业。 各类公众号、帖子，也涌现出了各种概念，AI、大模型、LLM、AI、AIGC、AGI、GPT、ChatGPT等等。 总觉得被这些概念搞得头晕。 我花了点时间，梳理了下...
-
Llama模型家族训练奖励模型Reward Model技术及代码实战（一）
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
这个团队做了OpenAI没Open的技术，开源OpenRLHF让对齐大模型超简单
随着大型语言模型（LLM）规模不断增大，其性能也在不断提升。尽管如此，LLM 依然面临着一个关键难题：与人类的价值和意图对齐。在解决这一难题方面，一种强大的技术是根据人类反馈的强化学习（RLHF）。 但是，随着模型越来越大，RLHF 通常需要维持多个模型...
-
Llama 3消费级PC安装与运行教程
我是 Llama 的忠实粉丝。 Meta 发布其 LLM 开源代码对整个科技界来说是一项净收益，其宽松的许可证允许大多数中小型企业在几乎没有任何限制的情况下使用其 LLM（当然，在法律范围内）。 他们的最新版本是备受期待的 Llama 3。 Llama...
-
OpenAI前员工预测：2027年AGI降临！GPT智商飙升，4年从幼儿园蹿到高中生
AGI到底是科技公司画的大饼，还是可预测的未来？ 几天前，Anthropic一名25岁的高管在博客上发文，表示自己已经准备好了3年后退休，让AI取代自己的工作。 最近，OpenAI前员工的一篇博客文章也有类似的观点。 图片 他不仅认为AGI很可能实现，而...
-
LLM微调技术LoRA图解
译者 | 朱先忠 审校 | 重楼 简介 当涉及到大型语言模型时，微调可能是人们讨论最多的技术方面的内容之一。大多数人都知道，训练这些模型是非常昂贵的，需要大量的资本投资;所以，看到我们可以通过采用现有的模型并用自己的数据对模型进行微调，从而创建一个具有...
-
清北爸爸辅导数学崩溃瞬间，这个国产大模型有解！AI启发问答关键情绪稳定
【新智元导读】辅导孩子写作业这件事，竟难倒了一众清北爸爸、海淀妈妈。不过，最近爆火的这个国产大模型，让无数家长疯狂冲进视频留言，直接把它评为国内家长最想要的AI! 前几天，微博热搜上的这个话题，可以说是让家长们哭笑不得。 既然补习老师不靠谱，那亲自上阵辅...
-
从提示工程到代理工程：构建高效AI代理的策略框架概述
自ChatGPT推出以来，仅仅一年多的时间里，公众对于“人工智能”（AI）的认识已经发生了根本性的变化。这种变化部分源于公众意识的提高，更多则是基于这样一个认识：AI驱动的系统不仅可能，而且可能已经具备了与人类相当的能力和表现。ChatGPT不仅是AI能...
-
照片特定风格变换Stylar AI；GPT-4V开源替代方案InternVL；纯C/C++实现的Stable Diffusion库；基于AI的数据爬取
✨ 1: AI Photo Filter Stylar AI是一款功能强大的AI图像编辑与设计工具，提供无与伦比的图片组合和风格控制。 AI Photo Filter，简言之，就是使用人工智能技术来改善或改变图片的风格、质量和元素组合的一种...
-
Github万星！北航发布零代码大模型微调平台LlamaFactory
在人工智能领域，大语言模型（LLMs）已成为推动技术进步的关键力量。它们在理解和生成自然语言方面展现出了卓越的能力，从而在问答系统、机器翻译、信息提取等多样化任务中发挥着重要作用。然而，要将这些模型适配到特定的下游任务中，通常需要进行微调（fine-tun...
-
使用Rag和Sem-Rag提供上下文增强AI编码助手
通过将检索增强生成和语义记忆纳入 AI 编码助手，提升开发人员的生产力、效率和准确性。 译自Enhancing AI Coding Assistants with Context Using RAG and SEM-RAG，作者 Janakiram MS...
-
与AI结对：一位高级开发人员构建插件的历程
作者分享了他使用 ChatGPT 学习 Go、浏览 Kolide API 以及构建一个复杂的 Steampipe 插件的经验。 译自Pairing With AI: A Senior Developer's Journey Building a Plug...
-
Unity接入文心一言大模型
一、百度云平台创建应用 1、创建一个自己的应用 https://console.bce.baidu.com/qianfan/ais/console/applicationConsole/application 2、获取ApiKey和Secret...
-
在OpenHarmony本地部署大语言模型
本文将第二届OpenHarmony技术大会上展示的《在OpenHarmony本地部署大语言模型》成果开源，开源地址：https://gitee.com/openharmony-sig/tpc_c_cplusplus/blob/master/thirdp...
-
使用llama-index连接neo4j知识图谱 达成大模型构建查询知识图谱功能
使用llama-index连接neo4j知识图谱 达成本地大模型构建查询知识图谱功能 概述 目标 主要步骤 1. 安装依赖项 2. 配置环境 配置ollama 3. 使用Neo4j构建知识图谱 准备Neo4j 实例化Neo4jGraph...
-
别再说国产大模型技术突破要靠 Llama 3 开源了
近日，千呼万唤之下，Meta终于发布了开源大模型Llama 3的 8B 和 70B 版本，再次震动 AI 圈。 Meta 表示，Llama 3 已经在多种行业基准测试上展现了最先进的性能，提供了包括改进的推理能力在内的新功能，是目前市场上最好的开源大模型...
-
使用LangChain和Llama-Index实现多重检索RAG
大家好，在信息检索的世界里，查询扩展技术正引领着一场效率革命。本文将介绍这一技术的核心多查询检索，以及其是如何在LangChain和Llama-Index中得到应用的。 1.查询扩展 查询扩展是一种信息检索技术，通过在原始查询的基础上增加相关或同义的词...
-
LLM并发加速部署方案（llama.cpp、vllm、lightLLM、fastLLM）
大模型并发加速部署 解析当前应用较广的几种并发加速部署方案！ llama.cpp、vllm、lightllm、fastllm四种框架的对比： llama.cpp：基于C++，①请求槽，②动态批处理，③CPU/GPU混合推理 vllm：基于Pyth...
-
GPT-4o 的高阶用法，效率飞升！
大家好，我是老渡。 GPT-4o 已经是非常强的大模型了，这么强大的模型，如果再配上优秀的 prompt（提示词） 和工具，分分钟构造出更强大的智能体。 智能体 = prompt + LLM + 工具 先来说说如何写出优秀的 prompt，以下面这个 p...
-
GPT-4o与SQL：大模型改变自身架构的能力有多强？
作者丨David Eastman 编译丨诺亚 出品 | 51CTO技术栈（微信号：blog51cto） 尽管没有任何大型语言模型（LLM）骑过自行车，但它们显然理解骑行在人类交通领域中的作用。它们似乎为软件开发者提供的是一种类似语义的现实世界知识，结合了...
-
【完整指南】如何在Visual Studio Code中轻松运行Llama 3模型？
Meta 发布了最新的开源语言模型Llama 3。因为它是开源的，你可以下载这个模型，并在自己的电脑上运行。 我清楚，你可能会想，在个人笔记本上运行一个拥有80亿参数的AI模型似乎只有技术高手才能做到。但别担心！这篇文章会提供一个简单的步骤指导，帮助每个...
-
RAG 架构如何克服 LLM 的局限性
检索增强生成促进了 LLM 和实时 AI 环境的彻底改造，以产生更好、更准确的搜索结果。 译自How RAG Architecture Overcomes LLM Limitations，作者 Naren Narendran。 在本系列的第一部分中，我重...
-
科学家利用GenAI发现物理学新见解
在生成式人工智能（GenAI）帮助下，麻省理工和瑞士巴塞尔大学的研究人员开发了一种新的机器学习（ML）框架，可以帮助发现关于材料科学的新见解。这项研究的结果发表在《物理评论快报》上。 当水从液体转变为固体时，它经历了重要的转变性质，如体积和密度。水的相...
-
提高技能的十个生成式人工智能证书和课程
虽然现在才刚刚出现，但人工智能证书和证书项目可以帮助你学习新技能，并有可能创造新的职业机会。这里有10条值得考虑。 生成式人工智能即将颠覆几乎所有行业，随着越来越多的企业寻求利用该技术实现各种数字和运营计划，对拥有广受追捧的人工智能技能的IT专业人员的...
-
大模型到底有没有智能？一篇文章给你讲明明白白
生成式人工智能 (GenAI[1] 和大语言模型 (LLM[2] ，这两个词汇想必已在大家的耳边萦绕多时。它们如惊涛骇浪般席卷了整个科技界，登上了各大新闻头条。ChatGPT，这个神奇的对话助手，也许已成为你形影不离的良师益友。 然而，在这场方兴未艾的...
-
迈向『闭环』| PlanAgent：基于MLLM的自动驾驶闭环规划新SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 中科院自动化所深度强化学习团队联合理想汽车等提出了一种新的基于多模态大语言模型MLLM的自动驾驶闭环规划框架—PlanAgent。该方法以场景的鸟瞰图和基于图的文本提示为输入，利用多模态大语言模型的多...
-
LLM | 偏好学习算法并不学习偏好排序
图片 一、结论写在前面 偏好学习算法（Preference learning algorithms，如RLHF和DPO）常用于引导大型语言模型（LLMs）生成更符合人类偏好的内容，但论文对其内部机制的理解仍有限。论文探讨了传统观点，即偏好学习训练模型通过...
-
本地使用Groq Llama 3 70B的逐步指南
译者 | 布加迪 审校 | 重楼 本文介绍了如何使用Groq LPU推理引擎在Jan AI和VSCode中生成超快速响应。 每个人都致力于构建更好的大语言模型(LLM ，而Groq专注于AI的基础设施方面，旨在确保这些大模型更快速响应。 本教程将介绍...
-
多语言模型微调统一框架 LlAMAFACTORY: 统一高效微调100多种语言模型
文章目录 摘要 1 引言 2 高效微调技术 2.1 高效优化 2.2 高效计算 3 LlAMAFACtORY框架 3.1 模型加载器 3.2 数据处理工作者 3.3 训练器 3.4 实用工具 3.5 LLAMABOARD：LLAMAFAC...
-
【AI】本地部署可以与文件沟通的GPT：Llama 2 + GPT4All + Chroma
【背景】 还是继续致力于实践可以保护数据隐私的本地化LLM部署。 这次用的是Llama 2 + GPT4All + Chroma实现RAG。 【概念】 基于LangChain模板的各个部分的作用： Llama2-》语言模型管理 GPT4AL...
-
一文读懂如何基于 Ollama 在本地运行 LLM
为什么要使用 Ollama 开源项目 ? 在当今人工智能技术飞速发展的时代，大型语言模型(LLM 无疑已成为焦点炯炯的科技明星。自从ChatGPT的推出以来，其强大的自然语言理解和生成能力便惊艳了全球，成为人工智能商业化进程中的杰出代表。 然而，这一领域...
-
LlamaFactory源码解析 PPO
class CustomPPOTrainer(PPOTrainer, Trainer : r""" Inherits PPOTrainer. """ def __init__( self,...
-
被作者删库的Llama 3-V原文再现！效果匹敌GPT4-V，训练费用暴降，区区不到500 美元，尺寸小100 倍，如何做到的
编译 | 言征 作者 | Aksh Garg 备注：发稿前作者已经删掉原文 出品 | 51CTO技术栈（微信号：blog51cto） 近日，一款Llama3V最近被“先红后黑”的出了圈。作为全球顶尖研究学府的团队，身陷“抄袭”中国大模型的泥潭后，火速删稿...
-
为什么你的RAG不起作用？失败的主要原因和解决方案
无数企业正在尝试使用检索增强生成（RAG），但在制作这些系统达到生产质量时普遍会感到失望。因为他们的RAG不仅运行效果差，而且对于如何改进和如何进行后续的工作也感到十分的迷茫。 其实阻碍RAG系统的一个关键因素是语义不协调，这是由于任务的预期含义、RA...
-
Karpathy点赞，这份报告教你如何用 LLaMa 3创建高质量网络数据集
众所周知，对于 Llama3、GPT-4 或 Mixtral 等高性能大语言模型来说，构建高质量的网络规模数据集是非常重要的。然而，即使是最先进的开源 LLM 的预训练数据集也不公开，人们对其创建过程知之甚少。 最近，AI 大牛 Andrej Karpa...
-
一文读懂如何基于Ollama在本地运行LLM
“Mixtral有46.7B的总参数，但每个令牌只使用12.9B参数。因此，它以与12.9B型号相同的速度和成本处理输入并生成输出。” 为什么要使用 Ollama 开源项目 ? 在当今人工智能技术飞速发展的时代，大型语言模型(LLM 无疑已成为焦点炯炯...