-
LLM | 偏好学习算法并不学习偏好排序
图片 一、结论写在前面 偏好学习算法（Preference learning algorithms，如RLHF和DPO）常用于引导大型语言模型（LLMs）生成更符合人类偏好的内容，但论文对其内部机制的理解仍有限。论文探讨了传统观点，即偏好学习训练模型通过...
-
多语言模型微调统一框架 LlAMAFACTORY: 统一高效微调100多种语言模型
文章目录 摘要 1 引言 2 高效微调技术 2.1 高效优化 2.2 高效计算 3 LlAMAFACtORY框架 3.1 模型加载器 3.2 数据处理工作者 3.3 训练器 3.4 实用工具 3.5 LLAMABOARD：LLAMAFAC...
-
套壳丑闻让斯坦福AI Lab主任怒了！抄袭团队2人甩锅1人失踪、前科经历被扒，网友：重新认识中国开源模型
斯坦福团队抄袭清华系大模型事件后续来了—— Llama3-V团队承认抄袭，其中两位来自斯坦福的本科生还跟另一位作者切割了。 最新致歉推文，由Siddharth Sharma（悉达多）和Aksh Garg（阿克什）发出。 不在其中、来自南加利福尼亚大学的M...
-
〔003〕Stable Diffusion 之 界面参数和基础使用 篇_stable diffusion 参数设置
✨ 目录 ▷ 界面参数 ▷ 采样器 ▷ 文生图（txt2img） ▷ 图生图（img2img） ▷ 标签权重 ▷ 模型下载 ▷ 界面参数 在使用 Stable Diffusion 开源 AI 绘画之前，需要了解一下绘画的界面...
-
GPT Researcher：破解复杂研究的AI利器
作者 | 崔皓 审校 | 重楼 在现代研究环境中，处理如详尽研究工作或学术论文撰写等复杂任务对当前的大型语言模型(如ChatGPT 来说是一个挑战。这些任务通常需要长时间的手动干预和多步骤操作，现有的AI工具往往无法在没有人类帮助的情况下完成这些复杂任...
-
具身智能的视觉-语言-动作模型：综述
本文经自动驾驶之心公众号授权转载，转载请联系出处。 24年5月论文“A Survey on Vision-Language-Action Models for Embodied AI”。 深度学习已在计算机视觉、自然语言处理和强化学习等许多领域取得了显著...
-
微软ML Copilot框架释放机器学习能力
摘要：大模型席卷而来，通过大量算法模型训练推理，能根据人类输入指令产生图文，其背后是大量深度神经网络模型在做运算，这一过程称之为机器学习，本文从微软语言大模型出发，详解利用大型语言模型（Large Language Models, LLMs）解决实际机器学...
-
开源模型进展盘点：最新Mixtral、Llama 3、Phi-3、OpenELM到底有多好？
深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 对 AI 大模型有着深刻的洞察，也会经常把一些观察的结果写成博客。在一篇 5 月中发布的博客中，他盘点分析了 4 月份发布的四个主要新模型：Mix...
-
首个智慧城市大模型UrbanGPT，全面开源开放｜港大&百度
时空预测技术，迎来ChatGPT时刻。 时空预测致力于捕捉城市生活的动态变化，并预测其未来走向，它不仅关注交通和人流的流动，还涵盖了犯罪趋势等多个维度。目前，深度时空预测技术在生成精确的时空模型方面，依赖于大量训练数据的支撑，这在城市数据不足的情况下显得...
-
Nvidia发布GeForce RTX增强版，为AI PC数字助手提供支持
Nvidia 在Computex 展会上推出了新的 RTX 技术，为新的 GeForce RTX AI 笔记本电脑提供动力。其中，Project G-Assist 技术演示为 PC 游戏和应用提供上下文感知的帮助。这项技术首次在 Studio Wildca...
-
大模型“分区”部署在云和边缘更合适？
作者 | David Linthicum 出品 | 51CTO技术栈（微信号：blog51cto） 众所周知，大型语言模型（LLMs）需要大量的计算资源。这意味着开发和部署主要集中在强大的集中式系统上，如公共云提供商。然而，尽管许多人认为我们需要大量的...
-
llama_factory微调QWen1.5
GitHub - hiyouga/LLaMA-Factory: Unify Efficient Fine-Tuning of 100+ LLMsUnify Efficient Fine-Tuning of 100+ LLMs. Contribute to...
-
10 分钟，教你如何用 LLama-Factory 训练和微调 LLama3 模型
本文将探讨于2024年3月21日发布的LLama-Factory，并学习如何使用 DigitalOcean 旗下的 Paperspace平台对 LLama 3 进行微调。为了完成我们的任务，我们将使用 NVIDIA A4000 GPU，它被认为是功能最强大...
-
基于 Llama-Index、Llama 3 和 Qdrant，构建一个 RAG 问答系统！
构建一个使用Llama-Index、Llama 3和Qdrant的高级重排-RAG系统 尽管大型语言模型（LLMs）有能力生成有意义且语法正确的文本，但它们面临的一个挑战是幻觉。 在LLMs中，幻觉指的是它们倾向于自信地生成错误答案，制造出看似令人信...
-
六位一线AI工程师总结爆火！大模型应用摸爬滚打一年心得公开，网友：全程高能
六位一线AI工程师和创业者，把在大模型应用开发上摸爬滚打一整年的心得，全!分!享!了! （奇怪的六一儿童节大礼包出现了） 这篇干货长文，一时间成为开发者社区热议的话题。 有网友评价为，大模型领域少有的“有操作性”的实用见解，非常值得一读。 这6位作者来...
-
Llama 3 模型家族构建安全可信赖企业级AI应用之 CyberSecEval 2：量化 LLM 安全和能力的基准（一）
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
LLMs之FineTuning：Alpaca格式/Vicuna的sharegpt 格式数据集简介、利用多种方式构造或转换指令微调格式数据集实战——利用LLaMA-Factory框架的dataset_i
LLMs之FineTuning：常用指令微调格式数据集的简介(Alpaca格式/Vicuna的sharegpt 格式 、利用多种方式构造或转换指令微调格式数据集实战——利用LLaMA-Factory框架的dataset_info.json 中通过指定 --...
-
国产大模型全阵容，中文大模型竞技场推出！
LMSYS Org推出的大模型竞技场Chatbot Arena，已成为海外最具公信力的大模型榜单之一，但该榜单中文化程度相对不足。近日，上海人工智能实验室联合魔搭社区推出中国大语言模型评测竞技场Compass Arena，首度集齐国内主流大模型全阵容，阿...
-
You.com推自定义助手功能，允许用户自行创建个性化AI助手
总部位于帕洛阿尔托的初创公司You.com今天宣布推出“自定义助手”，这是一项突破性的功能，允许用户使用GPT-4o、Llama3和Claude3等顶级语言模型 （LLM） 创建个性化的 AI 助手，所有功能都在一个界面内完成。对话式 AI 的这一重大飞跃...
-
LLMs之RAG：只需四步骤—基于Ollama后端框架(配置phi3/LLaMA-3模型)结合Dify前端框架(设置知识库文件+向量化存储+应用发布)创建包括实现本地知识库问答/翻译助手等多个应用
LLMs之RAG：基于Ollama后端框架(配置phi3/LLaMA-3模型 结合Dify前端框架(设置知识库文件+向量化存储+应用发布 创建包括实现本地知识库问答/翻译助手等多个应用 目录 基于Ollama后端框架(配置phi3/LLaMA-...
-
【最新】生成式人工智能(AIGC)与大语言模型(LLM)学习资源汇总
基本概念学习 a Andrej Karpathy 的 - 大型语言模型简介：https://www.youtube.com/watch?v=zjkBMFhNj_g 该视频对 LLMs 进行了一般性和高级的介绍，涵盖推理、缩放、微调、安全问题和提示注入...
-
用自然语言来编程GitHub Copilot；提高代码质量开源工具GPTLint；LLMs开源医学Meditron
✨ 1: GitHub Copilot Workspace 以Copilot 为中心的创新开发者环境，让开发者能用自然语言从构思到编码再到软件开发。 GitHub Copilot Workspace是一个以Copilot为中心的开发者环境，...
-
【记录】LangChain｜Ollama结合LangChain使用的速通版（包含代码以及切换各种模型的方式）
官方教程非常长，我看了很认可，但是看完了之后呢就需要一些整理得当的笔记让我自己能更快地找到需求。所以有了这篇文章。【写给自己看的，里面半句废话的解释都没有，如果看不懂的话直接看官方教程再看我的】 ollama是个平台，里面一大堆开源模型，llama...
-
AI大牛karpathy点赞SEAL榜单，LLM评估的状况过去是非常糟糕的！
lmsys.org的一个严肃的竞争对手已经加入了对LLMs（大型语言模型）评估的讨论中：SEAL Leaderboards——对领先前沿模型进行的私密、专家评估。 SEAL Leaderboards的设计原则： ?私密 + 无法被利用。在评估上不会过度拟...
-
OpenAI与《大西洋月刊》和The Verge发行商Vox Media达成合作
人工智能公司 OpenAI 近日宣布与美国杂志《大西洋月刊》和数字媒体公司 Vox Media 达成合作协议。根据协议，OpenAI 将获得许可使用两家公司的内容，用于训练其大型语言模型（LLMs）和多媒体 AI 模型(如 GPT-4o，Sora 。 图...
-
微调真的能让LLM学到新东西吗:引入新知识可能让模型产生更多的幻觉
大型语言模型(llm 是在巨大的文本语料库上训练的，在那里他们获得了大量的事实知识。这些知识嵌入到它们的参数中，然后可以在需要时使用。这些模型的知识在培训结束时被“具体化”。在预训练结束时，模型实际上停止学习。 对模型进行对齐或进行指令调优，让模型学习...
-
LLMs之LLaMA-3：Llama-3-70B-Gradient-1048k-adapter的简介、源代码解读merge_adapters.py(仅需58行代码)合并多个PEFT模型(LoRA技术)
LLMs之LLaMA-3：Llama-3-70B-Gradient-1048k-adapter的简介、源代码解读merge_adapters.py(仅需58行代码 合并多个PEFT模型(LoRA技术 将LLaMA-3扩展到100万/1048k上下文——解析...
-
每天都看模型评分，但你真的了解吗？OpenAI研究员最新博客，一文读懂LLM评估
上周六，OpenAI研究院Jason Wei在个人网站上发表了一篇博客，讨论了他眼中「成功的语言模型评估」应该具备哪些因素，并总结出了阻碍好的评估在NLP社区获得关注的「七宗罪」。 Jason Wei在最近的斯坦福NLP研讨会上展示了这篇文章，Open...
-
一年心血被毁，OpenAI超级对齐负责人愤而出走Anthropic！Ilya去向依旧成谜
OpenAI超级对齐团队负责人Jan Leike，在前不久愤而宣布辞职后，刚刚公布了自己的新去向——入职Anthropic。 Anthropic，俨然已经成为OpenAI离职人员的「避难所」，OpenAI价值观对立面的大本营。 Jan Leike开心表示...
-
硅谷“鲁迅”开喷！AI大佬LeCun狂怼马斯克、OpenAI
硅谷正经历着一场由人工智能引发的激烈辩论。引领这一风潮的不是别人，正是机器学习之父、图灵奖得主、Meta首席人工智能科学家Yann LeCun。LeCun以其直言不讳的风格，在AI领域掀起了一场舌战风暴，从马斯克到OpenAI，全都被他毫不客气地“怼”了一...
-
AI智能体的炒作与现实：GPT-4都撑不起，现实任务成功率不到15%
随着大语言模型的不断进化与自我革新，性能、准确度、稳定性都有了大幅的提升，这已经被各个基准问题集验证过了。 但是，对于现有版本的 LLM 来说，它们的综合能力似乎并不能完全支撑得起 AI 智能体。 多模态、多任务、多领域俨然已成为 AI 智能体在公共...
-
AIGC学习：（一）langchain介绍
一、LangChain介绍 langChain是用于快速构建AI应用的框架(第三方开源库 。这里是官网，这里是Github 源码。 “一句话”介绍： 类似于Angular、React、Vue 等快速构建Web应用的前端框架. 类似于ReactNati...
-
Llama 3 模型家族构建安全可信赖企业级AI应用之使用 Llama Guard 保护大模型对话 （八）
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
最猛AI独角兽：一年估值1700亿，再造一个OpenAI！马斯克LeCun却吵起来了
马斯克搞大模型又融到60亿美元（约435亿元）！ 这是xAI最大的一轮融资，目前估值已来到240亿美元（约1738亿元），一举超过Anthropic，成为OpenAI之下第二位。 借着这个势头，老马也亲自下场发起招聘广告： 如果你相信我们理解宇宙的使命，...
-
一文读懂本地运行 LLM 的优秀实践方法
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM -常见的本地运行 LLM 方法。 众所周知，如今使用 ChatGPT 等大型模型工具变得异常简单，只需通过浏览器在线访问即可。然而，需要注意的是，...
-
超牛ComfyUI节点AnyNode来了！要啥功能让AI帮你编写
AnyNode是ComfyUI中一个令人印象深刻的新节点，它利用了大型语言模型（LLMs）的能力，允许用户通过输入提示词来创建具有特定功能的节点。 以下是AnyNode节点的主要特点和使用方法: 功能编写:AnyNode可以根据用户的要求编写Pytho...
-
CoT提出者Jason Wei：大模型评估基准的「七宗罪」
在 CV 领域，研究者一直把李飞飞等人创建的 ImageNet 奉为模型在下游视觉任务中能力的试金石。 在大模型时代，我们该如何评估 LLM 性能？现阶段，研究者已经提出了诸如 MMLU、GSM8K 等一些评估基准，不断有 LLM 在其上刷新得分。 但这...
-
NL2SQL进阶系列(3)：Data-Copilot、Chat2DB、Vanna Text2SQL优化框架开源应用实践详解[Text2SQL]
NL2SQL进阶系列(3 ：Data-Copilot、Chat2DB、Vanna Text2SQL优化框架开源应用实践详解[Text2SQL] NL2SQL基础系列(1 ：业界顶尖排行榜、权威测评数据集及LLM大模型（Spider vs BIRD）全面...
-
一文深度剖析 ColBERT
近年来，向量搜索领域经历了爆炸性增长，尤其是在大型语言模型（LLMs）问世后。学术界开始重点关注如何通过扩展训练数据、采用先进的训练方法和新的架构等方法来增强 embedding 向量模型。 在之前的文章中，我们已经深入探讨了各种类型的 embeddin...
-
教程：利用LLaMA_Factory微调llama3:8b大模型
一、安装llama模型文件 下载地址（魔塔）：https://modelscope.cn/models/LLM-Research/Meta-Llama-3-8B-Instruct/files 点击下载模型，复制git命令： git clone htt...
-
Shortened LLaMA：针对大语言模型的简单深度剪枝法
? CSDN 叶庭云：https://yetingyun.blog.csdn.net/ 论文标题 & 发表会议：Shortened LLaMA: A Simple Depth Pruning for Large Language Model...
-
AI绘画SD 教程 - 采样器详解及对比，建议收藏！
主业写代码，副业做 AI 大家好，我是程序员晓晓 采样器详解及对比 在图像生成领域，采样器是一种关键的算法组件，用于从模型学习到的概率分布中生成图像。简单来说，采样器的作用是根据模型的预测，决定如何步步细化最终图像的每一个像素，从而确保生成的图像既...
-
微调llama 3 — PEFT微调和全量微调
1. llama 3 微调基础 1.1 llama 3 简介 官方blog llama 3 目前有两个版本：8B版和70B版。8B版本拥有8.03B参数，其尺寸较小，可以在消费者硬件上本地运行。 meta-llama/Meta-Llama-3-...
-
「AIGC」AIGC技术入门
人工智能（AI）领域的多个重要概念和实践。 一、思考问题 什么是AI? 什么是AIGC? 什么是AGI? 什么是模型? 什么是大模型(LLM ,什么是小模型? 什么是提示词工程?如何写提示词 什么是神经网络? 召回率是什么含义?...
-
使用LM Studio与Anything LLM基于Llama-3高效构建本地知识库系统
本文详细介绍了如何使用LM Studio和Anything LLM工具来构建和部署本地知识库。文中首先解释了安装和配置大模型的步骤，随后展示了如何将模型部署为后台服务，并通过API进行调用。此外，文章还涉及了如何使用这些工具快速构建知识库应用，包括知识库的...
-
使用 ollama 部署最新的Llama 3 70B本地模型
一、ollama是什么? 在本地启动并运行大型语言模型。运行Llama 3，Mistral, Gemma, Code Llama和其他模型。自定义并创建您自己的。 综合优点： 快速下载+容器自动运行大模型，现在下载，马上上手。...
-
李飞飞亲自撰文：大模型不存在主观感觉能力，多少亿参数都不行
「空间智能是人工智能拼图中的关键一环。」知名「AI 教母」李飞飞曾这样表示。 近段时间，李飞飞开始把目光瞄准到这一领域，并为此创建了一家初创公司。她曾表示，「大自然创造了一个以空间智能为动力的观察和行动的良性循环。」她所在的斯坦福大学实验室正在尝试教计...
-
定制自己的 AI 角色CustomChar；AI知识点和面试题；提高llama 3 的微调速度Unsloth
✨ 1: CustomChar 允许你创建和定制自己的 AI 角色 CustomChar 是一个开源项目，它允许你创建和定制自己的 AI 角色。无论是游戏中的角色，还是个人的虚拟助手（比如电脑上的 JARVIS），甚至是在线教育体验中的虚拟...
-
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略 导读：2024年4月18日，Meta 重磅推出了Meta Llama 3，本文章主要介绍了Meta推出的新的开源大语言模型Meta Llama 3。模型架构 Llam...
-
利用大语言模型增强网络抓取：一种现代化的方法
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 本文将探讨大语言模型(LLMs 与网络抓取的集成，以及如何利用LLMs高效地将复杂的HTML转换为结构化的JSON。 作为一名数据工程...