-
llama_index中query_engine的response_mode详解
文章目录 0. 前言 1. ResponseMode: tree_summarize （总结摘要-最优） 2. ResponseMode: generation 3. ResponseMode: no_text 4. ResponseMode:...
-
LLM之RAG实战（七）| 使用llama_index实现多模态RAG
一、多模态RAG OpenAI开发日上最令人兴奋的发布之一是GPT-4V API（https://platform.openai.com/docs/guides/vision）的发布。GPT-4V是一个多模态模型，可以接收文本/图像，并可以...
-
在自定义数据集上微调Alpaca和LLaMA
本文将介绍使用LoRa在本地机器上微调Alpaca和LLaMA，我们将介绍在特定数据集上对Alpaca LoRa进行微调的整个过程，本文将涵盖数据处理、模型训练和使用流行的自然语言处理库(如Transformers和hugs Face 进行评估。此外还将介...
-
提高LLaMA-7B的数学推理能力
概述 这篇文章探讨了利用多视角微调方法提高数学推理的泛化能力。数学推理在相对较小的语言模型中仍然是一个挑战，许多现有方法倾向于依赖庞大但效率低下的大语言模型进行知识蒸馏。研究人员提出了一种避免过度依赖大语言模型的新方法，该方法通过有效利用具有不同注释格式...
-
这次重生，AI要夺回网文界的一切
重生了，这辈子我重生成了 MidReal。一个可以帮别人写「网文」的 AI 机器人。 这段时间里，我看到很多选题，偶尔也会吐槽一下。竟然有人让我写写 Harry Potter。拜托，难道我还能写的比 J・K・Rowling 更好不成？不过，...
-
精调llama模型
github地址：https://github.com/facebookresearch/llama-recipes github:https://github.com/facebookresearch/llama import torch from t...
-
人工智能 | Llama大模型：与AI伙伴合二为一，共创趣味交流体验
Llama 大模型介绍 我们介绍 LLaMA，这是一个基础语言模型的集合，参数范围从 7B 到 65B。我们在数万亿个Token上训练我们的模型，并表明可以专门使用公开可用的数据集来训练最先进的模型，而无需诉诸专有的和无法访问的数据集。特别是，LL...
-
Gemini偷师文心一言？这一局，百度给中国大模型找回了面子！
大数据产业创新服务媒体 ——聚焦数据 · 改变商业 在模型表现方面，百度文心一言、阿里通义千问、华为盘古、腾讯混元、科大讯飞星火等，都在说超过ChatGPT-3.5，马上要追上GPT-4，甚至在某些领域的表现超越了GPT-4。...
-
李开复：中国大模型竞争异常激烈，最终将有几个大赢家
12月28日消息，根据风险投资家、谷歌中国前总裁李开复的预测，中国的生成式人工智能创业公司正在经历一场“预选赛”。他今年早些时候创立了零一万物（01.AI），这是一家总部位于北京的初创公司，专注于开发大语言模型（LLM）。上个月，该公司完成了一轮融资，...
-
llama.cpp LLM模型 windows cpu安装部署；运行LLaMA2模型测试
参考： https://www.listera.top/ji-xu-zhe-teng-xia-chinese-llama-alpaca/ https://blog.csdn.net/qq_38238956/article/details/130113599...
-
2024年我期待的五个AI故事
在OpenAI于2022年11月发布ChatGPT之后，我喜欢称之为AI新闻的持续“海啸”，我不必等待很长时间：从GPT-4和欧盟AI法案到AI搜索之战，开放与封闭AI之争，以及对训练数据和计算能力的渴望，我多次写下了所有这些话题。 现在，距离新年只有...
-
Llama2推理RTX3090胜过4090，延迟吞吐量占优，但被A800远远甩开
大型语言模型 (LLM 在学界和业界都取得了巨大的进展。但训练和部署 LLM 非常昂贵，需要大量的计算资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的开源框架和方法。然而，不同硬件和软件堆栈的运行时性能可能存在很大差异，这使得选...
-
图灵奖得主Yann LeCun最新专访：AI将接管世界，但不会征服人类！
当他的前合作者 Geoffrey Hinton和 Yoshua Bengio 宣称 AI 灭绝论时，LeCun 并没有参与。相反，他签署了一封公开信，呼吁拥抱开源 AI，并称 AI不应由少数几家企业控制。 那么，AI 到底是会给人类带来毁灭性灾难，还是会...
-
llama.cpp Mac版本llama
骆驼.cpp 路线图/宣言/ ggml 纯C/C++中LLaMA模型的推理 热点话题： 简单的网络聊天示例：#1998 k-quants 现在支持 64 的超级块大小 super-block size of 64:：#2001 新...
-
得物大模型平台，业务效果提升实践
一、背景 得物大模型训练与推理平台上线几个月后，我们与公司内部超过 10 个业务领域展开了全面的合作。在一些关键业务指标方面，取得了显著的成效，例如： 效率相关部门的合作，多维度打标总正确率取得 2 倍以上提升。利用大模型开辟了新的业务，提升了效...
-
LLaMa、Qwen、ChatGLM、ChatGLM2的区别
LLaMa、Qwen、ChatGLM、ChatGLM2的区别 以下比较的前提是首先和BERT(transfomer 的对比 感谢帮忙给我github repository的star，更多最新模型长期更新：https://github.com/zysN...
-
全参数finetune Ziya-LLaMA-13B相关模型，目前支持数据并行+张量并行+ZeRO
全参数Finetune 这个示例主要用于全参数finetune Ziya-LLaMA-13B相关模型，目前支持数据并行+张量并行+ZeRO step0 环境安装 git clone git@github.com:IDEA-CCNL/Fengshenb...
-
阿里云赵大川：弹性计算推理解决方案拯救 AIGC 算力危机
云布道师 本篇文章围绕弹性计算推理解决方案 DeepGPU 实例如何支持 Stable Diffusion 文生图推理、Stable Diffusion 推理演示示例等相关话题展开。 赵大川 阿里云弹性计算高级技术专家 GPU 云服务器推理解决方案...
-
国内AI大模型的封神榜&死亡笔记；奥特曼首次公开谈宫斗；我有PDF翻译秘诀, 8种！2023年中国AIGC产业全景报告；GitHub Copilot官方入门课 | ShowMeAI日报
?日报&周刊合集 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦！ ? Heygen 注销中国公司主体，探索出海新范式 https://www.heygen.com/ HeyGen 是什么？ 简单来说，H...
-
华为诺亚的盘古Agent来了，让智能体学会结构化推理
自 AI 诞生以来，开发能够解决和适应复杂工作的多任务智能体（Agent）一直是个重要的目标。 AI 智能体对于许多应用至关重要，研究者通常用强化学习方法通过环境交互来培养智能体的决策技能。基于模型和无模型的深度强化学习方法都已取得了广为人们所知的成就，...
-
折射OpenAI新一年技术路线图，透视Sam Altman的12个愿望清单
当地时间12月24日，Sam Altman 在X 平台上罕见地发起了一个「许愿池」， 「希望 OpenAI 在2024年构建/修复什么?」，这条推文迅速吸引 AI 领域众多大佬和网友的参与。 两个小时后，Sam Altman 挑选了12个期望值最高的愿望清...
-
2023 年 AI 助手的崛起，交互式人工智能将于 2024 年问世
2023 年，ChatGPT、Bard 和 Llama 等人工智能（AI）聊天机器人崭露头角，承诺将使世界变得更高效，但也可能导致数百万人失业。这些 AI 助手已帮助全球用户生成通常需要人类更多小时才能完成的内容。尽管如此，目前尚未发生大规模裁员。 过去...
-
【人话版】关于“AI替代程序员“的7点碎碎念
都说AI替代这个替代那个，不用浪费时间为这种问题焦虑，因为答案已经越来越明显了... 关键是，什么时候？怎么替？。 1 设想一个场景，有个需求要用某个技术或某个框架实现，有两个程序员对这些都不是很熟。 有一个疯狂谷歌、Stackov...
-
谷歌Bard更新中文支持；GPT-4：1.8万亿参数、混合专家模型揭秘； Meta推出商用版本AI模型
? AI新闻 ? 谷歌的AI聊天工具Bard更新，增加中文支持 摘要：谷歌的AI聊天工具Bard新增中文环境，用户可以使用简体和繁体中文进行交流。然而，与竞品相比，Bard的回复略显生硬，语义理解还有待提升。此外，谷歌还更新了Bard的日志页面，新...
-
LLM微调（四）| 微调Llama 2实现Text-to-SQL，并使用LlamaIndex在数据库上进行推理
Llama 2是开源LLM发展的一个巨大里程碑。最大模型及其经过微调的变体位居Hugging Face Open LLM排行榜（https://huggingface.co/spaces/HuggingFaceH4/open_llm_lea...
-
AI视野：必应推出GPT-4Turbo模型；抖音测试“AI搜”功能；小红书内测AI聊天机器人；OpenAI计划新一轮融资
????大模型动态 必应推出GPT-4Turbo模型 微软推出Bing Chat的最新模型，GPT-4Turbo，为用户提供更准确和最新的信息。目前仅限部分用户试用，使用方法需通过检查资格确认。 阿里团队推新AI模型I2VGen-XL 视频合成领域迎来...
-
OCR终结了？旷视提出支持文档级OCR的多模态大模型，支持中英文，已开源！
想将一份文档图片转换成Markdown格式？ 以往这一任务需要文本识别、布局检测和排序、公式表格处理、文本清洗等多个步骤—— 这一次，只需一句话命令，多模态大模型Vary直接端到端输出结果： 图片 无论是中英文的大段文字： 图片 还是包含了公式的文档图片...
-
LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention
Paper name LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention Paper Reading Note Paper URL: htt...
-
LLama Factory 安装部署实操记录（二）
1. 项目地址 GitHub - hiyouga/LLaMA-Factory: Easy-to-use LLM fine-tuning framework (LLaMA, BLOOM, Mistral, Baichuan, Qwen, ChatGLM E...
-
“私密离线聊天新体验！llama-gpt聊天机器人：极速、安全、搭载Llama 2，尽享Code Llama支持！”
“私密离线聊天新体验！llama-gpt聊天机器人：极速、安全、搭载Llama 2，尽享Code Llama支持！” 一个自托管的、离线的、类似chatgpt的聊天机器人。由美洲驼提供动力。100%私密，没有数据离开您的设备。 Demo http...
-
Llama 2 with langchain项目详解（三）
Llama 2 with langchain项目详解（三） 17.3 Llama 2 with langchain基础 本节讲解在LangChain中使用Llama 2模型的基础知识，展示如何运行LangChain的代码，及在云端运行Llama 2的700...
-
LLaMA 简介：一个具有 650 亿参数的基础大型语言模型 官网介绍
2023 年 2 月 24 日 更新：我们刚刚推出了Llama 2 - 有关最新信息的更多信息，请参阅我们关于 Llama 2 的博客文章。 作为 Meta 致力于开放科学的一部分，今天我们公开发布 LL...
-
LLM-LLaMA：使用Huggingface提供的脚本文件，对原始的LLaMA-13B转换为Huggingface的格式
使用Huggingface提供的脚本文件，对原始的LLaMA-13B转换为Huggingface的格式，具体的脚本文件在此处。下面是运行的命令（假设下载的原始文件位于./下，希望转换后的路径为./converted）： python convert...
-
零一万物回应「抄袭 LLaMA」；京东原副总裁试用可穿戴人工喉丨 RTE 开发者日报 Vol.85
开发者朋友们大家好： 这里是 「RTE 开发者日报」 ，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE （Real Time Engagement） 领域内「有话题的 新闻 」、「有态度的 观点 」、「有意思的 数据 」、「有思考的...
-
【AIGC】baichuan-7B大模型
百川智能｜开源可商用的大规模预训练语言模型baichuan-7B大模型 概述 baichuan-7B 是由百川智能开发的一个开源可商用的大规模预训练语言模型。基于 Transformer 结构，在大约1.2万亿 tokens 上训练的70亿参数模型，支持...
-
baichuan-7B-chat微调报错及解决记录 使用的仓库：LLaMA-Factory 2023年11月27日
我所使用的代码仓库是LLaMA-Factoryhiyouga/LLaMA-Factory: Easy-to-use LLM fine-tuning framework (LLaMA, BLOOM, Mistral, Baichuan, Qwen, Chat...
-
Llama中文社区开源预训练Atom-7B-chat大模型体验与本地化部署实测(基于CPU，适配无GPU的场景)
一、模型简介 原子大模型Atom由Llama中文社区和原子回声联合打造，在中文大模型评测榜单C-Eval中位居前十（8月21日评测提交时间）。 Atom系列模型包含Atom-7B和Atom-...
-
清华特奖焦剑涛大模型创业：突破GPT-4工具使用能力，搞开源种子轮融资七千万
两位清华校友打造，在GPT-4核心优势之一使用工具上实现超越。 连HuggingFace CEO都来帮它造势： 它的名字叫“NexusRaven”，参数只有130亿。 出色的函数调用能力连网友都忍不住称赞，既可以并行也可以嵌套。 背后团队则更令人瞩目...
-
最强英文开源模型LLaMA架构探秘，从原理到源码
导读：LLaMA 65B是由Meta AI（原Facebook AI）发布并宣布开源的真正意义上的千亿级别大语言模型，发布之初（2023年2月24日）曾引起不小的轰动。LLaMA的横空出世，更像是模型大战中一个搅局者。虽然它的效果（performance）...
-
【LLM】LLaMA简介：一个650亿参数的基础大型语言模型
LLaMA简介：一个650亿参数的基础大型语言模型 Paper Setup 其他资料 作为 Meta 对开放科学承诺的一部分，今天我们将公开发布 LLaMA (大型语言模型 Meta AI ，这是一个最先进的大型语言基础模型，旨在帮...
-
LLMs-入门二：基于google云端Colab部署Llama 2
LLMs-入门二：基于google云端Colab部署Llama 2 1、访问网址 2、基础概念 3、选择最适合您的 Colab 方案 4、基于Colab部署开源模型Llama 2 1）在Colab上安装huggingface套件 2）申请调用...
-
Llama 2免费托管及API提供
Llama 2 是 Meta 最新的文本生成模型，目前其性能优于所有开源替代方案。 推荐：用 NSDT编辑器 快速搭建可编程3D场景 1、强大的Llama 2 它击败了 Falcon-40B（之前最好的开源基础模型），与 GPT-3....
-
基于MindSpore的llama微调在OpenI平台上运行
基于MindSpore的llama微调在OpenI平台上运行 克隆预训练模型 克隆chatglm-6b代码仓，下载分布式的模型文件 git lfs install git clone https://huggingface.co/openlm-...
-
在 “小小容器” WasmEdge 里运行小小羊驼 llama 2
昨天，特斯拉前 AI 总监、OpenAI 联合创始人 Andrej Karpathy 开源了 llama2.c 。 只用 500 行纯 C 语言就能训练和推理 llama 2 模型的框架，没有任何繁杂的 python 依赖。这个项目一推出就受到大家的追捧...
-
LLaMA系列模型
1.LLama 1.1 简介 Open and Efficient Foundation Language Models (Open但没完全Open的LLaMA 2023年2月，Meta（原Facebook）推出了LLaMA大模型，使用了1.4...
-
国内首个官方大模型评测结果出炉！阿里云通义千问首批通过评测
快科技12月22日消息，国内首个官方大模型标准符合性评测”结果公布。 阿里云通义千问成为首批通过评测的四款国产大模型之一，在通用性、智能性等维度均达到国家相关标准要求。 据悉，本次通过评测的首批大模型中，通义千问是唯一的开源模型，在全球拥有广泛的开发者用户...
-
关于生成式语言大模型的一些工程思考 paddlenlp & chatglm & llama
生成式语言大模型，随着chatgpt的爆火，市场上涌现出一批高质量的生成式语言大模型的项目。近期百度飞桨自然语言处理项目paddlenlp发布了2.6版本。更新了以下特性：全面支持主流开源大模型Bloom, ChatGLM, GLM, Llama, OPT...
-
Anthropic发布新方法 通过提示降低生成式AI偏见
人工智能公司Anthropic最近发布了一项方法，旨在通过提示工程减少公司使用的大型语言模型（LLMs）输出中的歧视。该公司在一份文件中详细介绍了一种评估方法，指导公司如何通过优化提示降低模型输出的歧视性。该文件为开发人员和决策者提供了了解LLMs生成答案...
-
使用 GPT-4 和 Midjourney 建构Tiktok故事
您准备好探索生成AI的奇妙世界，创作出富有吸引力的故事并配以引人入胜的插图了吗？根据我最近使用GPT-4和Midjourney的体验，我成功地使用YiVal构建了一个端到端的叙事，GPT-4用来生成大规模的故事，同时Midjourney创建令人惊叹的插图。...
-
23年生成式AI全球投资超360亿！开发者预测2024年LLM应用进入大爆发
2023年11月30日，ChatGPT庆祝了它的生日，Similarweb发布了下面这张精美的信息图来纪念这一时刻。 从ChatGPT诞生，到2023年5月，它的访问量一直在迅速增长，峰值达到了每月18亿次的访问量。 随后，客流量在6月有所下降，但自9...