-
如何在Android上运行Llama 3.2
引言 随着Llama 3.2的发布，Meta在将强大的语言模型带到边缘和移动设备方面取得了重大进展。Llama 3.2包含了专为智能手机和平板电脑高效运行而设计的轻量级模型（1B和3B参数）。本教程将指导您通过MLC LLM库对Llama 3.2模型进...
-
`llama-journey` 开源项目安装与使用指南
llama-journey 开源项目安装与使用指南 llama-journey Experimental adventure game with AI-generated content 项目地址: https://gitcode.com/g...
-
大模型使用llama.cpp转换gguf格式并量化 | 新手炼丹记录(2)
系列回顾 llama factory LoRA微调qwen大模型 | 新手炼丹记录(1 -CSDN博客 大模型使用llama.cpp转换gguf格式并量化 | 新手炼丹记录(2 -CSDN博客 olla...
-
FLUX.1 WebUI本地整合包，基于nf4轻量化模型的Stable Difussion WebUI Forge，6G显存可玩
前几天分享了基于SwarmUI的FLUX.1整合包，有人反馈可控参数太少，近几天正好看到了张吕敏大佬的Stable Diffusion WebUI Forge更新了，如果不熟悉WebUI Forge，后期我再跟新一篇文章详细介绍下，这里简单说下，玩AI绘画...
-
国产可图大模型:厚积薄发,GLM3加持质的飞跃,ComfyUI最全指南与SD3综合评比孰更强？
?大家好！我是安琪！！！ Kolors大模型简 就在上周末，国内大厂快手开源了可图大模型文生图模型，这是由快手可图团队开发的基于潜在扩散的大规模文本到图像生成模型。 • Kolors 是在数10亿图文对下进行训练， • 在 视觉质量、复杂语...
-
超9000颗星，优于GPT-4V！国内开源多模态大模型
国内著名开源社区OpenBMB发布了最新开源多模态大模型——MiniCPM-V2.6。 据悉，MiniCPM-V2.6一共有80亿参数，在单图像、多图像和视频理解方面超越了GPT-4V;在单图像理解方面优于GPT-4o mini、Gemini1.5Pro...
-
大模型llama.cp编译
一、大模型部署工具 llama.cpp 二、使用 llama.cpp 量化模型 2.1 克隆llama.cp 项目地址： https://github.com/ggerganov/llama.cpp 一般配置SSH KEY，然后采用SSH...
-
AI-windows下使用llama.cpp部署本地Chinese-LLaMA-Alpaca-2模型
文章目录 Llamp.cpp环境配置 Chinese-LLaMA-Alpaca-2模型介绍 模型下载 转换生成量化模型 Anaconda环境安装 运行 Llamp.cpp环境配置 git clone git@...
-
Llama.cpp大模型量化简明手册
大型语言模型 (LLM ，尤其是像 Mixtral 8x7b（467 亿个参数）这样的大型模型，对内存的要求非常高。当你尝试降低推理成本、提高推理速度或在边缘设备上进行推理时，这种内存需求就会变得明显。解决此问题的一个潜在方法是量化。在本文中，我们将使用易...
-
推荐：Lightning Whisper MLX —— 专为Apple Silicon优化的闪电般快速的Whisper实现
推荐：Lightning Whisper MLX —— 专为Apple Silicon优化的闪电般快速的Whisper实现 项目地址:https://gitcode.com/mustafaaljadery/lightning-whisper-mlx 在...
-
在OpenHarmony本地部署大语言模型
本文将第二届OpenHarmony技术大会上展示的《在OpenHarmony本地部署大语言模型》成果开源，开源地址：https://gitee.com/openharmony-sig/tpc_c_cplusplus/blob/master/thirdp...
-
基于Llama 3搭建中文版（Llama3-Chinese-Chat）大模型对话聊天机器人
前面两篇博文，我们分别在个人笔记本电脑部署了Llama 3 8B参数大模型，并使用Ollama搭建了基于 Web 可视化对话聊天机器人，可以在自己电脑上愉快的与Llama大模型 Web 机器人对话聊天了。但在使用过程中，笔者发现Llama大模型经常出现中文...
-
llama.cpp 转化 huggingface 模型失败 解决路径
问题： ./main -m ./models/book_q4_K_M -n 128 报错： terminate called after throwing an instance of 'std::out_of_range' what( :...
-
基于llama.cpp的GGUF量化与基于llama-cpp-python的部署
前言：笔者在做GGUF量化和后续部署的过程中踩到了一些坑，这里记录一下。 1.量化 项目地址：llama.cpp 1.1 环境搭建 笔者之前构建了一个用于实施大模型相关任务的docker镜像，这次依然是在这个镜像的基础上完成的，这里给出Dock...
-
llama_factory微调QWen1.5
GitHub - hiyouga/LLaMA-Factory: Unify Efficient Fine-Tuning of 100+ LLMsUnify Efficient Fine-Tuning of 100+ LLMs. Contribute to...
-
一键 input 苹果 OpenELM，零门槛 Llama 3 教程，40+ 优质模型/数据集/教程，建议收藏！...
现在 AI 行业什么最火？ 「大模型」一定仍然排在前三甲的位置。 自从 2022 年底 ChatGPT 面世以来，大模型在各行各业已经带来了太多的惊喜，应用场景愈发丰富，同时也带动了相关底层技术的普及与普适化。尤其是在开源模型繁荣发展之下，无...
-
使用llama.cpp量化部署LLM
以llama.cpp工具为例，介绍模型量化并在本地部署的详细步骤。这里使用 Meta最新开源的 Llama3-8B 模型。 1 环境 系统应有make（MacOS/Linux自带）或cmake（Windows需自行安装）编译工具 Python 3....
-
只需单卡RTX 3090，低比特量化训练就能实现LLaMA-3 8B全参微调
自 2010 年起，AI 技术历经多个重大发展阶段，深度学习的崛起和 AlphaGo 的标志性胜利显著推动了技术前进。尤其是 2022 年底推出的 ChatGPT，彰显了大语言模型（LLM）的能力达到了前所未有的水平。自此，生成式 AI 大模型迅速进入高...
-
自定义数据集使用llama_factory微调模型并导入ollama
本文所有操作均在linux系统下完成 llama_factory安装 参考github的安装命令 git clone https://github.com/hiyouga/LLaMA-Factory.git conda create -n llama...
-
【AIGC】本地部署 ollama + open-webui
在之前的篇章《【AIGC】本地部署 ollama(gguf 与项目整合》中我们已经使用 ollama 部署了一个基于预量化（gguf）的 Qwen1.5 模型，这个模型除了提供研发使用外，我还想提供给公司内部使用，因此还需要一个 ui 交互界面。 显然...
-
llama3 微调教程之 llama factory 的 安装部署与模型微调过程，模型量化和gguf转换。
本文记录了从环境部署到微调模型、效果测试的全过程，以及遇到几个常见问题的解决办法，亲测可用（The installed version of bitsandbytes was compiled without GPU support. NotImpleme...
-
字节内部AI“赛马”结束，大模型全跟豆包姓，一出手就点名阿里百度
过去一年，围绕着字节AI的几个谜团，终于都在今天被揭开了。 5 月 15 日火山引擎Force原动力大会上，字节大模型进行了全系列更名，从云雀大模型升级为豆包大模型家族，一口气发布了 9 个豆包模型，其中包括通用模型pro版、通用模型lite版以及各个领域...
-
2024春季火山引擎FORCE原动力大会总结 字节豆包9大模型详细介绍
在2024年春季火山引擎FORCE原动力大会上，字节跳动隆重推出了自主研发的“豆包大模型”系列，标志着该公司在人工智能领域的深厚积累和创新能力。这一系列大模型涵盖了豆包通用模型Pro、lite，以及角色扮演模型、语音合成模型、声音复刻模型、语音识别模型、文...
-
五种搭建LLM服务的方法和代码示例
在不断发展的大型语言模型（LLMs）领域中，用于支持这些模型的工具和技术正以与模型本身一样快的速度进步。在这篇文章中，我们将总结5种搭建开源大语言模型服务的方法，每种都附带详细的操作步骤，以及各自的优缺点。 1、Anaconda + CPU 我们首先介...
-
llama.cpp部署
llama.cpp 介绍 部署 介绍 大模型的研究分为训练和推理两个部分： 训练的过程，实际上就是在寻找模型参数，使得模型的损失函数最小化； 推理结果最优化的过程； 训练完成之后，模型的参数就固定了，这时候就可以使用模型进行推理，对外...
-
llama-factory简介
llamafactory是什么，能干什么 LLaMA-Factory 是一个易于使用的大规模语言模型（Large Language Model, LLM）微调框架，它支持多种模型，包括 LLaMA、BLOOM、Mistral、Baichuan、Qwen ...
-
笔记本电脑上部署LLaMA-2中文模型
尝试在macbook上部署LLaMA-2的中文模型的详细过程。 （1）环境准备 MacBook Pro(M2 Max/32G ; VMware Fusion Player 版本 13.5.1 (23298085 ; Ubuntu 22.04.2 L...
-
英伟达AI Workbench正式发布，大幅度简化大模型开发流程
3月22日，英伟达在官网宣布，正式发布NVIDIA AI Workbench。 AI Workbench是一款面向AI大模型开发人员的工具包，可以帮助开发人员消除很多繁琐、复杂的部署、开发流程。 无论你的技术水平如何，开发人员都可以体验快速可靠的 GPU...
-
Nature重磅：AI击败最先进全球洪水预警系统，提前7天预测河流洪水，每年挽救数千人生命
洪水是最常见的自然灾害类型，全球有近 15 亿人（约占世界人口的 19%）直接面临严重洪水事件的巨大风险。洪水还造成巨大的物质损失，每年造成全球经济损失约 500 亿美元。 近年来，人类造成的气候变化进一步增加了一些地区的洪水频率。然而，目前的预报方法主...
-
百度5款大模型上新，更小更便宜！还可1分钟零代码打造Agent应用
零代码1分钟，构建一个Agent应用。 做一个“英语作文批改小帮手”应用，只需在AppBuilder中输入应用名称或者希望开发的功能，平台就能自动生成应用。 再通过简单的调整角色指令、添加所需工作组件，即可生成应用。 发布后马上可使用，从创建到分发，...
-
【学习笔记】：Ubuntu 22 使用模型量化工具llama.cpp部署大模型 CPU+GPU
学习笔记：Ubuntu 22 使用模型量化工具llama.cpp部署大模型 CPU+GPU 前言 1 下载并编译llama.cpp 1.1 git下载llama.cpp仓库源码 1.2 编译源码（make） 1.2.1 选择一：仅在CPU上...
-
让大模型“瘦身”90%！清华&哈工大提出极限压缩方案：1bit量化，能力同时保留83%
对大模型进行量化、剪枝等压缩操作，是部署时最常见不过的一环了。 不过，这个极限究竟有多大? 清华大学和哈工大的一项联合研究给出的答案是: 90%。 他们提出了大模型1bit极限压缩框架OneBit，首次实现大模型权重压缩超越90%并保留大部分（83%）能力...
-
chatglm2-2b+sdxl1.0+langchain打造私有AIGC（六）-完结
一、前言 前面五篇文章已经将整个应用介绍得差不多了，昨天我将应用的已经开源到github，源码下载地址： https://github.com/hubo0417/EasyGC 在此我要说两点 1.开源版本的LLM，是基于ChatGLM2-6B-IN...
-
清华、哈工大把大模型压缩到了1bit，把大模型放在手机里跑的愿望就快要实现了！
自从大模型火爆出圈以后，人们对压缩大模型的愿望从未消减。这是因为，虽然大模型在很多方面表现出优秀的能力，但高昂的的部署代价极大提升了它的使用门槛。这种代价主要来自于空间占用和计算量。「模型量化」 通过把大模型的参数转化为低位宽的表示，进而节省空间占用。目...
-
清华、哈工大提出OneBit方法：可把大模型压缩到1bit 保持 83% 性能
近期，清华大学和哈尔滨工业大学联合发布了一篇论文，成功将大模型压缩到1bit，仍保持83% 的性能。这一成果标志着量化模型领域的一次重大突破。过去，2bit 以下的量化一直是研究人员难以逾越的障碍，而这次的1bit 量化尝试，引起了国内外学术界的广泛关注。...
-
AI测试｜Windows下跑起大模型（Llama）操作笔记
2024软件测试面试刷题，这个小程序（永久刷题），靠它快速找到工作了！（刷题APP的天花板）_软件测试刷题小程序-CSDN博客文章浏览阅读2.5k次，点赞85次，收藏11次。你知不知道有这么一个软件测试面试的刷题小程序。里面包含了面试常问的软件测试基础题，...
-
用GGUF和Llama .cpp量化Llama模型
用GGUF和Llama .cpp量化Llama模型 什么是GGML 如何用GGML量化llm 使用GGML进行量化 NF4 vs. GGML vs. GPTQ 结论 由于大型语言模型（LLMS）的庞大规模，量化已成为有效运行它们的必要...
-
windows 下跑起大模型（llama）操作笔记
原贴地址：https://testerhome.com/topics/39091 前言 国内访问 chatgpt 太麻烦了，还是本地自己搭一个比较快，也方便后续修改微调啥的。 之前 llama 刚出来的时候在 mac 上试了下，也在 windows...
-
AIGC 实战：如何使用 Docker 在 Ollama 上离线运行大模型（LLM）
Ollama简介 Ollama 是一个开源平台，用于管理和运行各种大型语言模型 (LLM ，例如 Llama 2、Mistral 和 Tinyllama。它提供命令行界面 (CLI 用于安装、模型管理和交互。您可以使用 Ollama 根据您的需求下载...
-
扩展说明: 指令微调 Llama 2
这篇博客是一篇来自 Meta AI，关于指令微调 Llama 2 的扩展说明。旨在聚焦构建指令数据集，有了它，我们则可以使用自己的指令来微调 Llama 2 基础模型。 目标是构建一个能够基于输入内容来生成指令的模型。这么做背后的逻辑是，模型如此...
-
一图揽尽全球LLM崛起之路；LLM概念速查清单；DALL·E提示词红宝书·在线版；fast.ai新课带你从零实现Stable Diffusion | ShowMeAI日报
?日报&周刊合集 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦！ ? LLM 崛起之路：全球大语言模型「规模增长」可视化交互图 https://informationisbeautiful.net/visual...
-
通义千问团队发布Qwen1.5 聊天模型性能大幅提升
在近期几个月的深入探索之后，通义千问团队终于迎来了其开源系列Qwen的下一个重要版本——Qwen1.5。 Qwen1.5的亮点之一是其丰富的模型系列，涵盖了从0.5B到72B的六种不同大小的基础和聊天模型。此外，团队还开源了包括Int4和Int8的GPTQ...
-
在2GB DAYU200上本地部署大语言模型
实现思路和步骤 移植轻量级LLM模型推理框架InferLLM到OpenHarmony标准系统，编译出能在OpenHarmony运行的二进制产物。（InferLLM 是一个简单高效的 LLM CPU 推理框架，可以本地部署 LLM 中的量化模型） 使用O...
-
LLaMA Board: 通过一站式网页界面快速上手 LLaMA Factory
原文：https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md ? 加入我们的微信群。 [ English | 中文 ] LLaMA Board: 通过一站式网页界面快速上手...
-
2024-01-04 用llama.cpp部署本地llama2-7b大模型
点击 <C 语言编程核心突破> 快速C语言入门 用llama.cpp部署本地llama2-7b大模型 前言 一、下载`llama.cpp`以及`llama2-7B`模型文件 二、具体调用 总结 前言 要解...
-
ConvNet与Transformer谁更强？Meta评测4个领先视觉模型，LeCun转赞
如何根据特定需求选择视觉模型？ ConvNet/ViT、supervised/CLIP模型，在ImageNet之外的指标上如何相互比较？ 来自MABZUAI和Meta的研究人员发表的最新研究，在「非标准」指标上全面比较了常见的视觉模型。 论文地址：ht...
-
LLama Factory 实操记录（一）
1. api端口参数说明： src/api -h, --help 显示帮助信息并退出 --model_name_or_path MODEL_NAME_OR_PATH 模型权重的路径或标识...
-
【AI实战】llama.cpp 量化部署 llama-33B
【AI实战】llama.cpp 量化部署 llama-33B llama.cpp 量化介绍 环境配置 安装 llama.cpp 拉取 llama.cpp 仓库代码 编译llama.cpp 生成量化版本模型 模型准备 将上述.pth模型权重...
-
AIGC：阿里开源大模型通义千问部署与实战
1 引言 通义千问-7B（Qwen-7B）是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代...
-
实测OPPO大模型手机：路人甲一抹就没，电话粥一键总结
都说2024会是AI Agent元年，杀手级应用将要出现。 但就在开年，已经看到不一样的思路。 与其做单个Agent应用，不如把系统能力提升为Agent级。 不仅让大模型加持智能助手，还能让系统工具也具备AIGC能力。 比如一键消除照片中的人群: 让AI...