-
ollama-python-Python快速部署Llama 3等大型语言模型最简单方法
ollama介绍 在本地启动并运行大型语言模型。运行Llama 3、Phi 3、Mistral、Gemma和其他型号。 Llama 3 Meta Llama 3 是 Meta Inc. 开发的一系列最先进的模型，提供8B和70B参数大小（预训练或...
-
【AIGC】Mac Intel 本地 LLM 部署经验汇总（CPU Only）
书接上文，在《【AIGC】本地部署 ollama(gguf 与项目整合》章节的最后，我在 ollama 中部署 qwen1_5-14b-chat-q4_k_m.gguf 预量化模型，在非 Stream 模式下需要 89 秒才完成一轮问答，响应速度实在是太...
-
Meta的 Llama-3 在线使用与下载
前言 2024年4月19日，全球社交巨头Meta在他们的官网，正式发布了开源大模型 Llama-3 ！！ 该版本包括预训练和指令调整的 Llama 3 语言模型的模型权重和起始代码 - 包括 8B 到 70B 参数！ 简介 Llama 3 在 2...
-
使用 LLaMA Factory 微调 Llama-3 中文对话模型
原文：https://colab.research.google.com/drive/1d5KQtbemerlSDSxZIfAaWXhKr30QypiK?usp=sharing#scrollTo=gf60HoT633NY 请申请一个免费 T4 GPU 来...
-
拒绝低质量！一个技巧，搞定Stable Diffusion高清图片生成
生成高清图片看起来是一件很简单的事情，似乎我们只要给AI设定一个足够高的分辨率，要求就能够达到。 但实际的操作，比我们设想复杂一些。会涉及到一些技术的问题，需要了解背后的逻辑，然后按照用AI绘图的逻辑来解决。 1. Mj与SD在生成高清图片上的差别...
-
探秘Faster Whisper：一款加速 Whisper 模型训练的高效工具
探秘Faster Whisper：一款加速 Whisper 模型训练的高效工具 项目地址:https://gitcode.com/SYSTRAN/faster-whisper 在自然语言处理（NLP）领域，Transformer架构的模型如Whis...
-
AI大模型日报#0422：深扒「全球TOP 10大模型团队」、扎克伯格 Llama 3访谈
导读： 欢迎阅读《AI大模型日报》，内容基于Python爬虫和LLM自动生成。目前采用“文心一言”生成了每条资讯的摘要。 标题: 文本生成8K、360度全景世界！Model 3重磅发布 摘要: Blockade Labs发布了新模型Model 3，...
-
仅用250美元，Hugging Face技术主管手把手教你微调Llama 3
ChatGPT狂飙160天，世界已经不是之前的样子。 新建了免费的人工智能中文站https://ai.weoknow.com 新建了收费的人工智能中文站https://ai.hzytsoft.cn/ 更多资源欢迎关注 大语言模型的微...
-
马斯克xAI计划建造一座“超级计算工厂” 挑战Meta大规模GPU集群
据报道，马斯克计划为他的 AI 公司 xAI 建立一台 AI 超级计算机，使用 Nvidia 图形卡，被称为 “计算巨厂”，预计将在2025年秋季完工。这台超级计算机预计规模将至少是目前 Meta 等竞争对手使用的最强集群的四倍以上。 图源备注:图片由A...
-
苹果豪赌！神秘AI项目曝光，宁死不用英伟达？自研芯片全家桶都要AI了
最近一轮AI之战，OpenAI、谷歌、微软都交卷了，现在，全世界的目光齐刷刷看向苹果。 全球开发者大会，就在6月上旬。选择这个时机发布新产品，苹果勇气可嘉。 被一众竞品抢尽风头后，苹果得拿出什么重大突破来，才能证明自己在AI领域还能让人兴奋？ 看起来，苹...
-
一文读懂本地运行 LLM 的优秀实践方法
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM -常见的本地运行 LLM 方法。 众所周知，如今使用 ChatGPT 等大型模型工具变得异常简单，只需通过浏览器在线访问即可。然而，需要注意的是，...
-
利用SpringBoot和TensorFlow进行语音识别模型训练与应用
本专题系统讲解了如何利用SpringBoot集成音频识别技术，涵盖了从基础配置到复杂应用的方方面面。通过本文，读者可以了解到在智能语音填单、智能语音交互、智能语音检索等场景中，音频识别技术如何有效提升人机交互效率。无论是本地存储检索，还是云服务的集成，丰...
-
llama_factory微调踩坑(自用)
环境配置 torch>=1.13.0已经不在支持CUDA11.3以下的版本了，CUDA版本必须升级，可以查看 nvidia-smi 在conda虚拟环境中安装的cuda版本必须<=CUDA Version 多GPU跑 c...
-
英伟达赢麻了！马斯克xAI超级算力工厂曝光，10万块H100、数十亿美元
最近几年，随着大语言模型的飞速发展与迭代，科技巨头们都竞相投入巨额财力打造超级计算机（或大规模 GPU 集群）。他们认为，更强大的计算能力是实现更强大 AI 的关键。 早在 2022 年，Meta 即宣布与英伟达共同打造大型 AI 研究超级计算机「AI...
-
Hinton揭秘Ilya成长历程：Scaling Law是他学生时代就有的直觉
2003年夏天的一个周日，AI教父Hinton在多伦多大学的办公室里敲代码，突然响起略显莽撞的敲门声。 门外站着一位年轻的学生，说自己整个夏天都在打工炸薯条，但更希望能加入Hinton的实验室工作。 Hinton问，你咋不预约呢？预约了我们才能好好谈谈。...
-
全面超越DPO：陈丹琦团队提出简单偏好优化SimPO，还炼出最强8B开源模型
为了将大型语言模型（LLM）与人类的价值和意图对齐，学习人类反馈至关重要，这能确保它们是有用的、诚实的和无害的。在对齐 LLM 方面，一种有效的方法是根据人类反馈的强化学习（RLHF）。尽管经典 RLHF 方法的结果很出色，但其多阶段的过程依然带来了一些...
-
LLaMA-Factory微调LLama2
LLaMA-Factory(0.6.2版本 微调LLama2 1.下载安装 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e...
-
马斯克烧几十亿美元造最大超算中心，10万块H100训练Grok追赶GPT-4o
前段时间，OpenAI、谷歌、微软相继开大会，AI圈子的竞争如火如荼。 这么热闹的时候，怎么能少得了马斯克。 前段时间忙着特斯拉和星链的他，最近好像开始腾出手，而且不鸣则已、一鸣惊人，直接放出一个大消息——自己要造世界上最大的超算中心。 今年3月，他旗下...
-
只需单卡RTX 3090，低比特量化训练就能实现LLaMA-3 8B全参微调
自 2010 年起，AI 技术历经多个重大发展阶段，深度学习的崛起和 AlphaGo 的标志性胜利显著推动了技术前进。尤其是 2022 年底推出的 ChatGPT，彰显了大语言模型（LLM）的能力达到了前所未有的水平。自此，生成式 AI 大模型迅速进入高...
-
台积电称AI加速器市场今年有望增长 250%
根据 TSMC（台积电） 在其技术研讨会上透露的消息，半导体市场去年下半年才开始复苏，因此分析师对今年的增长持谨慎态度。尽管 PC 和智能手机领域今年的增长预期仅为个位数，但有一个半导体市场预计将增长约250%，那就是 AI 加速器市场。 TSMC 估计...
-
【Stable Diffusion系列】（一）：AI绘画本地部署教程
目录 一、总览 二、本地部署 1、安装cuda 2、安装python 3、安装git 4、方法一 1）获取安装包 2）update 3）run 5、方法二 1）git clone 2）双击webui-user.bat 3）更...
-
在个人 Linux 机器 (GPU/CPU) 上本地运行 LLaMA-3(Docker+Ollama+Open WebUI+LLama3教程含详细步骤)
在当今快速发展的人工智能环境中，部署开源大型语言模型 (LLM 通常需要复杂的计算基础设施。然而，Ollama 的创新平台正在改变这一规范，支持在标准个人计算机上使用这些强大的模型，支持CPU和GPU配置。本指南介绍了如何使用 Ollama 在您自己的设...
-
人工智能技术应用笔记（七）：速度快一倍！低显卡用户福音来了——可本地部署的轻量级SD（Stable Diffusion Forge）
本篇为《人工智能技术应用》专栏的第七篇。希望以学习笔记的形式和大家一起了解和探索人工智能技术的实际应用。 《本地部署轻量级SD实操》 今天介绍一款在原stable diffusion webui基础上经过代码优化，结构重组之后的轻量级产品—...
-
MacOS使用ollama部署codellama+openui以及llama.cpp部署
现在AI这么火，你是不是也渴望能够在本地部署并运行属于自己的大模型，然而，高昂的硬件成本又往往成了一大障碍，限制了你继续在AI领域去探索和创新。如果告诉你，无需换电脑，无需额外花钱买GPU或换显卡，你现在的电脑就可以本地跑一些大模型，那将是多么酷的一...
-
1panel+MaxKB+Ollama+Llama Linux部署指南
目录 1.1panel安装 2.MaxKB 1.MaxKB登录 3.Ollama（gpu）安装 1.安装英伟达容器安装包 1.配置apt源 2.更新源 3.安装工具包 2.使用GPU运行...
-
最简单的Stable Diffusion 本地部署教程
为了在本地成功部署Stable Diffusion，你需要遵循一系列详细的步骤，确保所有必要的硬件和软件环境都被正确配置。以下是一个全面的教程，帮助你从零开始搭建Stable Diffusion的运行环境。 1. 硬件和软件环境准备【1】【5】 在开...
-
轻薄本没有独立显卡如何运行stable diffusion
众所周知，Stable Diffusion WebUI 使用 GPU 模式运行。 一：检查自己显卡 打开任务管理器或者win+R 输入dxdiag 查看自己显卡状态 很明显一般轻薄本只会带有集显，不能满足stable diffusion要求所以我...
-
马斯克拟打造xAI “算力超级工厂” 以支持下代聊天机器人Grok
5月25日消息，据媒体报道，马斯克本月告诉投资者，旗下AI初创公司xAI正计划打造超级计算机，以支持下一版本的聊天机器人Grok。 xAI将需要多达10万个专用芯片。马斯克对投资者表示 ，将这些专用芯片串联到一台巨型的超级计算机中，并称其为“算力超级工厂”...
-
sd软件下载安装教程（Stable Diffusion绘画软件配置要求）
Stable Diffusion（SD）是一款基于文本生成图像的AI绘画工具，它对电脑硬件有一定的要求。以下是SD绘画软件的配置要求： 1. 显卡（GPU）： 显卡是SD运行的关键，需要一张性能足够强大的独立显卡来提供算力进行绘制。 支持的...
-
微调llama 3 — PEFT微调和全量微调
1. llama 3 微调基础 1.1 llama 3 简介 官方blog llama 3 目前有两个版本：8B版和70B版。8B版本拥有8.03B参数，其尺寸较小，可以在消费者硬件上本地运行。 meta-llama/Meta-Llama-3-...
-
Llama-Factory + Ollama 打造属于自己的中文版 Llama3
Meta 推出 Llama3 也有一小段时间了。Llama3 包含 8B 和 70B 两种参数规模，涵盖预训练和指令调优的变体。Llama 3 支持多种商业和研究用途，并已在多个行业标准测试中展示了其卓越的性能（关于Llama3的具体介绍可以参考本站另外一...
-
LLaMA-Factory参数的解答（命令，单卡，预训练）
前面这个写过，但觉得写的不是很好，这次是参考命令运行脚本，讲解各个参数含义。后续尽可能会更新，可以关注一下专栏！！ *这是个人写的参数解读，我并非该领域的人如果那个大佬看到有参数解读不对或者有补充的请请反馈！谢谢（后续该文章可能会持续更新） * LLaMA...
-
AI绘画Stable Diffusion【Forge】：速度更快更好用的新Web UI工具Forge
大家好，我是程序员晓晓。 Stable Diffusion WebUI Forge 是一个基于 Stable Diffusion WebUI的平台，相当于是一个升级版本。“Forge”这个名字的灵感来自于“Minecraft Forge”。其旨在成为 S...
-
Midjourney国际版教程(保姆级教程)
1.登录Discord Midjourney国际版架设在Discord上，因此使用Midjourney前需要先创建并验证Discord帐户，然后通过浏览器Discord访问Midjourney Bot。 2.订阅Midjourney Midjou...
-
这些AI芯片创企想挑战英伟达，它们能成功吗？
科幻小说《沙丘》中有这样一句话：“谁控制了GPU，谁就控制了宇宙。”在今天的科技世界，如果哪家企业想在AI领域有所见树，就要购买英伟达GPU。 分析师们喋喋不休，将追逐AI梦想的企业分成两类，也就是“GPU-rich”和“GPU-poor”，前者拥有大...
-
Mojo崛起：AI-first 的编程语言能否成为新流行？
作者 | James Thomason 编译 | 伊风 出品 | 51CTO技术栈（微信号：blog51cto） 眨眼之间，你可能会错过又一种编程语言的发明。 有个笑话说，程序员花费20%的时间编写代码，80%的时间决定使用什么语言。 事实上，编程语言如...
-
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略 导读：2024年4月18日，Meta 重磅推出了Meta Llama 3，本文章主要介绍了Meta推出的新的开源大语言模型Meta Llama 3。模型架构 Llam...
-
戴尔与英伟达合作，利用 AI 解决方案推动 AI 工厂发展
戴尔正在与英伟达合作，扩展其 AI 工厂基础设施服务，增加对新软件和服务器解决方案的支持。与其他基础设施服务不同，戴尔的 AI 工厂专门设计用于支持高强度的 AI 工作负载。 在今年的 GTC 大会上宣布的戴尔 AI 工厂现在已经扩展到包括对液冷散热服务器...
-
微软如何看待其“模型即服务”功能使AI普及化
如今的工具使构建AI驱动的应用程序变得容易，但一个复杂的领域是，几乎所有开发人员都希望避免处理如何托管所使用的模型，这不仅是选择OpenAI的GPT-4o、Meta的Llama 3、Google的Gemini或市场上众多开源模型的问题，更是部署它们的...
-
Altman被曝七宗罪，OpenAI竟欲加密GPU合作军方？员工大批离职团队濒临崩溃
【新智元导读】刚刚，有网友仔细总结了OpenAI的七宗罪，对Altman发出愤怒的诘问:为何计划跟踪GPU?为何合作军方?员工滚雪球式离职的消息不断曝出，整个对齐团队已经濒临崩溃，「说谎」「心口不一」的形象愈发鲜明，Altman正在失去民心。 OpenAI...
-
LLamaFactory：当下最容易上手的大模型微调工具
近日，国内的一款微调框架发布了自己的论文《LLAMAFACTORY: Unified Efficient Fine-Tuning of 100+ Language Models》，对他们的框架做了系统性的总结。该框架自推出后迅速出圈，现已斩获15.6k的s...
-
llama3 微调教程之 llama factory 的 安装部署与模型微调过程，模型量化和gguf转换。
本文记录了从环境部署到微调模型、效果测试的全过程，以及遇到几个常见问题的解决办法，亲测可用（The installed version of bitsandbytes was compiled without GPU support. NotImpleme...
-
[stable diffusion] 错误：RuntimeError: Found no NVIDIA driver on your system. Please check that ...
错误：RuntimeError: Found no NVIDIA driver on your system. Please check that you have an NVIDIA GPU and 因为我电脑没有英伟达显卡所以遇到这个错误，可以改用...
-
世界模型也扩散！训练出的智能体竟然不错
世界模型提供了一种以安全且样本高效的方式训练强化学习智能体的方法。近期，世界模型主要对离散潜在变量序列进行操作来模拟环境动态。 然而，这种压缩为紧凑离散表征的方式可能会忽略对强化学习很重要的视觉细节。另一方面，扩散模型已成为图像生成的主要方法，对离散潜在...
-
字节携港大南大升级 LLaVA-NeXT：借 LLaMA-3 和 Qwen-1.5 脱胎换骨，轻松追平 GPT-4V
文 | 王启隆 出品 | 《新程序员》编辑部 2023 年，威斯康星大学麦迪逊分校、微软研究院和哥伦比亚大学的研究人员共同开发的 LLaVA 首次亮相，彼时它被视为一个端到端训练的大型多模态模型，展现了在视觉与语言融合领域的潜力。今年...
-
AI大模型探索之路-训练篇25：ChatGLM3微调实战-基于LLaMA-Factory微调改造企业级知识库
系列篇章? AI大模型探索之路-训练篇1：大语言模型微调基础认知AI大模型探索之路-训练篇2：大语言模型预训练基础认知AI大模型探索之路-训练篇3：大语言模型全景解读AI大模型探索之路-训练篇4：大语言模型训练数据集概览AI大模型探索之路-训练篇5：大...
-
通透！如何选择合适的机器学习算法
算法选择注意事项 为任务选择正确的机器学习算法涉及多种因素，每个因素都会对最终决策产生重大影响。以下是决策过程中需要牢记的几个方面。 1.数据集特征 数据集的特征对于算法的选择至关重要。数据集的大小、包含的数据元素的类型、数据是结构化的还是非结构化的等...
-
使用自己的数据集训练DETR模型
众所周知，Transformer已经席卷深度学习领域。Transformer架构最初在NLP领域取得了突破性成果，尤其是在机器翻译和语言模型中，其自注意力机制允许模型处理序列数据的全局依赖性。随之，研究者开始探索如何将这种架构应用于计算机视觉任务，特别是...
-
yolov部署到iPhone或终端实践全过程
本文经计算机视觉研究院公众号授权转载，转载请联系出处。 期待已久的检测经典又来来了一波强袭——yolov5。其实yolov5没有完整的文件，现在最重要的应该是把yolov4弄清楚，在目标检测领域中受益匪浅，可以在某些场景得到较高的提升。今天我们还是给大...
-
简单通用：视觉基础网络最高3倍无损训练加速，清华EfficientTrain++入选TPAMI 2024
本文经计算机视觉研究院公众号授权转载，转载请联系出处。 论文链接：https://arxiv.org/pdf/2405.08768 代码和预训练模型已开源：https://github.com/LeapLabTHU/EfficientTrain 会议...