消费级 gpu - AIGC资讯

LLMs之Llama Coder：llama-coder的简介、安装和使用方法、案例应用之详细攻略

LLMs之Llama Coder：llama-coder的简介、安装和使用方法、案例应用之详细攻略目录 llama-coder的简介 1、特点 llama-coder的安装和使用方法 1、安装推荐硬件本地安装远程安装模型...

大数据 2024-08-23 AIGC

174阅读

Llama 3 简介大家好，上个月 Meta 发布 Llama 3，大模型开源世界又热闹起来了。 Llama 3 提供两个版本（8B 和 70B）： **8B 版本适合在消费级 GPU 上高效部署和开发； 70B 版本则专为大规模 AI...

人工智能 2024-06-26 AIGC

175阅读

大家好，我是向阳就在刚刚，Stable Diffusion 3 Medium 如约而至。几天前，Stability AI 在社交平台 X 上官宣，SD3 Medium 将在 6 月 12 日正式开源。这一次，没有跳票，它是真的来了。 20...

人工智能 2024-06-16 AIGC

214阅读

上个月，Meta FAIR 田渊栋参与的一项研究广受好评，他们在论文《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases》中开始卷 10...

AIGC 2024-03-08 AIGC

184阅读

Ollama简介 Ollama 是一个开源平台，用于管理和运行各种大型语言模型 (LLM ，例如 Llama 2、Mistral 和 Tinyllama。它提供命令行界面 (CLI 用于安装、模型管理和交互。您可以使用 Ollama 根据您的需求下载...

AIGC 2024-02-26 AIGC

353阅读

大型语言模型（LLM）通常拥有数十亿的参数，用了数万亿 token 的数据进行训练，这样的模型训练、部署成本都非常高。因此，人们经常用各种模型压缩技术来减少它们的计算需求。一般来讲，这些模型压缩技术可以分为四类：蒸馏、张量分解（包括低秩因式分解）、剪枝...

AIGC 2024-01-30 AIGC

183阅读

推荐基于稳定扩散(stable diffusion AI 模型开发的自动纹理工具： DreamTexture.js自动纹理化开发包 - NSDT 稳定扩散获得如此多关注的原因如果你还没有看过它：稳定扩散是一个文本到图像的生成模型，你可以输入...

大数据 2024-01-20 AIGC

221阅读

AI是由很多层计算组成的，每一层计算都无差别地计算所有的节点，甚至是对所有的节点的排列组合。由于没有局部性，运行内存需要能够放得下一整个模型至少一层的运算量。如果运行内存不够大，就得把运算好的数据存储起来，放在外存，然后在外存读出没有运算的数据继续算，那这...

AIGC 2024-01-19 AIGC

697阅读

大型语言模型 (LLM 在学界和业界都取得了巨大的进展。但训练和部署 LLM 非常昂贵，需要大量的计算资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的开源框架和方法。然而，不同硬件和软件堆栈的运行时性能可能存在很大差异，这使得选...

人工智能 2023-12-27 AIGC

200阅读

不仅如此，PowerInfer 与最先进的本地LLM推理框架 llama.cpp 相比，在单个 RTX 4090 (24G 上运行 Falcon (ReLU -40B-FP16，实现了 11 倍多的加速，还能保持模型的准确性。具体来说，PowerIn...

大数据 2023-12-22 AIGC

206阅读

本文旨在为用户选择合适的开源或闭源语言模型提供指导，以便在不同任务需求下获得更高的性价比。通过测试比较 LLaMA-2 和 GPT-3.5 的成本和时延，本文作者分别计算了二者的 1000 词元成本，证明在大多数情况下，选择 GPT...

生成式AI 2023-12-02 AIGC

204阅读

也写到第八了 ~~ 这次还是和mac相关哦~~ 先吹吹,苹果亲自下场优化，在iPhone、iPad、Mac等设备上以惊人的速度运行Stable Diffusion就是这么简单。输入一句话就能生成图像的 Stable Diffusion 已经火爆数月...

生成式AI 2023-11-19 AIGC

219阅读