-
ChatGLM3-6B使用lora微调实体抽取，工具LLaMA-Factory，医学数据集CMeEE
一、下载ChatGLM3-6B 下载地址，需要魔法 测试模型： 新建文件predict.py。运行下面测试代码。建议这里的transformers包最好和LLaMA-Factory环境的transformers包版本保持一致或者直接用LLaMA-Fa...
-
SiliconCloud上新：GLM-4-9B，通用能力超越Llama 3
今天，智谱发布了第四代 GLM 系列开源模型：GLM-4-9B。 GLM-4-9B 系列模型包括：基础版本 GLM-4-9B（8K）、对话版本 GLM-4-9B-Chat（128K）、超长上下文版本 GLM-4-9B-Chat-1M（1M）和多...
-
为ChatGLM-6B模型的训练纪实：从数据集准备到LLamA-Factory的高效应用(一)
文章目录 前言 一、数据来源的选择 (一 、开源数据集 1. 存在的问题 2. 解决方案 (二 、自定义数据集 网络爬虫 用户生成内容 法律咨询 阶段成果展示 前言 在人工智能和自然语言处理领域，生成式预训练模型（如G...
-
使用LLaMA Factory来训练智谱ChatGLM3-6B模型
使用LLaMA Factory来训练智谱ChatGLM3-6B模型时，以下是一个训练过程： 1. 环境搭建 a. 安装Python和Anaconda 下载并安装适合你操作系统的Python版本（推荐Python 3.10或更高版本）。 安装Anac...
-
弱智吧竟成最佳中文AI训练数据？！中科院等：8项测试第一，远超知乎豆瓣小红书
想了解更多AIGC的内容， 请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 离大谱了，弱智吧登上正经AI论文，还成了最好的中文训练数据？？ 具体来说，使用弱智吧数据训练的大模型，跑分超过百科、知乎、豆瓣、小红...
-
大模型学习笔记（一）：部署ChatGLM模型以及stable-diffusion模型
大模型学习笔记（一）：部署ChatGLM模型以及stable-diffusion模型 注册算力平台（驱动云平台） 1.平台注册 2.查看算力 3.进入平台中心 部署ChatGLM3-6B模型 1.创建项目 2.配置环境 设置镜像源、克隆...
-
让大模型“瘦身”90%！清华&哈工大提出极限压缩方案：1bit量化，能力同时保留83%
对大模型进行量化、剪枝等压缩操作，是部署时最常见不过的一环了。 不过，这个极限究竟有多大? 清华大学和哈工大的一项联合研究给出的答案是: 90%。 他们提出了大模型1bit极限压缩框架OneBit，首次实现大模型权重压缩超越90%并保留大部分（83%）能力...
-
GLM团队开源超拟人大模型CharacterGLM 6B版
清华CoAI团队、聆心智能团队、GLM技术团队联手研发了CharacterGLM，一个专门为定制中文AI角色设计的模型，参数规模从6B到66B不等。相较于传统模型，CharacterGLM在表现上更为出色，使用门槛也更低。 为了让AI角色更加逼真，团队深入...
-
匿名论文提出奇招，增强大模型长文本能力居然还能这么做
一提到提高大模型长文本能力，就想到长度外推或者上下文窗口扩展? 不行，这些都太费硬件资源了。 来看一个奇妙新解: 和长度外推等方法使用KV缓存的本质不同，它用模型的参数来存储大量上下文信息。 具体办法就是建一个临时Lora模块，让它仅在长文本生成过程中“流...
-
匿名论文提出奇招！增强大模型长文本能力居然还能这么做
一提到提高大模型长文本能力，就想到长度外推或者上下文窗口扩展？ 不行，这些都太费硬件资源了。 来看一个奇妙新解： 和长度外推等方法使用KV缓存的本质不同，它用模型的参数来存储大量上下文信息。 具体办法就是建一个临时Lora模块，让它仅在长文本生成过程中“...
-
常见大模型对比[ChatGPT（智能聊天机器人）、Newbing(必应)、Bard（巴德）、讯飞星火认知大模型（SparkDesk）、ChatGLM-6B]
目录 1 引言 2 选取常见的大模型作为对比项 2.1什么是大模型 2.2 常见大模型 3 相关的大模型介绍和功能 3.1 ChatGPT 3.1.1 ChatGPT的介绍 3.1.2 ChatGPT的原理 3.1.3 ChatGPT的特...
-
【AI绘画】云服务器部署stable-diffusion-webui保姆级教程
1.背景 之前给大家写过Mac苹果笔记本上部署stable-diffusion-webui的教程，知乎链接：【奶奶看了也不会】AI绘画 Mac安装stable-diffusion-webui绘制AI妹子保姆级教程 但是安装过程就花了一天的时间，各种问...
-
【Rust日报】2023-03-14 Rust实现的纯 CPU 运算的 LLaMA 模型
Rust实现的纯 CPU 运算的 LLaMA 模型 我试图让 LLaMA 语言模型在纯 CPU实现上工作，灵感来自于这里的一个很棒的CPU实现：https://github.com/ggerganov/ggml，它可以运行GPT-J 6B模型。...
-
chatgpt平替，清华chatglm本地化部署教程（aigc大模型风口，校招找工作必备），包含weiui部署，api部署，对话框部署
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。...
-
正面硬刚OpenAI！智谱AI推出第三代基座模型，功能对标GPT-4V，代码解释器随便玩
国产大模型估值最高创企，为何是智谱AI? 仅用4个月时间，这家公司就甩出最新成绩证明了自己—— 自研大模型ChatGLM3，不止是底层架构，就连模型功能都进行了全方位大升级。 性能上，最直观的表现就是“疯狂屠榜”，所有50个大模型公开性能测评数据集中，拿下...