-
ChatGPT泄露私人信息漏洞曝光，攻击方法轻松且成本极低
一组由Google DeepMind科学家领导的研究人员成功利用巧妙方法，让OpenAI的ChatGPT揭示个人电话号码和电子邮件地址。这一攻击的成功表明ChatGPT的训练数据中可能包含大量私人信息，有可能不可预测地泄露出来。 图源备注：图片由AI生成...
-
ChatGPT狂吐训练数据，还带个人信息：DeepMind发现大bug引争议
如果我不停地让 ChatGPT 干一件事，直到把它「逼疯」会发生什么？ 它会直接口吐训练数据出来，有时候还带点个人信息，职位手机号什么的： 本周三，Google DeepMind 发布的一篇论文，介绍了一项让人颇感意外的研究成果：使用大约 200 美元...
-
开源生成式AI初创平台together.ai融资7.3亿元
Together AI，一家专注于生成式人工智能（AIGC）领域的初创平台，宣布在A轮融资中获得7.3亿元人民币，由凯鹏华盈领投，英伟达等多家公司跟投。 Together AI强调开源在大模型领域的重要性，发布了多个备受好评的开源产品，包括类ChatGPT...
-
使用 RLHF 训练 LLaMA 的实践指南：StackLLaMA
由于LLaMA没有使用RLHF，后来有一个初创公司 Nebuly AI使用LangChain agent生成的数据集对LLaMA模型使用了RLHF进行学习，得到了ChatLLaMA模型，详情请参考：Meta开源的LLaMA性能真如论文所述吗？如果增加RLH...
-
北大最新多模态大模型开源：在混合数据集上训练，无需修改直接用到图像视频任务
训完130亿参数通用视觉语言大模型，只需3天！ 北大和中山大学团队又出招了——在最新研究中，研究团队提出了一种构建统一的图片和视频表征的框架。 利用这种框架，可以大大减少VLM（视觉语言大模型）在训练和推理过程中的开销。 具体而言，团队按照提出的新框架...
-
Llama-Factory的baichuan2微调
Llama-Factory：https://github.com/hiyouga/LLaMA-Factory/tree/main 请使用 --quantization_bit 4/8 来启用 QLoRA 训练。 默认模块应作...
-
全球首份《AI系统安全开发准则》发布，提出4方面安全监管要求
2023年11月26日 ，美国、英国、澳大利亚等18个国家的网络安全监管部门联合发布了全球首份《AI系统安全开发准则》，旨在实现保护人工智能模型不被恶意篡改，并敦促人工智能公司在开发或使用人工智能模型时更加关注“设计安全”。 作为这份准则制定的主要参...
-
在少样本学习中，用SetFit进行文本分类
译者 | 陈峻 审校 | 重楼 在本文中，我将向您介绍“少样本（Few-shot）学习”的相关概念，并重点讨论被广泛应用于文本分类的SetFit方法。 传统的机器学习（ML） 在监督（Supervised）机器学习中，大量数据集被用于模型训练，以便...
-
DALLE2论文解读及实现(一)
DALLE2: Hierarchical Text-Conditional Image Generation with CLIP Latents paper: https://cdn.openai.com/papers/dall-e-2.pdf githu...
-
【多模态】3、CLIP | OpenAI 出品使用 4 亿样本训练的图文匹配模型
文章目录 一、背景 二、方法 2.1 使用自然语言来监督训练 2.2 建立一个超大数据集 2.3 选择预训练的方式——对比学习而非预测学习 2.4 模型缩放和选择 三、效果 四、思考 论文：Learning Transferabl...
-
大模型界的“熊猫烧香”，可对文生图模型造成巨大伤害！
《麻省理工技术评论》分享了一个名为Nightshade的投毒工具，可以对DALL-E、Midjourney 和Stable Diffusion等文生图模型的训练数据造成造成巨大伤害，以帮助艺术家们防止非法爬取其画作数据，用于大模型训练，同时揭露了模型存在的...
-
OpenAI神秘Q*毁灭人类？爆火「Q*假说」竟牵出世界模型，全网AI大佬长文热议
Q* 【新智元导读】传闻中OpenAI的Q*，已经引得AI大佬轮番下场。AI2研究科学家Nathan Lambert和英伟达高级科学家Jim Fan都激动的写下长文，猜测Q*和思维树、过程奖励模型、AlphaGo有关。人类离AGI，已是临门一脚了? Ope...
-
Meta AI研究团队新AI模型： Llama 2 大语言模型
Llama是Facebook Research团队开发的基础语言模型集，旨在提供广泛的语言理解能力。它基于转换器架构，参数范围从7B到65B。通过使用Llama模型，研究人员和开发人员可以构建更先进的自然语言处理系统。您可以在GitHub上找到相关的代...
-
【多模态】4、Chinese CLIP | 专为中文图文匹配设计
文章目录 一、背景 二、方法 2.1 基础内容 2.2 数据集 2.3 预训练方法 2.4 模型尺寸 三、效果 四、代码 4.1 推理 论文：Chinese CLIP: Contrastive Vision-Language Pr...
-
LLaMA-2论文阅读
1. 基本介绍 LLaMA-2是2023年7月24日Meta发布的LLaMA第二代，跟LLaMA-1几个显著区别: 免费可商用版本的大模型 context上下文增加了一倍，从2K变为了4K 训练的总token数从1.0T/1.4T增加为2.0T(...
-
Stable Diffusion如何生成高质量的图-prompt写法介绍
文章目录 Stable Diffusion 使用 尝试下效果 prompt的编写技巧 prompt 和 negative prompt Prompt格式 Prompt规则细节 优化 Guidance Scale 总结 Sta...
-
通用人工智能（AGI）离我们还有多远
人工智能（AI）是当今科技领域最热门和最具影响力的话题之一，它已经渗透到了我们生活和工作的方方面面，从电影推荐和语音助手，到自动驾驶和医疗诊断。AI的发展也引发了人们对未来的想象和期待，尤其是对通用人工智能（Artificial General Inte...
-
教你如何使用PyTorch解决多分类问题
本文分享自华为云社区《使用PyTorch解决多分类问题：构建、训练和评估深度学习模型》，作者： 小馒头学Python。 引言 当处理多分类问题时，PyTorch是一种非常有用的深度学习框架。在这篇博客中，我们将讨论如何使用PyTorch来解决多分类...
-
Stable Video Diffusion来了，代码权重已上线
AI 画图的著名公司 Stability AI，终于入局 AI 生成视频了。 本周二，基于 Stable Diffusion 的视频生成模型 Stable Video Diffusion 来了，AI 社区马上开始了热议。 很多人都表示「我们终于等到了」...
-
【文心一言 vs. 通义千文】一言对千问：自百度之后，阿里终于还是出手了——通义千问
通义千问 ： https://tongyi.aliyun.com/通义千问https://tongyi.aliyun.com/ 目录 通义千问 ： 达摩院 GPT-30B 模型复现 GPT-3 模型介绍 GPT3中文30B参数量文本生...
-
程序员眼中的 ChatGPT
作者 | Bright Liao 作为一个一直对AI 技术很感兴趣的软件开发工程师，早在深度学习开始火起来的2015、2016年，我就开始了相关技术的学习。当时还组织了公司内部同样有兴趣的同学一起研究，最终的成果汇集成几次社区中的分享以及几篇学习文章（见...
-
Stable Diffusion - 图像控制插件 ControlNet (OpenPose) 配置与使用
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/131591887 论文：Adding Conditional Co...
-
基于llama模型进行增量预训练
目录 1、llama模型转换(pytorch格式转换为HuggingFace格式 1.1、拉取Chinese-LLaMA-Alpaca项目 1.2、准备文件夹 1.3、下载llama官方原始模型 1.4、移动文件到指定位置 1.5、执行转换脚...
-
Grounding dino + segment anything + stable diffusion 实现图片编辑
目录 总体介绍 总体流程 模块介绍 目标检测： grounding dino 目标分割：Segment Anything Model (SAM 整体思路 模型结构： 数据引擎 图片绘制 集成 样例 其他问题 附录 总体介绍...
-
大语言模型之七- Llama-2单GPU微调SFT
（T4 16G）模型预训练colab脚本在github主页面。详见Finetuning_LLama_2_0_on_Colab_with_1_GPU.ipynb 在上一篇博客提到两种改进预训练模型性能的方法Retrieval-Augmented Gener...
-
Stable Diffusion XL训练LoRA
主要包括SDXL模型结构，从0到1训练SDXL以及LoRA教程，从0到1搭建SDXL推理流程。 【一】SDXL训练初识 Stable Diffusion系列模型的训练主要分成一下几个步骤，Stable Diffusion XL也不例外： 训练集...
-
Omniverse Replicator环境配置和使用说明
Omniverse Replicator使用说明 本教程将介绍Omniverse Replicator的环境配置和使用说明, 参加Sky Hackathon的同学可以参考本教程来合成训练数据集. 文章目录 Omniverse Repl...
-
【AI热点技术】ChatGPT开源替代品——LLaMA系列之「羊驼家族」
ChatGPT开源替代品——LLaMA系列之「羊驼家族」 1. Alpaca 2. Vicuna 3. Koala 4. ChatLLaMA 5. FreedomGPT 6. ColossalChat 完整的 ChatGPT 克隆解决方案 中...
-
13B模型全方位碾压GPT-4？这背后有什么猫腻
一个参数量为 13B 的模型竟然打败了顶流 GPT-4？就像下图所展示的，并且为了确保结果的有效性，这项测试还遵循了 OpenAI 的数据去污方法，更关键的是没有发现数据污染的证据。 如果你细细查看图中的模型，发现只要带有「rephraser」这个单词...
-
文心一言、讯飞星火与GPT-4/3.5在回答中文历史问题的表现
最近，随着备受关注的文心一言正式免费向全社会开放，再次引起了社会层面对国产大模型的兴趣。 以文心一言为代表的国产大模型性能究竟如何？如果将它们相互比较，并且和GPT系列模型等国际前沿水平的LLM进行比较，会得到什么样的结果呢？笔者对此...
-
解释：生成式 AI的工作机制与差异
像 ChatGPT 这样强大的生成式 AI 系统是如何工作的，它们与其他类型的人工智能有何不同？ 快速浏览一下头条新闻，就会发现生成式人工智能如今无处不在。事实上，其中一些标题实际上可能是由生成式人工智能撰写的，例如 OpenAI 的 ChatGPT，...
-
中国AIGC数据标注全景报告：百亿市场规模，百万就业缺口
数据标注，正迎来关键洗牌时刻。 大模型时代到来，以数据为中心的AI开发模式加速走向台前，数据的价值从未向今天这样被充分挖掘—— 大模型从训练到部署应用迭代，AIGC众多垂直场景落地，通用智能、具身智能等前沿领域探索，都与高质量、专业化的场景数据密不可分。...
-
中文版开源Llama 2同时有了语言、多模态大模型，完全可商用
可以说，AI 初创公司 LinkSoul.Al 的这些开源项目让海外开源大模型在国内的普及和推广速度与国际几乎保持了一致。 7 月 19 日，Meta 终于发布了免费可商用版本 Llama 2，让开源大模型领域的格局发生了巨大变化。 Llama 2 模...
-
自动代码Copilot背后的模型
文章目录 1.引入 2.评估框架 3.评估数据集 4.模型方法 5.实验结果 6.总结 7.参考 之前，我已经介绍过Github发布的自动代码Copilot的使用方法，感兴趣的可以看这篇文章：Copilot要收费了？ 今天主要介绍一...
-
LLaMA系列 | LLaMA和LLaMA-2精简总结
文章目录 1、LLaMA 1.1、模型结构 1.2、训练方式 1.3、结论 2、LLaMA-2 2.1、相比LLaMA1的升级 2.3、模型结构 2.3.1、MHA, MQA, GQA区别与联系 2.4、训练方式 1、L...
-
【网安AIGC专题10.11】2 ILF利用人类编写的 自然语言反馈 来训练代码生成模型：自动化反馈生成+多步反馈合并+处理多错误反馈+CODEGEN -M ONO 6.1 B model
Improving Code Generation by Training with Natural Language Feedback 写在最前面 主要工作 启发 背景介绍 应用 现有工作的不足 Motivation动机 方法 ILF...
-
AIGC实战——卷积神经网络(Convolutional Neural Network, CNN)
AIGC实战——卷积神经网络 0. 前言 1. 卷积神经网络 1.1 卷积层 1.2 叠加卷积层 1.3 检查模型 2. 批归一化 2.1 协变量漂移 2.2 使用批归一化进行训练 2.3 使用批归一化进行预测 3. Dropout 4...
-
AI检测器又活了？成功率高达98%，吊打OpenAI
现在AI文本检测器，几乎没有办法有效地区分AI生成的文字和人类的文字。 就连OpenAI开发的检测工具，也因为检测准确率太低，在上线半年后悄悄下线了。 但是最近，Nature报导了堪萨斯大学的一个团队的研究成果，他们开发的学术AI检测系统，能有效分辨论...
-
OpenAI与第三方机构合作，构建新的AI训练数据集
OpenAI最近宣布了Data Partnerships计划，旨在与第三方机构合作，创建用于AI模型训练的公共和私有数据集。这一举措旨在解决现有AI模型训练数据集中存在的问题，其中包含有毒语言和偏见。 OpenAI的目标是培养更安全、更有益于全人类的AI。...
-
AIGC实战——生成模型简介
AIGC实战——生成模型简介 0. 前言 1. 生成模型 2. 生成模型与判别模型的区别 2.1 模型对比 2.2 条件生成模型 2.3 生成模型的发展 2.4 生成模型与人工智能 3. 生成模型示例 3.1 简单示例 3.2 生成模型框...
-
OpenAI 寻求合作伙伴生成用于训练 AI 模型的数据集
IT之家 11 月 10 日消息，OpenAI 发文宣布，将与组织合作生成用于训练 AI 模型的公共 / 私有数据集，数据合作伙伴关系旨在“让更多组织能够帮助引导 AI 的未来”并“从更有用的模型中受益”。 IT之家从博客获悉，OpenAI 称：“为了...
-
LoRa模型训练教程（炼丹，Stable Diffusion）
1. lora介绍（Low Rank Adaption） 何为LoRA？LoRA并不是扩散模型专有的技术，而是从隔壁语言模型（LLM）迁移过来的，旨在解决避免将整个模型参数拷贝下来才能对模型进行调校的问题。因为大型语言模型的参数量过于恐怖，比如最近新出...
-
【AI绘画】《超入门级教程：训练自己的LORA模型》，MM超爱的萌宠图片实战
目录 前言 一、SD-Trainer webui使用介绍 二、准备工作 2-1、登录在线训练平台 2-2、购买算力并创建工作空间 2-3、启动工作空间 三、开始训练 3-1、打开终端 3-2、准备训练数据 3-3、准备模型文件 3-3-...
-
ChatGPT泄露陌生男子自拍照！隐私数据被模型偷了？网友大恐慌
【新智元导读】原来，这竟然也是ChatGPT的幻觉? 最近，ChatGPT响应中蹦出陌生男子照片事件，让许多网友们震惊了! 事情是这样的，一名用户向ChatGPT求助——Python中的代码格式化包back该怎样使用。 开始，ChatGPT的回答还很正常。...
-
Copilot 的训练数据集是如何生成的？是否包含开源项目的代码？
GitHub Copilot 是一款基于人工智能的代码自动生成工具，它是由 GitHub 与 OpenAI 合作开发的。为了让 Copilot 能够学习大量的代码片段，从而能够为开发者生成高质量的代码，它需要依赖海量的训练数据集。本文将深入探讨 Copil...
-
AIGC实战——深度学习 (Deep Learning, DL)
AIGC实战——深度学习 0. 前言 1. 深度学习基本概念 1.1 基本定义 1.2 非结构化数据 2. 深度神经网络 2.1 神经网络 2.2 学习高级特征 3. TensorFlow 和 Keras 4. 多层感知器 (MLP ...
-
Together AI发布RedPajama v2：包内30万亿token数据集，用于训练大型语言模型
Together AI最近发布了RedPajama v2，这是一个庞大的在线数据集，包含了30万亿token，成为目前公开可用的最大数据集之一，专门用于学习型机器学习系统的培训。 对于像Llama、Mistral、Falcon、MPT和RedPajama等...
-
什么是机器学习中的正则化？
1. 引言 在机器学习领域中，相关模型可能会在训练过程中变得过拟合和欠拟合。为了防止这种情况的发生，我们在机器学习中使用正则化操作来适当地让模型拟合在我们的测试集上。一般来说，正则化操作通过降低过拟合和欠拟合的可能性来帮助大家获得最佳模型。 在本文...
-
Meta AI研究负责人倡导开源许可制度变革
Meta公司最近发布的大型语言模型Llama2备受争议，因其并未完全满足开源倡议的要求。尽管Llama2相对较为开放和免费，但在开源软件领域，一些人仍对该公司的开放性持有异议。 具体来说，Meta公司的许可协议使Llama2对许多人免费，但它仍然是有限的，...
-
首个人体动捕基模型面世！SMPLer-X：横扫七大榜单
人体全身姿态与体型估计（EHPS, Expressive Human Pose and Shape estimation）虽然目前已经取得了非常大研究进展，但当下最先进的方法仍然受限于有限的训练数据集。 最近，来自南洋理工大学S-Lab、商汤科技、上海人...