-
【原创】用 VisualGLM 进行AIGC多模识别和内容生成
最近几个月，整个AI行业的LLM（大语言模型）蓬勃发展，除了过去传统的纯文字的多模态能力的视觉语言模型，如 GPT-4，ImageBind等表现令人印象深刻。 ChatGLM-6B是中文用户使用非常舒服的一个开源中文LLM。2023年5月17日，智谱...
-
ChatGPT 挂了一整天了，已经习惯了用大模型的我怎么办
OpenAI 挂了，已经习惯了用大模型的我怎么办 OpenAI 挂了，急，在线等。 你是不是已经习惯了 ChatGPT 的存在？是不是感觉离了 ChatGPT 寸步难行，很难再进行自己的工作？今天 ChatGPT 大面积宕机，服务直到文章发布（下午5点...
-
开启想象翅膀：轻松实现文本生成模型的创作应用，支持LLaMA、ChatGLM、UDA、GPT2、Seq2Seq、BART、T5、SongNet等模型，开箱即用
开启想象翅膀：轻松实现文本生成模型的创作应用，支持LLaMA、ChatGLM、UDA、GPT2、Seq2Seq、BART、T5、SongNet等模型，开箱即用 TextGen: Implementation of Text Generation...
-
ChatGPT开源平替(2)llama
最近，FacebookResearch 开源了他们最新的大语言模型 LLaMA，训练使用多达14,000 tokens 语料，包含不同大小参数量的模型 7B、13B 、30B、 65B，研究者可以根据自身算力配置进行选择。 ...
-
大模型使用——超算上部署LLAMA-2-70B-Chat
大模型使用——超算上部署LLAMA-2-70B-Chat 前言1、本机为Inspiron 5005，为64位，所用操作系统为Windos 10。超算的操作系统为基于Centos的linux，GPU配置为A100，所使用开发环境为Anaconda。2、...
-
用语言对齐多模态信息，北大腾讯等提出LanguageBind，刷新多个榜单
在现代社会，信息传递和交流不再局限于单一模态。我们生活在一个多模态的世界里，声音、视频、文字和深度图等模态信息相互交织，共同构成了我们丰富的感知体验。这种多模态的信息交互不仅存在于人类社会的沟通中，同样也是机器理解世界所必须面对的挑战。 如何让机器像人类...
-
Meta最新模型LLaMA细节与代码详解
Meta最新模型LLaMA细节与代码详解 0. 简介 1. 项目环境依赖 2. 模型细节 2.1 RMS Pre-Norm 2.2 SwiGLU激活函数 2.3 RoPE旋转位置编码 3. 代码解读 3.1 tokenizer 3.2 m...
-
vivo开源蓝心大模型BlueLM-7B系列 后续还将开源13B以及多模态7B-vl模型
近日，vivo AI正式开源了BlueLM-7B 基础 （base） 模型和7B 对话 (chat 模型，同时开源了支持32K 的长文本基础 (base 模型和对话 (chat 模型。 具体特性如下： vivo表示，后续还将开源13B 模型和支持...
-
开发者「第二大脑」来袭，GitHub Copilot更新，人类开发参与进一步减少
是什么让 Andrej Karpathy 感慨，人类在软件开发过程中直接编写代码的贡献将越来越小，直接输入和监督作用将更加抽象化。最终，人类的角色将仅仅是进行基本的审核和确认，而不再是主要的编程和开发者。 原来是 GitHub 新发布的 Copilot...
-
大模型勇闯洛圣都，加封「GTA五星好市民」！南洋理工、清华等发布视觉可编程智能体Octopus：打游戏、做家务全能干
随着游戏制作技术的不断发展，电子游戏已然成为现实世界的模拟舞台。 以游戏《侠盗猎车手》（GTA）为例，在GTA的世界里，玩家可以以第一人称视角，在洛圣都（游戏虚拟城市）当中经历丰富多彩的生活。 然而，既然人类玩家能够在洛圣都里尽情遨游完成若干任务，我们...
-
GitHub CEO：AI助手已成公司摇钱树
最新消息，GitHub CEO托马斯·多姆克在接受媒体采访时透露，Copilot已经“成为一个赚钱工具”。 多姆克甚至直言不讳地说，用户使用Copilot的成本低于GitHub从中收取的价格。 Copilot是GitHub推出的一款AI编程辅助工具，让...
-
探索人工智能的世界：构建智能问答系统之环境篇
引言 在之前的一篇文章中，我们已经对项目所需的知识点进行了简单的了解。今天，我们将开始搭建整个项目的环境。在接下来的文章中，我们将详细介绍如何配置项目所需的各种工具和环境，以确保项目的顺利进行。 部署 接下来，你可能需要多次重启电脑来确保环境变量的生效。...
-
Github Copilot 的使用方法和快捷键
Copilot 是什么 Copilot (https://copilot.github.com/ 是由 Github 提供的AI编码辅助工具，它可以在编码过程中提供基于 AI 学习的编码建议。在很多情况下，只需要有注释或者函数名称，Copilot就可...
-
蚂蚁推出云原生智能容量工具Kapacity V0.2 引入自研AI算法
蚂蚁集团宣布推出Kapacity V0.2智能云容量技术工具，旨在解决云原生容量问题。该版本引入了蚂蚁自研的「基于流量驱动的副本数预测」AI 算法，实现了生产级的预测式弹性伸缩。 此外，该版本还加入了自定义指标支持，兼容 Prometheus Adapt...
-
【AI绘画】《超入门级教程：训练自己的LORA模型》，MM超爱的萌宠图片实战
目录 前言 一、SD-Trainer webui使用介绍 二、准备工作 2-1、登录在线训练平台 2-2、购买算力并创建工作空间 2-3、启动工作空间 三、开始训练 3-1、打开终端 3-2、准备训练数据 3-3、准备模型文件 3-3-...
-
GitHub 宣布 Copilot Chat 功能 12 月全面推出，教育用户及开源项目维护者可免费使用
IT之家 11 月 9 日消息，今年 7 月时，GitHub 宣布为企业公司和组织推出 GitHub Copilot Chat 服务的公开测试版，9 月时这项功能扩展到个人用户。 而在今天，GitHub 宣布，作为当前 GitHub Copilot 订...
-
打开stable diffusion webui时，提示缺少clip或clip安装不上的解决方案（windows下的操作）
1.问题描述 打开stable diffusion webui时，提示缺少clip或clip安装不上 2.解决方案 原因：stable diffusion webui环境中的clip其实是open_clip，不能用pip install clip...
-
解说梅西球赛、英雄联盟，OpenAI GPT-4视觉API被开发者玩出新花样
文章开始，我们先来看一段球赛解说视频： 是不是感觉听起来不太对劲？ 你的感觉没错，因为这段解说是用 AI 生成的，这个大喊「梅西！梅西！」的声音居然来自 AI。 这是 X 平台（原推特）博主 @Gonzalo Espinoza Graham 发布的一段视...
-
【AI画画教程】无整合包使用LoRA和Dreambooth训练全流程详解（Linux）
前言 本教程遵循简单原则，不使用任何民间整合包。 目前很多AI画画训练整合包臃肿复杂，教程也是名词乱炖，容易对初学者造成理解误差和使用困难。因为许多整合包都依赖于sd-scripts库，它自身就能支持绝大多数的训练场景，学会这个后，自己也可以根据自己...
-
解决在Windows安装stable diffusion遇到“Torch is not able to use GPU”的问题
解决在Windows安装stable diffusion遇到“Torch is not able to use GPU”的问题 遇到的问题 解决方法 参考链接 遇到的问题 在Windows上安装stable diffusion的最...
-
如何免费使用ChatGPT进行学术润色？你需要这些指令...
目录 1 ChatGPT4.0上线 2 中科院ChatGPT学术版 3 学术润色Prompts 1 ChatGPT4.0上线 2023年3月14日，OpenAI发布ChatGPT4.0。ChatGPT4.0比3.5更大，拥有更多的...
-
Copilot 的训练数据集是如何生成的？是否包含开源项目的代码？
GitHub Copilot 是一款基于人工智能的代码自动生成工具，它是由 GitHub 与 OpenAI 合作开发的。为了让 Copilot 能够学习大量的代码片段，从而能够为开发者生成高质量的代码，它需要依赖海量的训练数据集。本文将深入探讨 Copil...
-
AIGC远不止是代码辅助
生成式人工智能（AIGC）对于软件开发人员的生产力有重要的潜力。但要成功利用它，需要将其视为不仅仅是代码生成工具而已。 生成式人工智能（AIGC）可以彻底改变软件开发。它具有驱动软件开发人员显著提高生产力的能力，可以加快创新周期和上市时间。然而，如果将其...
-
一键安装 Stable Diffusion UI 2.0——在本地运行
随着生成式 AI 的普及，许多人都想在不花一分钱的情况下获得其中一种图像生成器模型。您现在可以通过Stability AI公开发布的Stable Diffusion来做到这一点。 因为它是开源的并且模型是公开的，所以您可以在本地 PC 上运行该工具。它是...
-
AIGC专栏7——EasyPhoto 人像训练与生成原理详解
AIGC专栏7——EasyPhoto 人像训练与生成原理详解 学习前言 源码下载地址 为什么是Lora EasyPhoto的训练流程 1、数据的预处理 a、人像排序 i、人脸特征向量提取过程 ii、人脸偏移角度计算 iii、人像排序 b...
-
LLMs：LLaMA Efficient Tuning(一款可高效微调【全参数/LoRA/QLoRA】主流大模型【ChatGLM-2/LLaMA-2/Baichuan等】的高效工具【预训练+指令监督微
LLMs：LLaMA Efficient Tuning(一款可高效微调【全参数/LoRA/QLoRA】主流大模型【ChatGLM-2/LLaMA-2/Baichuan等】的高效工具【预训练+指令监督微调+奖励模型训练+PPO 训练+DPO 训练】 的简介、...
-
语音识别开源框架 openAI-whisper
Whisper 是一种通用的语音识别模型。 它是OpenAI于2022年9月份开源的在各种音频的大型数据集上训练的语音识别模型，也是一个可以执行多语言语音识别、语音翻译和语言识别的多任务模型。 GitHub - yeyupiaoling/Whispe...
-
使用 GitHub Copilot 自动化测试
代码完成并不是什么新鲜事。像 IntelliSense 这样的工具已经允许开发人员通过尝试自动完成他们正在编写的函数或语句的名称来提高工作效率，但是可用的工具只有一定程度的实际“智能”可用。随着 GitHub 的 Copilot 的有限发布，他们正在利用...
-
中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）
本文目的是让大家先熟悉模型的部署，简单入门；所以只需要很小的算力，单台服务器 单GPU显卡（显存不低于12GB），操作系统需要安装 Ubuntu 18.04。 1 服务器&操作系统 1.1服务器的准备...
-
深度解析 Llama 2 的资源汇总：不容错过
“ 探索 Llama 2 背后的过程，包括了模型的全面解析，在线体验，微调，部署等，这份资源汇总将带您深入了解其内涵。” 01 — 周二发布了文章《中文大模型 Chinese-LLaMA-Alpaca-2 开源且可以商用》后，不少朋...
-
从科幻走向现实，LLM Agent 做到哪一步了？
LLM 洪流滚滚，AI 浪潮席卷全球，在这不断冲击行业认知的一年中，Agent 以冉冉新星之态引起开发者侧目。OpenAI 科学家 Andrej Karpathy 曾言“OpenAI 在大模型领域快人一步，但在 Agent 领域，却是和大家处在同一起跑线上...
-
AI集成ChatGPT敲代码神器Copilot
?前言 本文主要是AI工具Copilot解读文章，如果有什么需要改进的地方还请大佬指出⛺️ ?作者简介：大家好，我是青衿?☁️博客首页：CSDN主页放风讲故事?每日一句：努力一点，优秀一点 目录 文章目录 ?前言...
-
带你认识一下多模态对比语言图像预训练CLIP
本文分享自华为云社区《多模态对比语言图像预训练CLIP：打破语言与视觉的界限》，作者：汀丶。 一种基于多模态（图像、文本）对比训练的神经网络。它可以在给定图像的情况下，使用自然语言来预测最相关的文本片段，而无需为特定任务进行优化。CLIP的设计类似于GP...
-
Stable Diffusion Lora模型训练详细教程
1. 介绍 通过Lora小模型可以控制很多特定场景的内容生成。 但是那些模型是别人训练好的，你肯定很好奇，我也想训练一个自己的专属模型（也叫炼丹～_～）。 甚至可以训练一个专属家庭版的模型（family model），非常有意思。 将自己的训练好...
-
【LLM】Windows本地CPU部署民间版中文羊驼模型（Chinese-LLaMA-Alpaca）踩坑记录
目录 前言 准备工作 Git Python3.9 Cmake 下载模型 合并模型 部署模型 前言 想必有小伙伴也想跟我一样体验下部署大语言模型, 但碍于经济实力, 不过民间上出现了大量的量化模型, 我们平民也能体验体验啦~...
-
使用JSoup+CSSPath采集和讯网人物信息
使用JSoup+CSSPath采集和讯网人物信息 代码见github 模型类： public class Person { private String name; //基本信息 private Map&l...
-
数栈技术分享：带你详解数栈FlinkX实时采集原理与使用
一、FlinkX实时采集功能的基本介绍 首先为大家介绍下FlinkX实时模块的分类，如下图所示： 1、实时采集模块(CDC 1）MySQL Binlog插件 利用阿里开源的Canal组件实时从MySQL中捕获变更数据。 2）PostgreS...
-
使用docker搭建在线网课系统
今天介绍一款在线教育相关的软件：酷瓜云课堂-腾讯云版，目前还在不断的迭代当中，从他们的GIT提交来看，那是相当的活跃，基本每天都有提交。 GITEE仓库地址 GITHUB仓库地址 对于熟悉 docker 的同学来说，安装是非常的便利的，也可以在...
-
抖音数据采集教程，高级版
上一篇文章讲了如何对采集的数据进行抓包和解析，本次主要讲解如何使用自动化工具，实现自动化数据采集。如果想了解抓包和解析部分的内容，可以查阅我的上一篇文章《数据平台初试（技术篇）——抖音数据采集（初级版）》，文末附有上篇文章的传送门。本次用到的工具：移动端自...
-
可观测数据采集端的管控方案的简单对比
概述 当前，主流的日志采集产品除了SLS的ilogtail，还有Elastic Agent、Fluentd、Telegraf、Sysdig、Logkit、Loggie、Flume等。详细的对比结果见下表： 备注： 集群监控：表示工具可以查看管理采集...
-
国内最具影响力科技创投媒体36Kr的容器化之路
本文由1月19日晚36Kr运维开发工程师田翰明在Rancher技术交流群的技术分享整理而成。微信搜索rancher2，添加Rancher小助手为好友，加入技术群，实时参加下一次分享~ 田翰明，36Kr 运维开发工程师，在 36Kr 主要负责运维...
-
浅谈网络爬虫
浅谈网络爬虫 什么是网络爬虫？ 爬虫能干什么 搜索引擎 抢票、刷票等自动化软件 部分破解软件 金融等行业数据挖掘、分析数据来源 其他 爬虫很简单 语言的选择 两种语言的小demo 爬虫也不简单 ip、浏览器头(User-Agent 、...
-
【监控体系】全面系统的Zabbix讲解 | 含源码&监控类型整理
主讲人：王鸿杰，云智慧/企业效能部/架构师 讲师简介：云智慧架构师，PHP/PECL 开发组成员，PECL/SeasClick、PECL/SeasLog Maintainer。6 年研发经验，2018 年加入透视宝团队，致力于 APM 产品的架构与研发...
-
八、python爬虫伪装 [免费伪装ip伪装请求头]
python爬虫伪装，伪装请求头以及使用代理ip 前言 一、爬虫都拿走了些什么 二、伪造请求头 1.下载my-fake-useragent库 三、使用代理ip 1、Redis在win10上的安装 2、开源项目的使用 总结 前言...
-
新一代云原生日志架构 - Loggie的设计与实践
Loggie萌芽于网易严选业务的实际需求，成长于严选与数帆的长期共建，持续发展于网易数帆与网易传媒、中国工商银行的紧密协作。广泛的生态，使得项目能够基于业务需求不断完善、成熟。目前已经开源：https://github.com/loggie-io/logg...
-
搞不清 TDengine 的“复杂”查询？一文让它变简单
小 T 导读：作为一款专业的时序数据库（Time Series Database，TSDB），为满足用户在不同场景下的查询需求，TDengine 提供了丰富的查询功能。除了一些主要的查询外，还包括多表聚合查询、降采样查询及连续查询，本文将从实际操作层面对这...
-
自建优质爬虫代理池
代理池说明 在进行网络爬虫开发时，我们经常需要使用代理来隐藏我们的真实 IP 地址，防止被目标网站封锁。然而，公共代理 IP 的速度和稳定性往往难以保证，会给我们的爬虫开发带来很大的麻烦。因此，自己搭建一个稳定的爬虫代理池是非常必要的。 Spider...
-
Python爬虫代理池
爬虫代理IP池 在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资...
-
爬虫技术浅析
在WEB2.0时代，动态网页盛行起来。那么爬虫就应该能在页面内爬到这些有javascript生成的链接。当然动态解析页面只是爬虫的一个技术点。下面，我将按照如下顺序分享下面的这些内容的一些个人经验（编程语言为Python）。 1，爬虫架构。 2，页面下...
-
【爬虫进阶】常见的反爬手段和解决方法（建议收藏）
爬虫进阶：常见的反爬手段和解决思路 1 服务器反爬的原因 2 服务器常反什么样的爬虫 3 反爬虫领域常见的一些概念 4 反爬的三个方向 5 常见基于身份识别进行反爬 5.1 通过headers字段来反爬 5.2 通过请求参数来反爬 6 常见...