-
国内AI顶会CPAL论文录用结果放出！共计30篇Oral和60篇Spotlight
大家可能还记得，今年五月份公布的，将由国内大佬马毅和沈向洋牵头办的全新首届AI学术会议CPAL。 这里我们再介绍一下CPAL到底是个什么会，以防有的读者时间太久有遗忘—— CPAL（Conference on Parsimony and Learning...
-
Stable Diffusion（Huggingface的方式安装）
Huggingface的方式安装 在Huggingface个人目录下有一个token号，这个tokens号要在服务器登陆的过程中进行添加； 1，在服务器登陆要输入huggingface登陆： huggingface-cli login # READ...
-
AIGC时代，大模型微调如何发挥最大作用？
人工智能的快速发展推动了大模型的广泛应用，它们在语言、视觉、语音等领域的应用效果已经越来越好。但是，训练一个大模型需要巨大的计算资源和时间，为了减少这种资源的浪费，微调已经成为一种流行的技术。微调是指在预训练模型的基础上，通过在小数据集上的训练来适应新的任...
-
搭建StableStudio,体验Midjourney功能
最近火热的ChatGPT引爆了AIGC的讨论、AIGC目前可以创作包括文字、图像、音频、视频等内容、作为程序猿的我们怎么能不了解使用一下呢、随着AI绘画功能的兴起、最先到我们视野的就是Midjourney、今天给大家分享一个类似Midjourney的Sta...
-
用ChatGPT+Copilot一小时开发一套监控系统
套娃：我把下面的内容全部复制给了ChatGPT，让它帮我总结本文内容，它的回答如下： 本文介绍了人工智能ChatGPT在快速生成代码方面的应用，以及当前AI从专业客户走向大众、从特定领域走向通用领域、从后台走向前台和人的直接交互等趋势。文中展示了一...
-
AI制图工具丨Midjourney产品功能介绍
了解如何使用Discord上的Midjourney Bot通过简单的文本提示创建自定义图像 Midjourney是一款AI制图工具，只要关键字，就能透过AI算法生成相对应的图片，只需要不到一分钟。 可以选择不同画家的艺术风格，例如安迪华荷、达芬奇、达利...
-
AI视野：Stability.ai开源SDXL Turbo；Pika Labs1.0版发布；字节跳动ChitChop在海外上线；Keras3.0正式发布；法院判决AI生成图片具备版权
???AI应用 Stability.ai发布开源文生图模型SDXL Turbo 文生成图AI平台Stability.ai发布开源SDXL Turbo，图像生成实时响应，仅需1秒。SDXL Turbo基于全新对抗扩散蒸馏技术（ADD），将生成步骤减至1-4步...
-
Keras 3.0正式发布 引入全新的大模型训练和部署功能
Keras3.0的发布标志着一次重大的更新迭代，经过5个月的努力，该版本在多个方面带来了显著的改进。首先，Keras3.0全面支持了TensorFlow、JAX和PyTorch框架，这意味着用户现在可以选择在不同框架上运行他们的Keras工作流。这种灵活性...
-
Keras 3.0一统江湖！大更新整合PyTorch、JAX，全球250万开发者在用了
刚刚，Keras 3.0正式发布！ 经过5个月的公开Beta测试，深度学习框架Keras 3.0终于面向所有开发者推出。 全新的Keras 3对Keras代码库进行了完全重写，可以在JAX、TensorFlow和PyTorch上运行，能够解锁全新大模型训...
-
Claude 2、ChatGPT、Google Bard优劣势比较
Claude 2： 优势：Claude 2能够一次性处理多达10万个tokens（约7.5万个单词）。 tokens数量反映了模型可以处理的文本长度和上下文数量。tokens越多，模型理解语义的能力就越强）。它在法律、数学和编码等多个领域表现出色，在...
-
ChatGPT、Google Bard、Claude2、新BING哪一款人工智能聊天机器人适合自己
人工智能聊天机器人正在提高数无数专业人士的工作效率。下面我们就来看看目前最流行的几款强大的人工智能工具，以及它们具体如何帮助到你。 今年7月AI圈最大的动静之一便是AI初创公司Anthropic发布了其AI聊天机器人Claude最新版本——Claud...
-
基于 huggingface diffuser 库本地部署 Stable diffusion
前言 Stable Diffusion 是用 LAION-5B 的子集（图像大小为512*512）训练的扩散模型。此模型冻结 CLIP 的 ViT-L/14 文本编码器建模 prompt text。模型包含 860M UNet 和123M 文本编码器，...
-
程序员眼中的 ChatGPT
作者 | Bright Liao 作为一个一直对AI 技术很感兴趣的软件开发工程师，早在深度学习开始火起来的2015、2016年，我就开始了相关技术的学习。当时还组织了公司内部同样有兴趣的同学一起研究，最终的成果汇集成几次社区中的分享以及几篇学习文章（见...
-
OpenAI创始人Sam Altman被解雇后的24小时
ChatGPT背后的公司OpenAI周五解雇了其首席执行官兼创始人Sam Altman，他惊人的离职给新兴的人工智能行业带来了冲击波。 该公司在一份声明中表示，内部调查发现，阿尔特曼并不总是对董事会诚实。 该公司在声明中表示：“阿尔特曼先生的离职是在董...
-
Ubuntu 22.04.2 LTS LTS x86_64 安装 stable-diffusion-webui 【2】基本版本完结。
前篇 Ubuntu 20.04 LTS x86_64 安装 stable-diffusion-webui_hkNaruto的博客-CSDN博客 内容太多，分第二篇继续 中途重装了机器，20.04 ，apt upgrade后自动升级到22.04.2...
-
谷歌研究:通过对抗性数据生成和多元评估应对GenAI的道德和安全风险
谷歌研究团队在人工智能领域持续推动着对生成式AI（GenAI）安全的研究，以应对其在虚假信息、偏见和安全性方面带来的挑战。作为谷歌研究的一部分，负责构建负责任的AI和数据系统的Responsible AI and Human-Centered Techno...
-
微软发布声音克隆技术Personal Voice 提供1分钟样本即可生成AI语音
微软近日发布了一项名为Personal Voice的新技术，该技术可以克隆用户的声音，并且能够复制出与原声音完全一致的人工智能语音。用户只需提供1分钟的语音样本，Personal Voice就能在几秒钟内生成相应的AI语音。 这项技术支持多达100种不同语...
-
Whisper JAX 语音识别本地部署
https://nlpcloud.com/zh/how-to-install-and-deploy-whisper-the-best-open-source-alternative-to-google-speech-to-text.html whispe...
-
成功率100%的快速解决AI绘画脸部崩坏方案
前言 相信各位小伙伴在使用SD生成图片时一定遇到过，图片生成模糊，场景不清晰，人物脸部崩坏等情况。你可能会得到这样的图片（如下） 是不是除了人物脸部，其他的地方看上去都还挺正常的。 下面我将为大家带来...
-
MQ对比
MQ分类ActiveMQ 优点:单机吞吐量万级,时效性ms级,可用性高,基于主从架构实现高可用性，消息可靠性较低的概率丢失数据 缺点:官方社区现在对ActiveMQ 5.x维护越来越少，高吞吐量场景较少使用。 Kafka 适用场景 Kafka主要特...
-
采集卡属于计算机设备还是采集设备,显卡能做视频采集卡吗？
原标题：显卡能做视频采集卡吗？ 问：显卡能做视频采集卡吗？ 答：不能！ 虽然视频采集卡(www.videotsw.com 和显卡都是用来传输视频信号的，但它们之间有着根本性的区别，不可一概而论。具体可从以下4点进行区分： 1、主要功能...
-
数据采集(八)链接类(LN)事件跟踪
主要提供链接事件跟踪采集的脚本样例。 样例一 采集内容 点击 需要采集“跳转url” 和"跳转方式"。跳转方式包括："ajax" 和 "url" 采集位置：首页 ( I-00:G-02 采集事件：click 采集代码：...
-
APP爬虫如何采集数据
APP爬虫和网页爬虫都是一种类型。APP的数据接口需要抓包解析，而基本上都则使用HTTPS发送数据，与网页爬虫不同。 如何抓包： 使用Fiddler抓包工具，用Fiddler对APP应用软件进行抓包。需要证书认证和使用全局代理发送HTTPS协议传送数据...
-
PHP做数据采集的原理
很多时间我们的信息来自其他网站，所以我们很难粘贴和发布它们。当然你不能批量获取他们的信息，然后就需要收集~~ 采集就是使用file_get_contents函数和正则的使用。 先贴上一段代码。 <!DOCTYPE html PUBLIC...
-
关于PHP批量采集----采集小说站有感
概况：帮周同学做小说采集做了有一段时间了。一开始是从其它网站的页面上直接写正则去采集，然后慢慢的转为采集别人提供的API。 环境：CENTOS+NGINX+PHP5.2.17。基于JIEQI小说管理系统。 直接采集其它网站页面的时候，主要改的...
-
java爬虫实时采集小说+springboot推荐算法+实现在线小说免费阅读推荐系统
总结，本文从系统建设涉及到的技术介绍到框架搭建，对系统涉及到的商品推荐算法给出了详细的设计流程及核心代码块，从整体上完成了本应用商品推荐系统的开发过程。 如何针对互联网各大小说阅读网站的小说数据进行实时采集更新，建立自己的小说资源库，针对海量的小说数据开...
-
浅谈网络爬虫
浅谈网络爬虫 什么是网络爬虫？ 爬虫能干什么 搜索引擎 抢票、刷票等自动化软件 部分破解软件 金融等行业数据挖掘、分析数据来源 其他 爬虫很简单 语言的选择 两种语言的小demo 爬虫也不简单 ip、浏览器头(User-Agent 、...
-
Python—WebSocket爬虫实战
1. WebSocket WebSocket 是 HTML5 开始提供的一种在单个 TCP 连接上进行全双工通讯的协议。在 WebSocket API 中，浏览器和服务器只需要做一个握手的动作，然后，浏览器和服务器之间就形成了一条快速通道。两者之间...
-
网络爬虫：Python如何从网上爬取数据？
网络爬虫，就是按照一定规则自动访问互联网上的信息并把内容下载下来的程序或脚本。 在整个的Python爬虫架构里，从基础到深入我分为了10个部分：HTTP、网页、基本原理、静态网页爬取、动态网页爬取、APP爬取、多协程、爬虫框架、分布式爬虫以及反爬虫机制与...
-
爬虫知识超详细讲解(零基础入门，老年人都看的懂)
1.爬虫是什么？ 网络爬虫是一种按照一定的规则、自动的抓取万维网信息的脚本或者程序 简单来说：爬虫是用事先写好的程序去抓取网络上的数据，这样的程序叫爬虫 2.爬虫的分类 按照使用场景来分，可以分为两类：通用爬虫 和 聚焦爬虫 通用爬虫：搜...
-
爬虫技术浅析
在WEB2.0时代，动态网页盛行起来。那么爬虫就应该能在页面内爬到这些有javascript生成的链接。当然动态解析页面只是爬虫的一个技术点。下面，我将按照如下顺序分享下面的这些内容的一些个人经验（编程语言为Python）。 1，爬虫架构。 2，页面下...
-
WebMagic之优秀爬虫框架
1. 一个框架，一个领域 一个好的框架必然凝聚了领域知识。WebMagic的设计参考了业界最优秀的爬虫Scrapy，而实现则应用了HttpClient、Jsoup等Java世界最成熟的工具，目标就是做一个Java语言Web爬虫的教科书般的实现。 如果你...
-
网站数据统计分析之二：前端日志采集是与非
在上一篇《网站数据统计分析之一：日志收集原理及其实现》中，咱们详细的介绍了整个日志采集的原理与流程。但是不是这样在真实的业务环境中就万事大吉了呢？事实往往并非如此。比如针对前端采集日志，业务的同学经常会有疑问：你们的数据怎么和后端日志对不上呢？后端比你们多...
-
08 | 数据采集：如何自动化采集数据？
上一节中我们讲了如何对用户画像建模，而建模之前我们都要进行数据采集。数据采集是数据挖掘的基础，没有数据，挖掘也没有意义。很多时候，我们拥有多少数据源，多少数据量，以及数据质量如何，将决定我们挖掘产出的成果会怎样。 举个例子，你做量化投资，基于大数据预测未来...
-
1.网络爬虫概述
目录 导读 一、网络爬虫是什么？ 二、数据如何产生？ 三、有哪些数据获取途径？ 四、爬虫可以做什么？ 五、网络爬虫的分类 六、爬虫开发中有哪些技术？ 七、开发环境准备 八、学习建议 导读 通过本篇文章的阅读，你将简单了解网络爬虫...
-
数据采集（四）之事件跟踪
1. 概览 “事件”是指可以独立于网页或屏幕的加载而进行跟踪的用户与内容进行的互动。下载、移动广告点击、小工具、Flash 元素、AJAX 嵌入式元素以及视频播放都是可以作为事件进行跟踪的操作。 2. 实现 可以使用 send 命令并将 hit...
-
零代码工具推荐 八爪鱼采集器
简介 八爪鱼采集器是一款全网通用的互联网数据采集器，模拟人浏览网页的行为，通过简单的页面点选，生成自动化的采集流程，从而将网页数据转化为结构化数据，存储于EXCEL或数据库等多种形式。并提供基于云计算的大数据云采集解决方案，实现数据采集。是数据一键采集...
-
TDengine 3.0 是如何解决时序数据库中的高基数问题的？
本文分享自微信公众号 - TDengine（taosdata_news）。如有侵权，请联系 support@oschina.cn 删除。本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。...
-
How To Debug PHP Code And Useful PHP Debugging ...
PHP does not have an internal debugging facility. You can use only external tools to debug PHP code. Here i tried to list down P...
-
关于使用火车采集器采集分页URL不变化网站
关于使用火车采集器采集ajax分页网站 经常会碰好不容易找的采集源哪里都很nice，写规则的时候发现妈耶没分页，只能放弃。所以今天来解决一下这个总是让我们遗憾的小问题。 以下图网站为例，一个典型的不好好翻页但内容又让人有一种忍不住想变成自己的采集对象。...
-
5款实用爬虫小工具推荐（云爬虫+采集器）
目前市面上我们常见的爬虫软件大致可以划分为两大类：云爬虫和采集器（特别说明：自己开发的爬虫工具和爬虫框架除外） 云爬虫就是无需下载安装软件，直接在网页上创建爬虫并在网站服务器运行，享用网站提供的带宽和24小时服务。 采集器一般就是要下载安装在本机，然后在...
-
应对反爬虫的策略
为什么要反爬虫？ 网络爬虫，是编写的一个自动提取网页内容的程序，它为搜索引起从万维网上下载所需的网页内容，是搜索引擎的重要组成部分。但当网络爬虫被滥用后，互联网上就会出现太多同质的东西，原创得不到保护。 于是，很多网站开始反爬虫网络，想方设法保护自己的...
-
爬虫到底合不合法？
文章目录 前言 一、爬虫 爬虫产生的背景 爬虫是什么？ 二、Robots协议 定义 位置 查看方式 三、具体案例分析 爬虫行为 反爬措施 爬取内容 四、爬虫涉及到的相关法律规定 非法获取计算机系统数据罪 侵犯商业秘密罪 非法侵入计...
-
【转】社会化海量数据采集爬虫框架搭建
随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。...
-
python数据采集（requests+）
前言 在开始数据采集之前，需要了解的知识： 采集的本质就是通过调用网页或者接口请求到数据。 在采集的过程中，我们常常需要对程序进行伪装才可以进行完整的采集。 python采集涉及到的热门框架：scrapy，selenium，beautiful...
-
Python进阶 │反爬虫和怎样反反爬虫
爬虫、反爬虫和反反爬虫是网络爬虫工作过程中一直伴随的问题。 在现实生活中，网络爬虫的程序并不像之前介绍的爬取博客那么简单，运行效果不如意者十有八九。首先需要理解一下“反爬虫”这个概念，其实就是“反对爬虫”。根...
-
开源Python网络爬虫资料目录
Python网络爬虫是一个开源的项目，我们会将所有的资料进行公开分享：了解项目 Python即时网络爬虫项目启动说明 核心代码 Python即时网络爬虫项目：内容提取器的定义 Python即时网络爬虫项目：内容提取器的定义（Python2....
-
数据采集
数据分析的前提就是数据的数量和质量。今天介绍几种数据源和数据的采集方式。 从数据采集角度，数据源分为开放数据源、爬虫抓取、日志采集、传感器，四类数据源。 开放数据源和爬虫听得比较多（主要是我听得比较多），所以简单说一下传感器和日志采...
-
Python爬虫教程（纯自学经历，保姆级教程）
序言 这是一个系列文章，笔者把从书本，网课，包括博客等多种途径自学爬虫的笔记和心得整理发出。一边是作为一个基础教程，供读者参考，一边也是我自己对笔记的整合，对过程的记录。文章会持续更新 今天是2021.05.10 三天一更新，欢迎各位读者关注我或者关注...
-
Python爬虫：为什么你爬取不到网页数据
前言： 之前小编写了一篇关于爬虫为什么爬取不到数据文章（文章链接为：https://liuze.blog.csdn.net/article/details/105965562），但是当时小编也是胡乱编写的，其实里面有很多问题的，现在小编重新发布一篇...