-
Python爬虫：网络数据的采集与解析
在数字化时代，数据已经成为了一种极其重要的资源。无论是商业分析、学术研究，还是个人兴趣，获取特定数据往往对项目的成功至关重要。网络爬虫，作为一种自动化获取网页数据的技术，近年来受到了广泛关注。Python，以其简洁的语法和丰富的库支持，成为了编写爬虫的首选...
-
PHP是否可以写爬虫？
当我们谈论网络爬虫时，很多人首先想到的是Python语言，因为Python有诸如BeautifulSoup、Scrapy等强大的库来支持网页抓取和数据解析。然而，这并不意味着其他编程语言就不能用来写爬虫。实际上，PHP也是一种完全可以用来编写网络爬虫的语言...
-
whisper 强大且开源的语音转文字
说起来语音转换文字，openai旗下的whisper很是好用，推理也很快，同时支持cpu和GPU。 GitHub：GitHub - openai/whisper: Robust Speech Recognition via Large-Scale Wea...
-
基于Discuz平台的自动采集系统设计与实现
随着网络信息的爆炸式增长，人工采集和整理信息的成本越来越高，效率却难以满足实际需求。在这一背景下，自动采集技术应运而生，成为解决信息获取和整理难题的有效手段。Discuz作为一款广泛使用的社区论坛软件，拥有庞大的用户群体和丰富的信息资源，因此，在Discu...
-
通义千问1.5(Qwen1.5)大语言模型在PAI-QuickStart的微调与部署实践
作者：汪诚愚（熊兮）、高一鸿（子洪）、黄俊（临在） Qwen1.5（通义千问1.5）是阿里云最近推出的开源大型语言模型系列。作为“通义千问”1.0系列的进阶版，该模型推出了多个规模，从0.5B到72B，满足不同的计算需求。此外，该系列模型还包括了Base...
-
ubuntu下faster-whisper安装、基于faster-whisper的语音识别示例、同步生成srt字幕文件
文章目录 前言 一、faster-whisper的安装 1.docker及nvidia-docker安装 2.镜像下载 3.启动容器 3.容器中创建用户，安装anaconda 二、基于faster-whisper的语音识别 1.将cuda...
-
stable-diffusion-webui-forge 介绍，安装，运行
一 stable-diffusion-webui-forge 介绍 stable-diffusion-webui-forge 的作用和stable-diffusion-webui一样，但性能上作了优化，说得上是是stable-diffu...
-
近屿智能完成A轮融资，独家打造的AIGC工程师与产品经理学习路径图成行业焦点
2024年1月，上海近屿智能科技有限公司（以下简称近屿智能）宣布成功完成A轮融资，由智望资本领投，金沙江创投追加投资。这一重大融资事件不仅象征着近屿智能在AIGC领域的领先地位得到了市场的广泛认可，更凸显了投资人对近屿智能技术实力与未来发展潜力的坚定信心。...
-
一文解析如何基于 LangChain 构建 LLM 应用程序
Hello folks，我是 Luga，今天我们继续来聊一下人工智能(AI 生态领域相关的技术 - LangChain ，本文将继续聚焦在针对 LangChain 的技术进行剖析，使得大家能够了解 LangChain 实现机制以便更好地对利用其进行应用...
-
画像标签体系构建与应用实践
一、画像标签体系 去哪儿在每个业务发展过程中构建了独立的画像标签体系。随着公司的不断壮大，需将各个业务的画像标签体系进行整合。从技术角度看，整合的过程相对简单，但业务层面的整合则较为复杂。因为各个标签在不同业务中的定义存在差异，这增加了整合的难度。为了确...
-
Python爬虫第一课：了解爬虫与浏览器原理
Python爬虫第一课：了解爬虫与浏览器原理 fightingoyo 于 2020-02-2...
-
基于Discuz信息采集的技术解析与应用实践
随着互联网的迅猛发展，信息采集技术成为了获取网络数据的重要手段之一。在众多内容管理系统中，Discuz以其开源、灵活和强大的社区功能而备受青睐。本文将围绕“Discuz信息采集”这一主题，从技术原理、应用场景以及实践案例等多个方面进行深入探讨，旨在为读者提...
-
AI 绘图 Stable Diffusion 环境安装（Mac、Windows详细流程）
一、简介 Stable Diffusion 与 Midjourney 的区别，个人比较喜欢优点里面的不受约束这条。 二、安装 配置要求 安装 Git 1、【Mac】使用 HomeBrew 进行 快捷安装，文章内部有安装部分（注意如果是...
-
网络爬虫Python代码：开启数据抓取之旅
在这个大数据的时代，从浩瀚无边的网络海洋中获取信息显得尤为重要。网络爬虫，作为一种能够自动、高效地抓取网络数据的工具，正逐渐受到开发者和研究者的青睐。Python，以其简洁明了的语法和强大的库支持，成为网络爬虫开发的首选语言。一、网络爬虫的基本概念网络爬虫...
-
基于Python的网页数据采集技术深入解析
在当今数字化时代，数据被誉为新的石油，成为驱动社会和经济发展的核心资源。特别是随着互联网的迅速发展和普及，海量的信息涌现在网络空间，蕴藏着无数的机遇与挑战。这其中，网页数据作为一种重要的信息载体，其价值不言而喻。如何高效、准确地从网页中采集所需数据，成为了...
-
《Python网络数据采集》书评：探究网络数据世界的秘籍
在当今的大数据时代，网络数据采集已经成为许多领域不可或缺的技能。无论你是数据分析师、科研人员、商业决策者还是技术爱好者，掌握网络数据采集技术都能为你打开一扇通向信息世界的大门。而《Python网络数据采集》这本书，正是这样一把钥匙，它以其系统性、实用性和前...
-
【AI作图】从零开始部署安装Stable Diffusion 2 WebUI【个人总结】
前言 前两天突然想搭建一个AI作图的，但是一脸懵逼，lgithub地址，结果全英也看不懂，只知道了Stable Diffusion，这两天去了解了下，想要网页版就Stable Diffusion WebUI，在自己笔记本上尝试搭建，找了各种...
-
十大必知的人工智能算法
随着人工智能技术（AI）的日益普及，各种算法在推动这一领域的发展中发挥着关键作用。从预测房价的线性回归到自动驾驶汽车的神经网络，这些算法在背后默默支撑着无数应用的运行。 今天，我们将带您一览这些热门的人工智能算法（线性回归、逻辑回归、决策树、朴素贝叶斯...
-
探秘Orange3：打开数据挖掘与机器学习新世界！
Orange3是一个强大的开源数据可视化和机器学习工具，它提供了丰富的数据处理、分析和建模功能，使用户能够快速、简单地进行数据挖掘和机器学习任务。 本文将介绍Orange3的基本功能和使用方法，并结合实际应用场景和Python代码案例，帮助读者更好地了解...
-
Stable Diffusion web UI 安装教程
Stable Diffusion web UI 安装教程 欢迎来到猫说AI，wx搜索，猫说AI接入了最新版Chatgpt供大家免费使用。 注意：这是ubuntu20.04安装步骤！ conda创建python虚拟环境 conda create -n...
-
【MacOS】openai 语音识别模型 whisper 本地部署教程（cpu+mps方案）
目录 1. whisper 安装 openai-whisper 参考视频链接与安装过程 安装homebrew 安装Python （不要超过3.10） 安装Pytorch 安装ffmpeg 安装rust 安装whisper 注意事项 可...
-
Stable-Diffusion ubuntu服务器部署，报错解决方法（小白教程）
Stable Diffusion是一个深度学习模型，专注于生成高质量的图像。它由CompVis团队与Stability AI合作开发，并在2022年公开发布。这个模型使用文本提示（text prompts）生成详细、逼真的图像，是目前人工智能图像生成领域的...
-
CodeWhisperer安装教导--一步到位！以及本人使用Whisperer的初体验。
CodeWhisperer是亚马逊出品的一款基于机器学习的通用代码生成器，可实时提供代码建议。类似 Cursor 和Github AWS CodeWhisperer 亚马逊科技的CodeWhisperer是A...
-
Stable diffusion 安裝使用
GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusib UI**github：stable-diffusion-webui下載，**全程最好科學上網 1.無需下載git 可直接 Cod...
-
【AI】Stable Diffusion懒人包部署常见问题/解决（持续收录）
Stable Diffusion懒人包部署常见问题/解决（持续收录） 问题及解决 问题1：`Failed to initialize: Bad git executable.` 问题及解决 收录启动Stable Diffusion...
-
LLaMA-Factory 基于docker的大模型多卡分布式微调
LLaMA-Factory是一个相当优秀的微调工具。这里提供一个dockerfile和一个train脚本，用于多卡微调，供大家参考。 Dockerfile FROM nvidia/cuda:12.1.0-cudnn8-devel-ubuntu22.0...
-
Stable diffusion webui部署及简单使用
文章目录 前言 一、Stable Diffusion WebUI部署 1.Stable diffusion 2.Linux 上的自动安装步骤如下： 1.安装依赖项： 2.切换到想要安装 WebUI 的目录并执行以下命令： 3.运行 webu...
-
一些安装AUTOMATIC1111的Stable Diffusion WebUI常遇到的错误消息的解决方式
确保电脑符合Stable Diffusion的系统需求 1. 电脑硬件需求 最低配备 建议配备 注解 显卡(GPU GTX1050Ti RTX3060Ti 支持的显卡芯片有Nvidia/AMD/Intel Arc/Apple M。 显...
-
白宫发文，呼吁开发者放弃C、C++：Rust被「钦点」内存安全
近日，在一份 19 页的报告《回归基础构件：通往安全软件之路》中，白宫国家网络主任办公室（ONCD）呼吁开发者使用「内存安全的编程语言」，比如 Rust 语言。报告指出，从一开始就选择内存安全的编程语言，是以安全设计方式开发软件的重要途径。 此外，ONC...
-
Hugging Face AI 平台中发现100个恶意代码执行模型
研究人员发现，大约有100个机器学习模型被上传到 Hugging Face 人工智能（AI）平台，可能使攻击者能够在用户机器上注入恶意代码。这一发现进一步强调了当攻击者操纵公开可用的 AI 模型用于恶意活动时所带来的不断增长的威胁。 JFrog 安全研究...
-
近屿智能独家发布：AIGC大模型工程师和产品经理详细学习路径图（附完整版学习路径图）
AI不会取代你的工作，会取代你的是懂AI的人，如何提升自己与他人的知识壁垒，如何学习AIGC？相信在刚刚过去2023这个AI爆发的元年，我相信也是很多人的疑问，好像不懂使用点AI工具，例如ChatGpt、Midjourney或者SD，就好像被淘汰了一样，更...
-
可视化FAISS矢量空间并调整RAG参数提高结果精度
随着开源大型语言模型的性能不断提高，编写和分析代码、推荐、文本摘要和问答(QA 对的性能都有了很大的提高。但是当涉及到QA时，LLM通常会在未训练数据的相关的问题上有所欠缺，很多内部文件都保存在公司内部，以确保合规性、商业秘密或隐私。当查询这些文件时，会...
-
60行代码，从头开始构建GPT！最全实践指南来了
60行代码，从头开始构建GPT？ 最近，一位开发者做了一个实践指南，用Numpy代码从头开始实现GPT。 你还可以将 OpenAI发布的GPT-2模型权重加载到构建的GPT中，并生成一些文本。 话不多说，直接开始构建GPT。 什么是GPT？ GPT代...
-
【AIGC】AutoKeras 进行 RNN 循环神经网络训练
由于最近这些天都在人工审查之前的哪些问答数据，所以迟迟都没有更新 AutoKeras 的训练结果。现在那部分数据都已经整理好了，20w+ 的数据最后能够使用的高质量数据只剩下 2k+。这 2k+ 的数据已经经过数据校验并且对部分问题的提问方式和答案内容进行...
-
GitHub宣布GitHub Copilot Enterprise的全面发布；使用Python与Gemma和MongoDB构建RAG系统的全过程
? AI新闻 ? GitHub宣布GitHub Copilot Enterprise的全面发布 摘要：GitHub Copilot Enterprise是一款基于OpenAI的GPT-4模型的代码助手，它结合了十多年的真实、安全可靠的代码数据进行开...
-
10｜AI连接外部资料库，让Llama Index带你阅读一本书
有不少人在使用 OpenAI 提供的 GPT 系列模型的时候，都反馈效果并不好。这些反馈中有一大类问题，是回答不了一些简单的问题。比如当我们用中文问 AI 一些事实性的问题，AI 很容易胡编乱造。而当你问它最近发生的新闻事件的时候，它就干脆告诉你它不知道...
-
想训练类Sora模型吗？尤洋团队OpenDiT实现80%加速
作为 2024 开年王炸，Sora 的出现树立了一个全新的追赶目标，每个文生视频的研究者都想在最短的时间内复现 Sora 的效果。 根据 OpenAI 披露的技术报告，Sora 的核心技术点之一是将视觉数据转化为 patch 的统一表征形式，并通过 Tr...
-
用GGUF和Llama .cpp量化Llama模型
用GGUF和Llama .cpp量化Llama模型 什么是GGML 如何用GGML量化llm 使用GGML进行量化 NF4 vs. GGML vs. GPTQ 结论 由于大型语言模型（LLMS）的庞大规模，量化已成为有效运行它们的必要...
-
Github Copilot 程序员效率提升工具
AI时代到来，Github Copilot问世 以下是GitHub的首席执行官 Thomas 在2022年6月21日，首次将Github Copilot面向个人开发者全面开放的公告。 什么是 Github Copilot 简单来说就是能帮助程...
-
【直播预告】程序员逆袭CEO分几步？
2024年，是充满未知和挑战的一年。AI 的发展日新月异，已经有人用它来写代码了，啥时候会替代程序员，可真不好说。另一方面，程序员扎堆的 IT 互联网行业却进入了平台期甚至下行期，降本增效成为行业主流，裁员缩招的声音不绝于耳。在这种前有狼后有虎的年头，作为...
-
Llama中文大模型-模型部署
选择学习路径 快速上手-使用Anaconda 第 0 步：前提条件 确保安装了 Python 3.10 以上版本。 第 1 步：准备环境 如需设置环境，安装所需要的软件包，运行下面的命令。 git clone https:/...
-
Stable Diffusion WebUI 安装前准备
本文收录于《AI绘画从入门到精通》专栏，专栏总目录：点这里。 大家好，我是水滴~~ 在安装 stable-diffusion-webui 前需要做一些准备工作，本篇文章主要介绍需要的电脑配置、魔法、安装 Python、安装 Git 等。...
-
Ubuntu环境中Stable Diffusion的roop插件安装(8.12更新)
roop插件是一款换脸神器，可以在Stable Diffusion中实现一键换脸，现在已经有了基于automatic1111的web-ui开源项目上的插件。 windows版本上的安装教程已经很多了，这边就不说了。下面是ubuntu中的安装过程。 1....
-
近屿智能发布AIGC大模型工程师和产品经理学习路径图
近日，上海近屿智能科技有限公司（下称“近屿智能”），基于其在大模型研发和产品设计领域深厚的专业积累，终于总结出AIGC大模型工程师与产品经理的学习路线图。该学习路线图不仅为追求专业发展的学习者提供了一条清晰明确的AIGC大模型学习路径，更为整个AIGC大模...
-
【GitHub项目推荐--AIGC! 人工智能漫画生成器！漫画、冒险游戏、Galgame制作工具】【转载】
Ren'Py 用人工智能生产内容！最近抖音上赵本山、范伟读英语、外国人讲故事……这些都是人工智能的视频获得百万阅读量！ 自己做漫画、自己做游戏吧！ Ren'Py是一款开源的视觉小说、冒险游戏、Galgame制作工具,可免费用于商业用途。 githu...
-
真快！几分钟就把视频语音识别为文本了，不到10行代码
大家好，我是风筝 将音视频文件中的音频转为文字内容，这个需求放到两年前还不大好实现，但是放到今天，几分钟就解决了。 听说有的公司为了抓取训练数据，已经把抖音、快手这些短视频平台上的视频扒了个遍，然后将其中的音频提取成文本，用作大数据模型的训练语料。 如果...
-
Stable Diffusion学习指南【安装篇】
在上一篇的教程中，我为大家介绍了Stable Diffusion的原理、发展历程和优点，大家应该对Stable Diffusion这款AI绘画工具有了初步的了解，而这一篇我将教你如何在自己电脑上轻松部署WebUI。 Stable Diffusion历史文...
-
MyShell AI开发高质量语音合成工具MeloTTS 支持中英混合发音
MeloTTS是由MyShell AI开发的一个高质量的多语言文本到语音（TTS）库。这个库支持英语、西班牙语、法语、中文、日语和韩语等多种语言，使其在全球范围内具有广泛的应用价值。 项目地址:https://top.aibase.com/tool/me...
-
【论文精读】OS-Copilot: Towards Generalist Computer Agents with Self-Improvement
OS-Copilot: Towards Generalist Computer Agents with Self-Improvement 前言 ABSTRACT 1 INTRODUCTION 2 THE OS-COPILOT FRAMEWORK...
-
Llama中文大模型
关于Llama中文大模型 欢迎来到Llama中文大模型：已经基于大规模中文数据，从预训练开始对Llama2模型进行中文能力的持续迭代升级。 Llama中文大模型 ：https://github.com/LlamaFamily/Llama-Chine...