当前位置:AIGC资讯 > AIGC > 正文

GPT-4和Whisper从长视频生成短视频;AI治好了我的拖延症;GraphRAG技术集成到Open WebUI;两个开源LivePortrait实现

✨ 1: AI Youtube Shorts Generator

AI Youtube Shorts Generator是一款利用GPT-4和Whisper从长视频生成短视频的Python工具。

AI YouTube Shorts Generator 是一个Python工具,旨在从长视频中生成引人入胜的YouTube短视频。通过利用GPT-4和Whisper的强大功能,它可以提取最有趣的亮点,检测视频中的发言者,并将内容垂直裁剪以适应短视频格式。当前版本为0.1,可能存在一些漏洞。

视频下载:提供YouTube URL后,工具会下载视频。
转录:使用Whisper将视频内容转录为文本。
亮点提取:利用OpenAI的GPT-4识别视频中最有趣的部分。
发言者检测:检测视频中的发言者。
垂直裁剪:将提取的亮点部分垂直裁剪,适合用于短视频。

地址:https://github.com/SamurAIGPT/AI-Youtube-Shorts-Generator

✨ 2: GraphRAG4OpenWebUI

GraphRAG4OpenWebUI将微软的GraphRAG技术集成到Open WebUI,实现高级信息检索功能。

GraphRAG4OpenWebUI 是一个专为 Open WebUI 设计的 API 接口,旨在集成微软研究的 GraphRAG (基于图的检索增强生成) 技术。该项目提供了一个强大的信息检索系统,支持多个搜索模型,尤其适用于开放网页用户界面中的信息检索。

本地搜索

使用 GraphRAG 技术高效检索本地知识库 适用于快速访问预定义的结构化信息 利用图结构提高检索准确性和相关性

全球搜索

在更广泛的范围内搜索信息,超越本地知识库 适用于需要更全面信息的查询 利用 GraphRAG 的全球上下文理解能力提供更丰富的搜索结果

Tavily 搜索

集成外部 Tavily 搜索 API 提供额外的互联网搜索功能,扩展信息来源 适用于需要最新或广泛网页信息的查询

全模搜索

结合上述三种搜索方法 提供最全面的搜索结果,满足复杂的信息需求 自动集成和排名来自不同来源的信息

地址:https://github.com/win4r/GraphRAG4OpenWebUI

✨ 3: ProctorAI

ProctorAI是一款多模态AI,监督屏幕并提醒用户停止拖延,提升工作效率。

ProctorAI 是一个多模态的人工智能系统,通过监视用户的电脑屏幕来检测他们是否在拖延。当检测到用户没有专注时,ProctorAI 会接管屏幕并发送个性化的提醒消息,要求用户停止拖延。用户需承诺改正行为,否则 ProctorAI 将持续打扰。

ProctorAI 依靠每隔几秒(基于设置的时间间隔)截取屏幕并将其输入到多模态模型(例如 Claude-3.5-Sonnet、GPT-4o 或 LLaVA-1.5)中进行分析。与传统的站点拦截器相比,ProctorAI 更智能,能够理解和处理复杂的工作流程规则。例如,它可以允许用户访问 YouTube,但只限于观看特定的学习视频。

学习和工作时保持专注:适合需要在电脑上进行大量学习或工作的用户,通过监督减少对社交媒体或娱乐内容的过度依赖。
远程工作的自我管理:特别适合远程工作者,以确保在没有外界监督的情况下保持工作效率。
在线考试监控:能够模拟考试监考情况,避免用户在考试期间频繁分心或作弊。
项目开发和编程:开发者在写代码时容易被各种网站或应用分散注意力,ProctorAI 可以帮助他们保持专注,提高生产力。

ProctorAI 的最终目标是变得“活灵活现”,让用户感到如同有人时刻监督,从而减少拖延,提高效率。未来的开发方向包括改进对特定任务的模型微调、会话调度、数据记录与时间跟踪,以及为用户提供更好的任务管理和统计信息。

地址:https://github.com/jam3scampbell/ProctorAI

✨ 4: FasterLivePortrait

FasterLivePortrait利用TensorRT在RTX 3090上实现真人肖像实时生成,速度达30+ FPS。

FasterLivePortrait 是一个能够在实时环境下将肖像照片进行动画处理的技术。该项目是基于 LivePortrait 的原始代码并进行了许多优化。

FasterLivePortrait 项目通过一系列优化,实现了高性能和实时运行,是将静态肖像照片转化为动态视频的开创性技术,适用于多种应用场景和部署环境。

地址:https://github.com/warmshao/FasterLivePortrait

✨ 5: Webcam Live Portrait

Webcam Live Portrait 是一个开源项目,用于实时生成人像动态效果。

Webcam Live Portrait是一个能够实现实时人像生成和动画的开源项目。这个项目的主要功能是通过摄像头捕捉用户的面部表情和动作,然后将这些信息实时地应用到预定义的人物画像上,使画中的人物按照用户的面部表情和动作进行动态展示。

该项目的核心技术包括计算机视觉和深度学习,通过分析摄像头捕捉到的画面来识别面部关键点和表情变化。用户可以通过这个项目实现一些有趣的应用,如实时视频聊天中的表情替换、生动的虚拟化身等。

地址:https://github.com/Mrkomiljon/Webcam_Live_Portrait/blob/main/readme.md



更多AI工具,参考国内AiBard123,Github-AiBard123 公众号:每日AI新工具

总结

**AI工具新动态**
随着人工智能技术的迅猛发展,各种创新的AI工具和应用不断涌现,给我们的生活和工作带来了极大的便利。以下是几款最新的AI工具介绍,它们的独特功能和强大的能力或将改变我们对AI的看法。
1. **AI Youtube Shorts Generator**
**功能**:一款基于GPT-4和Whisper的Python工具,能从长视频生成吸引人的YouTube短视频。它不仅能够下载视频,还能通过转录、亮点提取、发言者检测和垂直裁剪等步骤,将内容转化为短视频格式。
2. **GraphRAG4OpenWebUI**
**功能**:将微软的GraphRAG技术集成到Open WebUI,提供高级信息检索功能。该工具支持本地搜索、全球搜索、Tavily搜索和全模搜索,能够自动集成和排名来自不同来源的信息,满足复杂的信息需求。
3. **ProctorAI**
**功能**:一款多模态AI,通过监控电脑屏幕检测用户是否拖延。当发现用户分心时,ProctorAI会发送提醒消息,要求用户专注于当前任务。它不仅适用于学习、工作,还特别适合远程工作和在线考试场景,帮助用户提高效率和自律。
4. **FasterLivePortrait**
**功能**:能够在实时环境下实现真人肖像的实时生成,速度高达30+ FPS。这一技术基于TensorRT和RTX 3090显卡,能够将静态肖像照片转化为高质量的动态视频。
5. **Webcam Live Portrait**
**功能**:一个开源项目,能够实时捕捉用户的面部表情和动作,并将这些变化实时应用了预定义的人物画像上。通过摄像头捕捉和深度学习的结合,用户可以将手机或电脑摄像头中的自己转化为生动的数字化形象。
这些AI工具的应用领域广泛,不仅覆盖了国内外的创新项目,还涉及到了视频处理、信息检索、时间管理、图像处理等多个领域。如果你对这些工具感兴趣,可以通过其提供的Github地址进一步理解和探索它们的功能和应用。同时关注“每日AI新工具”公众号,了解更多AI创新和应用的最新动态。

更新时间 2024-07-22