近日，港大和NYU的研究团队合作开发了一个名为V-IRL的平台，该平台将真实世界的地图、街景等丰富信息融入到虚拟环境中，为AI Agent提供了更真实和完整的生活体验。
这项研究的核心在于构建一个可扩展的平台，利用地理信息和街景图像等API将AI智能体嵌入到真实城市环境中。研究人员使用V-IRL实例化了一系列智能体，它们可以执行各种任务，如寻找餐馆、房源、城市规划等。在这个平台上，智能体之间也可以协作解决复杂问题。
项目地址:https://github.com/VIRL-Platform/VIRL
此外，研究团队还进行了基于V-IRL的地点识别、视觉问答和导航等基准测试。结果显示，视觉模型在处理多语言图像数据时面临挑战，尤其是在一些地理多样性的城市中，模型的性能不如人意。
然而，这些挑战并没有阻止V-IRL平台为AI在现实世界的应用提供广阔的可能性。通过对不同任务的性能评估，研究人员展示了这个平台在全球视觉数据处理方面语言和视觉模型的广泛应用潜力，为提高AI在理解环境、做出决策和处理现实世界信息方面的能力开启了新的可能。随着空间计算技术和机器人系统的日益普及，AI Agent的需求和应用场景将不断扩大，我们期待着一个能够深刻理解周围世界的智能体时代的到来。
这项研究的意义在于，它将AI智能体从传统的虚拟环境中解放出来，让它们能够在与真实世界相似的环境中进行学习和交互。通过与真实世界的结合，AI Agent可以更好地理解人类行为和需求，从而为各种实际任务提供更准确、更高效的解决方案。同时，这项研究也展示了人工智能在未来城市规划、个人助手、生活辅助工具等领域的巨大潜力，为我们进入智能体时代打下了坚实的基础。