今天分享的是AIGC系列深度研究报告：《AIGC专题：2024生成式AI人居领域应用趋势调研报告》。
（报告出品方：腾讯研究院）
序言
2022年OpenA!发布ChatGPT，拉开了大语言模型和AIGC(生成式AI)时代的帷幕。时至今日，短短一年，大模型已家喻户晓，干模大战正在上演。生成式AI裹挟着人们对未来的兴奋与恐惧，迅速席卷了几乎所有行业。
一般来说，大模型是指包含超大规模参数的神经网络模型，具有卓越的泛化能力和表达能力，但相应的训练成本也极高。随着大模型的广泛应用，人们逐渐意识到，其在产业领域发挥真正的作用仍然任重道远。对于大多数企业而言，面向垂直场景、垂直行业、垂直领域探索基于大模型的应用创新，将成为现阶段的重要攻坚方向。大语言模型是生成式A!的一个重要应用领域，主要用于进行复杂的语言理解和文本生成任务。有观点认为，行业大模型是基于某个特定行业领域的数据进行训练和优化的模型，旨在更好地理解和处理该行业的专业术语、规范和语义，以满足该行业的需求。与通用大模型相比，行业大模型更加专注于某个特定行业，能够更好地适应该行业的特殊需求和场景。然而，具体到某个行业领域，大模型和生成式AI应用的方式会存在很大的差异。
有些行业，如医疗、法律或金融，需要专门训练或精调大量特定领域的文本数据，以实现专业领域的大模型，用于政务交互、专业问答等场景。而在交通、能源电力、生物、材料等领域，则会使用特殊模态的数据和算法进行训练。不过，在绝大多数领域，通过基础大模型以Embeding等方式外挂知识库，便足以解决大多数问题。随着基础大模型参数量的增加、算法的优化以及跨模态能力的提升，其解决问题的效率可能会很快超越微调等方式。例如，GPT4的升级与DALL·E3的融合，显示出读图、绘图等能力的显著提升，而GPT-4Turbo和GPTS的发布则大大降低了制作垂直应用的难度。最终，AGI(通用人工智能)有望独立解决各种场景问题。然而，在实现这一目标之前，我们仍需探讨大模型和生成式AI近期的行业应用模式问题。
人居环境概念涵盖城市、建筑与最观等子领域，贯穿规划、设计、建造到运营全生命周期，并涉及结构、设备等相关学科。尽管相关行业整体数字化水平不高，但学界和业界一直在积极探索AI的各种应用场景。基于对海量数据的学习和建模，AI已广泛应用于空间和行为的模拟推演预测、数据分析与辅助决策等领域，主要体现为对专业人员的辅助。
随着生成式AI的出现，其处理多学科非结构化知识、提供更友好的人机交互以及模仿人类艺术创作过程的能力，使我们获得了处理复杂系统问题的全新手段。城市与建筑的复杂巨系统远比大多数垂直行业复杂，其行业知识规模也更大，这决定了在相当长的时间内，专业人员仍然难以被取代。因此，探究新技术影咱行业发展的路径与边界也就尤为重要。
一直以来，自然语言和图纸被视为人居环境领域主要的信息载体，而这两个信息载体正是目前生成式AI最为擅长的方向。作为一个传统行业，名种类型和分工的企业、机构都纷纷探索相关技术应用，近期在生成式AI领域的探索也十分活跃。因此，腾讯研究院与北京建筑大学合作，对十余位人属环境相关行业各领域的专家学者进行了访谈，他们既对行业有著深入的理解和实践经验，也都正在从事与生成式AI应用有关的工作。我们讨论的话题聚焦于生成式AI与大模型的人居环境领域应用，当然也会涉及与传统的行业AI以及其他技术的结合。希望通过这些实践与思考，推动行业在生成式AI技术背景下实现转型升级。
人居领域有必要做行业大模型吗？
从1990-2000年代以提升绘图效率为核心关注的计算机辅助设计(Computer-Aided Design)，到2010-2020年代以大数据研判支持为孩心途径的数据支持设计(Data-Informed Design)，不断发展的新技术新数据已为设计行业提供了从绘图工具、数据基底、分析研判的多方面革新。但前两波新技术变革本质上是为设计人员提供更快捷的工具、更精准的现状分析，而规划设计的输出端并未发生重大变化，仍需大量密集时间投入。不过这一情况正在发生转变，当前智能化算法快速发展所催生的人工智能驱动设计(Al-Generated Design)直接聚焦工作流的输出端，有望给人居行业的工作流带来大幅变革。
生成式AI在城市规划、建筑设计中已开展应用探索，但在运营及维护等阶段的应用仍有待拓展。大模型应用的近期价值主要体现在降低成本方面。但由于其成本很高，而且十分复杂，所以未来建立端到端人居行业大模型的必要性和方式尚需探讨。当然，生成式人工智能和大模型在人居环境各子领域结合传统的定量模型、行业知识工程、专家经验、各种非结构化数据等，仍然会有非常多样的使用场景。
人居领域大模型的数据层如何建立？
对于广大从业者，我们使用的往往是最终的应用产品，而在应用层之下的数据、算法和平台，则是孵化应用的土壤，缺一不可。
数据是行业大模型落地的关键。其来源包括工程项目现场数字化、楼宇运维阶段物联网采集、建筑师经验归纳、企业数据资产沉淀、全生命周期作业过程等。而向量化是目前数据处理的主要方式，使用RAG、nl2sal等技术进行解耦。数据属性需详细标注，设计工作应扩展至更广泛领域，将经验整合至行业模型。建筑领域数据相对匮乏，需解决数据真实性、有效性和及时性问题。工程建设领域数字化程度较低，需利用现代技术获取大量关键生产要素和管理要素的数据。建设知识图谱对知识工程非常重要，需加强基础工作的积累。人居行业独特的法规、规范、标准等，是大模型行业应用的共性基础，因版权问题商用存在问题，需要行业主管部门牵头协调。
人居领域大模型算法层如何建立？
地标建筑和背景建筑的设计在未来会基于不同的方法。大量的背景建筑设计可能会更多基于算法驱动，而地标建筑则需要人类更多参与的创意生成过程。
在应用领域，专业人员往往并不参与生成式A!技术算法的训练工作，但仍然需要进行大量的微调、适配等工作，整合原有行业模型和算法。从方案识图到三维模型、符合规范要求的设计策划的自动生成、机电系统的智能设计等等。-个很重要的问题是，目前大语言模型对空间关系和空间知识的理解还非常薄弱，所以往往需要通过与BIM、GIS和时空计算等工具和方法进行连接，通过时空知识图谱等，帮助其形成完整的时空概念，才能更好理解和加工时空知识。最终，大模型有机会将建筑设计、性能评估和建造连接在一起，形成针对一个建筑工程项目多专业、全生命周期的完整解决方案的设计与策划。
全球最先进的大型模型，如GPT4等，往往采取闭源模式。在国内市场，大公司如百度和腾讯也已经研发出自己的大型模型，而开源大型模型则以Llama和GLM为主。关于大模型与知识解耦的问题实质上是成本问题。继续训练大型模型需要大量的计算资源和数据支持，因此，将知 识以知识库的形式，通过向量链接混合结构化知识或企业内部专有知识，可能是一种更优的方法。我们致力于提升大型模型的可解释性，因为它们往往表现为黑盒子。例如，我们公司在规章制度的应用方面进行了实践，确保AI提供的答案基于实际存在的实体和企业内部信息，保证其可靠性。
对大模型的精细化调教以及知识的有效融入是人居领域生成式AI应用的基础。通过这些实践，我们能确保AI提供的信息准确无误，从而有效推动人居领域相关工作的效率和质量。
当前的大型模型主要是理解文本的表面含义，而对知识的深层逻辑结构探究尚不足。因此，我们应努力鼓励模型对人类语言和逻辑进行更深入的理解，并需要重视不同领域的知识学习，包括社会学和常识知识等。对于专业和工业领域的知识，建立专业数据库以支持模型学习是必然的途径，最终的目标是提升模型的决策能力。如若这种技术能提升专业技术水平，并减轻劳动力需求，那将对实际工作带来极大价值。
对于大模型的应用，加深模型对人类语言和逻辑的理解，以及扩展模型在专业领域的知识学习，都是其基础和关键。通过这种方式，我们有能力持续优化AI技术，使其能更好地服务于实际应用需求。
在AI概念提出之前，工程领域已经进行了大量的仿真模拟和分析应用。人工智能生成内容（AIGC）依赖庞大的语料库、机器学习和算法。但 在工程界，特别是设计和施工领域，我们更常受国家行业标准和规范，即“规则”的限制。因此，在某些场合，基于规则的生成可能在设计阶段更便捷。AI并不是独立创造，而是依赖大量数据，和不同人对同一关键词的描述。AI通过总结、分析和整理这些数据来帮助设计新的方案， 并提供各种风格的选择。这一点很重要，因为社会发展导致年轻一代对于美感的理解正在发生改变。尽管年长一代对美的认识或许有些局限， 但他们的理解经过社会和时间的检验，是值得传承的。例如，时尚的更迭下，经典元素仍被维护，并且建筑背后的艺术原则——如比例、色彩和表达方式，也是值得传承和保留的。目前，我们正在将退休专家的经验转化为行业模型内容，提取关键设计理念和思路。
将传统的工程设计理念和规则糅合到生成式AI中，不仅能够在设计阶段提供便捷的方案生成，还能够将经过时间检验并值得传承的经验和美学理念整合入模型，从而赋予AI工具更深层次和广泛的应用价值。
我们所需的并非一个无止境扩张的模型，而是一个具备时空推理能力的模型，它可以在综合条件下生成较为精确的可以编辑的对象。并且这类 模型需要能够整合到设计过程中，通过调用语言模块实现任务的自动化。
具备时空推理能力，具备理解与无缝对接设计流程能力，是建筑行业大语言模型的必要基础，在此基础上大语言模型才能切实提升工作效率且保障设计的准确性。
报告来源/公众号：【海选智库】
本文仅供参考，不代表我们的任何建议。海选智库整理分享的资料仅推荐阅读，如需使用请参阅报告原文。