又是冬日，又到结尾，
气温回升了一点，苍茫天地间仍有一些尚未消融的洁白。
「雪霁银装素，桔高映琼枝」。
不知大家这一年过得怎么样呢？
2023很可能成为人工智能历史上最狂野、最戏剧性的年份之一。
Spectrum总结了本年度关于AI的最受欢迎的文章，
让我们一起看看这将会载入史册的一年——除非2024更加疯狂。
图表总结2023
斯坦福大学以人为本的人工智能研究所（HAI）收集了一年的人工智能数据，帮助大家全面了解当今的人工智能世界。
下面将这份302页的报告提炼为下面的几张图表：
运行大模型的碳成本很高：考虑到模型中的参数数量、数据中心的能源效率以及用于供电的发电类型，即使是四种模型中效率最好的BLOOM，排放的碳也比美国居民一年的平均使用量还要多。
十年来，私人人工智能投资首次下降，比2021年下降了约三分之一，为1896亿美元。
2021年（可用的最新数据），65.4%的人工智能博士进入工业界，而28.2%的人在学术界工作。
随着博士人数的增加，工业界在开发新的机器学习模型方面领先于学术界。
直到2014年，大多数新的机器学习模型都来自学术界，而到了2022年，根据HAI收集的数据，有32个行业生产的机器学习模型，而学术界只有3个。
《人工智能指数报告》指出，工业界在获取大量数据、计算机能力和资金方面也具有优势，而这些都是构建最先进的人工智能系统所必需的。
「最大的问题之一是，大学将在多大程度上获得资源来建立自己的大型模型，而不是从外部修补模型。」
有关滥用人工智能的事件数量正在激增。
HAI报告称，127个国家/地区通过的与人工智能相关的法律有所增加，2016年仅通过了一项，而2022年为37项。
在中国，公民普遍是人工智能的粉丝；而在法国、加拿大、荷兰和美国，情况并非如此。
78%的中国受访者认为，使用人工智能的产品和服务利大于弊。在美国，只有35%的人认为人工智能有净收益。
图片
上面是一项对自然语言处理研究人员进行的调查，绝大多数人（73%）预计人工智能将很快带来革命性的社会变革，而有大约三分之一（36%）的研究人员认为人工智能可能导致灾难。
这是大约一年前的数据，现在看起来有点意思。
200年前的数学打开AI黑匣子
无论是设计芯片还是构思新的蛋白质，神经网络似乎可以做任何事情。
但是当前AI的不可解释性又常常引发人们的担忧。
今年二月，一项研究使用数学帮助阐明神经网络如何执行复杂的任务（例如预测气候或模拟湍流）。这同时又可以提高神经网络的准确性和学习速度。
休斯顿莱斯大学（Rice University, in Houston）的流体动力学家Pedram Hassanzadeh和他的同事，尝试使用傅里叶分析，来识别数据中跨空间和时间的规则模式。
研究人员选择了一个经过训练的深度神经网络（该神经网络可以分析大气中的空气或海洋中的水中所看到的复杂湍流，并预测这些流动如何随时间变化），然后对这个网络的控制方程进行了傅里叶分析。
这个网络有大约100万个参数，分布于约40000个kernel中，在对所有这些kernel进行傅里叶分析后，研究人员发现神经网络的参数表现为低通、高通和Gabor滤波器的组合。
多年来，科学家们一直试图将这些过滤器结合起来分析气候和湍流。然而，这些组合在对这些复杂系统进行建模时往往不能成功。——而神经网络学会了正确组合这些过滤器的方法。
Hassanzadeh表示，除了气候和湍流模型之外，傅里叶分析还可能有助于研究作用于其他复杂系统的神经网络。包括喷气发动机内部的燃烧、风电场中的流动、木星和其他行星的大气层、等离子体、太阳和地球内部的对流等等。
「数字来世」产业
These companies could use your data to bring you back——without your consent.
这些公司可能会在未经您同意的情况下使用您的数据将您带回。
今天，「数字来世产业」已经使得根据死者留下的数据重建死者成为可能。
比如Microsoft拥有一项专利，可以使用他们的社交数据创建特定人的对话聊天机器人。
这份长达21页的专利中，记录了软件和硬件系统的设计方式。这个想法是训练一个聊天机器人，使用文本或听觉作为输入，聊天机器人会模拟特定人类的身份进行对话。
五年多前，研究人员确定了一个由57家公司组成的数字来世行业。目前，此类公司包括：以亲人的声音提供互动记忆的公司（HereAfter）；在用户去世后向亲人发送预定消息的公司（MyWishes）；
另外还有一家机器人公司，根据「她的记忆、感受和信仰」制作了一个已故女性的机器人半身像，该半身像继续与人类交谈，甚至上了大学课程（Hanson Robotics）。
对此，作为旁观者，可以是兴奋、可以是畏惧，或者只是耸耸肩。但生活于这个时代的每个人，都肯定会留下数字痕迹。
英伟达成功的秘诀
在过去的10年里，英伟达成功地将其芯片在AI任务上的性能提高了一千倍，我们来看一下其中有哪些优化。
量化
在P100之前，Nvidia GPU使用单精度浮点数字表示模型权重，但机器学习研究人员很快了解到，在许多计算中，他们可以使用不太精确的数字，神经网络仍然会得出同样准确的答案。
这样做的明显优势是，如果机器学习的关键计算（乘法和累加）需要处理更少的比特，则可以使执行机器学习关键计算的逻辑更快、更小、更高效。
因此，在P100中，英伟达使用FP16的数据格式。
快进到今天，英伟达领先的GPU H100可以使用8位的数据格式来执行大规模神经网络的某些部分。
不过这并不是一个放之四海而皆准的解决方案。所以英伟达的Hopper GPU架构实际上使用两种不同的FP8格式进行计算，一种精度略高，另一种范围略高。
复杂指令
获取和解码指令的开销是执行简单算术运算的很多倍，所以GPU采取在单个指令中执行大量计算的方式。
稀疏
经过训练后，神经网络中有许多神经元可能一开始就不存在。对于某些网络，你可以修剪掉一半或更多的神经元，而不会失去准确性。
使这些网络「稀疏」以减少计算负载是一项棘手的工作。但是在H100的前身A100中，英伟达引入了所谓的结构化稀疏性。
硬件可以强制每四个可能的修剪事件中的两个发生，从而使矩阵计算变小。
参考资料：
https://spectrum.ieee.org/ai-news-2023