中国工程院院士倪光南在第二届北京人工智能产业创新发展大会上，分享了他对人工智能发展的看法和体会。
倪光南表示：由人工智能引领的新一轮科技革命和产业变革正在全球范围内蓬勃兴起。当前世界各国都在作出重大部署，将人工智能领域作为提升国家竞争的科创高地。不久前，以ChatGPT为代表的大模型揭开了生成式AI发展的新篇章，必将对人类社会产生巨大影响，必须直面应对，迎接相应的机遇和挑战。目前生成式AI的应用刚刚起步，中国在市场和应用前景上具有很大潜力。
RAG等生成式AI技术发展前景广阔
倪光南认为，当下应狠抓应用意识，促进基础大模型和AI算力的发展。目前许多机构和企业正在从事垂直领域和应用场景的中小模型方面的法律，值得鼓励和支持。生成式AI目前正处于发展初期，大模型增强技术具有巨大发展空间。
例如，RAG技术，正是运用检索获得的精准结果提升大模型响应的专业性和正确性，这一技术已经得到业界普遍认可。其次，精准算法的增强具有很好的前景，例如Sora可以通过输入提示输出对应的视频。
虽然Sora目前无法准确模拟所在场景的物理特性，也无法理解实际时间的因果关系，例如Sora生成的水果汁泼到桌面上的视频，涉及了两个稳定状态，一个是杯子的实际状态，另一个是果汁已经泼出来的状态。其中最复杂的物理状态是果汁如何从杯子中洒到桌面，Sora无法生成。显然要达到这样的程度，需要将诸多数学定律、物理定律、工业软件与强大算力相互融合。这是一项颇具挑战性的工作，需要围绕大模型发展各种增强技术，例如检索增强生成技术、精准算法的增强，发展前景广阔。
AI代理助力AI应用安全有效推进
倪光南指出：生成式AI存在诸多问题值得业界思考。例如可解释、透明、公平、合法、安全等均需要深入研究，非短期内可以解决。为了安全有效的应用生成式AI，倪光南建议终端厂商在各类终端(如电脑/手机)上加入AI代理软件，相当于常用的工具管家，且需扩展监控生成式AI应用的功能。例如是否调用某种大模型?是否可以采用某种大模型给出的结果?是否能够融合大模型和本地的AI?这些功能将远超常规小工具，因此可以实现终端运维升级和安全防护等功能。
他呼吁终端厂商要担起责任，并将AI代理软件置于系统软件的底层，以便获得最高权限，可以将原本的OS转换为数字OS。AI代理意味着可以代理终端所有者，对终端实行身份信息、价值观、爱好和习惯等方面的管控。当前，国内部分终端设备已经装备AI助手，例如荣耀MagicOS 8.0,它使终端设备更智能、更有效率、更人性化和个性化。如果将AI助手进一步扩展，达到AI代理的高度，将助力AI应用安全有效地推进。
生成式AI的价值观问题值得关注
倪光南强调：生成式AI系统所提供的结论，可能带有价值观的倾向，因为有多种途径可以使生成式AI带有新倾向。例如：训练时使用的大数据结构，依靠人类反馈进行增强训练时采用的奖惩规则，生活中的某些环节或者处理中进行了某种干预，以及使用AI中的交互可能进行某种诱导等。
为了保证信息安全，让AI能力被安全地使用，倪光南建议引入权威测评机构，基于主流价值观进行安全测评，为用户提供更合适的产品。
最后，倪光南表示：“生成式AI是当代的重大科技创新，它将催生新产业、新模式和新动能，是发展新质生产力的核心要素。我们要以全球视野进行谋划和发展，争取在人工智能时代跻身于世界前列，为实现科技强国梦想和民族伟大复兴作出更大贡献。”