后LLM时代
目前阶段所谓的AI,能力强一些的无非是LLM。
早些年监督学习范畴下的AI已经在诸多领域,典型的如CV,发挥了巨大的作用。
LLM不过是将无监督学习与监督学习极好的融为一体。预训练阶段从海量预料中学习知识,微调阶段学会规则以回答问题。
假如有一个另一个宇宙的外星人降临地球,ta所在宇宙的物理规则甚至都与地球所处的宇宙不同,ta一定会首先学习地球环境中的方方面面,从基本的数学和物理规则学起,到一定程度后开始学习人类文明,包括语言和文字等,以上都属于无监督学习范畴。为了融入人类生活,ta需要学习人类的风俗习惯文化等,这属于监督学习的范畴。
当前llm的学习,除了训练者提供的数据(可能是文字、图片等多模态数据)之外,llm没有能力感知真实世界。
在后llm时代,AI的发展可能离不开认知科学、心理学甚至哲学的研究,类脑智能的研究能够从顶层规划AI的发展。
到那时强AI才会真正出现。
当然,也有可能像现阶段的文本LLM一样,数学家和计算机科学家们研究出来一套纯数字的算法,就能够实现具身学习。
尽管我一直觉得纯理工的人研究AI,一点情怀都没有,他们没有品味,但架不住他们研究的东西真的好用。
更好的路子可能是神经科学启发了理工科实现了某种算法,后来继续有数学推导推进。比如DNN借鉴了生物神经网络,但反向传播算法却是纯数学的。