Andrej Karpathy 的很多看法可以串起来看：1. 现在的 LLM 记忆能力过强；2. 现在的 LLM 吸收了过多知识；3. LLM 的智能是锯齿智能；4. 最终的 AGI 只是一个 10 亿参数量的模型。其实这些看法都跳出了眼前比较具体的前沿算法，从人的角度去看待人工智能应该是什么样的。现在 LLM 的前后训练过程，像一个威力加强版的衡水中学。LLM 像一个读衡水小学，1 年级读完已经可以拿下 10 个博士学位的小学生，记忆极为强大，但心智尚不健全，自我认知也不成熟的小学生。而我们需要的 AGI 是华罗庚说的「先把书读厚，再把书读薄」的学习能力，别再死记硬背，而是通过感知、推理、思辨，当然也有部分记忆，持续迭代的学习能力。
我仔细读完了刘强东在世界互联网大会乌镇峰会上的演讲全文，发现整篇文章讲的一个核心
【16评论】【32点赞】
