标签:信息论

73年前,香农已经给大模型发展埋下一颗种子

普林斯顿大学教授承现峻提出,1951年克劳德·香农在贝尔实验室提出的预测下一个单词的问题,成为了当前大语言模型(LLM)的基础。香农在论文中给出了两种估计...