2023中国宏观经济专题报告：大模型：原理、进展及其影响-CMF-202310.pdf

大模型：原理、进展及其影响主办单位：中国人民大学国家发展与战略研究院、中国人民大学经济学院、中诚信国际信用评级有限公司承办单位：中国人民大学经济研究所 大模型：原理、进展及其影响报告人：文继荣中国人民大学信息学院院长中国人民大学高瓴人工智能学院执行院长国家高层次人才2023年9月 目 录一、大模型的背景和原理二、大模型的飞速发展及趋势三、大模型的深刻影响 •OpenAI 公司开发的大型语言模型–通过从大规模语料库中学习语言规律，从而生成与人类语言相似的输出•表现为一个对话机器人，能够理解自然语言，进行高质量的多轮对话–拟人化程度惊人，被认为是人工智能里程碑式的突破ChatGPT开启了大模型浪潮比尔盖茨：ChatGPT的重要性不亚于互联网的发明2022年11月30日发布，5天获得100万用户，今年1月份月活跃用户数达1亿 ChatGPT的特点•上知天文、下知地理，不仅能写文章、还能写代码知识广博•能有逻辑地组合知识形成答案，具有一定的推理能力有条有理•能准确理解用户意图，三观比较正，并且承认自己不知道善解人意•在多轮对话中不走神，交互聚焦主题交互能力强 理解人类语言是人类探索文明发展的重要目标6哲学计算机 假设：世界知识和人类认知能力蕴含在人类语言中问题：•可以对人类语言建模吗？•语言模型是否能作为世界知识模型？•语言模型是否具有人类认知能力？世界与语言高瓴人工智能学院是中国人民大学下属学院……高瓴人工智能学院是中国人民大学下属学院……人脑（神经网络）语言模型（人工神经网络）生成训练生成语言模型是对人脑的反向工程 语言智能的探索历程8符号规则统计机器学习神经网络预训练语言模型超大规模语言模型给定一组人工设定的规则，计算机通过对数据应用这些规则来模拟自然语言理解在人工标注的数据上进行特征工程，训练机器学习模型参数，并将模型应用于测试数据上用神经网络在大量数据上训练，使得网络自主学会提取特征，并可以灵活搭建模型基于无标注文本预训练语言模型，通过“预训练-微调模式”工作，有监督学习通过扩展语言模型规模，可以通过提示学习、情境学习等无需微调方式求解任务有监督学习任务泛化性弱 仍需要监督学习任务泛化性改善 无/弱监督学习一定的通用能力初始的自动化解决尝试 语言模型的演进图9统计语言模型神经语言模型预训练语言模型大语言模型任务求解能力1990s201320182022word2vec、RNN-LM可以生成流畅文本自动学习特征特征缺乏知识、泛化性差n-gram 模型具备一定生成能力辅助解决部分任务数据稀疏影响严重ELMO、BERT、GPT-1/2任务泛化能力提升统一的任务求解范式仍然需要监督数据微调GPT-3/4、ChatGPT、Claude良好的任务泛化能力通用的任务求解途径学习成本高、灵活性差 困难•组合爆炸，无法考虑较宽的上下文•泛化性差，字词之间没有关联•数据、算力不够统计语言模型（Statistical Language Model） 突破•引入注意力机制解决长程上下文依赖问题•多层神经网络抽象解决泛化问题•海量数据训练、巨大算力支持生成式语言模型（Generative Language Model）l下一个词预测：文字接龙lThe chef cooked the meal.lThe chef cooked the meal.GPT 掩码语言模型（Masked Language Model）l文本Mask：完形填空lThe chef cooked the meal.lThe chef cooked the meal.BERT Word2VecChatGPT的发展路径2017年2013年2022年2021年2018年2020年2019年TransformerGPTGPT-2GPT-3BERTCodexWebGPTChatGPT预训练语言模型元年首个千亿级模型引入代码能力和思维链能力引入搜索能力引入对话能力InstructGPT能理解人类指令 ChatGPT的法宝之一：大！（自主学习）lChatGPT：大力出奇迹的典范，大数据、大模型、大算力lGPT-3：1750亿参数量，训练一次消耗1200万美元各种预训练模型的参数量对比（单位：十亿）参数量越多，人区分新闻是否由AI生成的准确率越低 涌现能力：书读百遍，其义自见Wei et al., Emergent Abilities of Large Language Models. In Transactions on Machine Learning Research, 2022ChatGPT的法宝之一：大！（自主学习） l思维链 CoT（Chain of Thought）：由Google于2022年提出Ø大模型可能难以直接解决一个困难的大问题。Ø可以在提问时加入引导，将大问题拆分为多个简单的小问题，从而得到解答ChatGPT的法宝之二：思维链（逻辑训练）Wei et al., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903. 2022 l思维链 CoT（Chain of Thought）：由Google于2022年提出Ø或者只给一个提示，就可以对大模型进行引导，提示其逐步地解决问题ØLet’s think step by step. Codex引入代码能力和思维链能力ChatGPT的法宝之二：思维链（逻辑训练）Wei et al., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903. 2022 ChatGPT的法宝之三：人在回路强化学习（价值观对齐）lRLHF（Reinforcement Learning with Human Feedback）：Ø收集人类真实指令，并且聘用了专门的合同工写回答用于初始训练素材来自：https://2cute2tech.substack.com/p/how-does-chatgpt-work-so-well lRLHF（Reinforcement Learning with Human Feedback）：Ø使用上述模型得到多个预测结果，请人按照回答质量排序，训练出一个打分模型ChatGPT的法宝之三：人在回路强化学习（价值观对齐）素材来自：https://2cute2tech.substack.com/p/how-does-chatgpt-work-so-well lRLHF（Reinforcement Learning with Human Feedback）：Ø进一步加速训练过程：使用上述训练模型生成结果，上述打分模型自动评估训练效果。l传统强化学习：Agent根据反馈(rewards)选择策略lRLHF：Ø预测模型扮演Agent，进行策略选择Ø评分模型提供rewardsChatGPT的法宝之三：人在回路强化学习（价值观对齐）素材来自：https://2cute2tech.substack.com/p/how-does-chatgpt-work-so