在人工智能领域，大规模语言模型正取得迅猛的发展。所谓大规模语言模型，即参数规模达到千亿至上万亿的深度学习神经网络模型。大规模语言模型究竟有多神奇？被喻为“深度学习三巨头”之一的Geoffrey Hinton，也是2018图灵奖获得者，就此诙谐评价：“生命、宇宙和万物的答案，就只是4.398万亿个参数而已”。“4.398万亿”这个数字是如何得出的？其实，4.398万亿是2的42次方，而“生命、宇宙和万物的终极答案是42”则是科幻小说《银河系漫游指南》中的经典桥段。4.398万亿虽然没有什么科学依据，但Geoffrey Hinton的评论足以让大规模语言模型获得广泛的关注。
2018年底BERT模型的问世，标志着大规模语言模型的诞生。基于BERT，OpenAI推出了GPT2模型，达到了15亿参数。GPT2模型是首次参数达10 亿量级，后面就越来越像军备竞赛： 2020年3月，微软推出了图灵模型，参数量达到了170亿；三个月后的GPT3又把参数量翻10倍，达到1780亿；之后，谷歌的Switch Transformer达到了万亿参数。在中国，华为盘古达到了1000亿、鹏程盘古-α达到2000亿，阿里达摩院M6达到1万亿，智源悟道达到1.75万亿。
那么，现在的大规模语言模型都有哪些技术趋势以及哪些落地实践？微软全球合伙人、微软亚洲互联网工程院副院长、首席科学家姜大昕博士在近期的华泰证券“行知”新经济云峰会数字科技专场，介绍了大规模语言模型的技术趋势和落地实践。姜大昕表示，目前NLP自然语言处理处于一个美好的时代，虽然还有很多问题没有解决，但已经有很多成功的商业应用。随着面向NLP的大规模语言模型的工程化落地，将打开数字化转型的新阶段。