第一部分介绍与预训练语言模型相关的基础知识,首先介绍自然语言处理的相关知识,如自然语言处理的定义和发展历史、自然语言的复杂性、自然语言处理的研究领域、自然语言处理的常规任务和常用工具;接着介绍神经网络预备知识,包括神经网络核心概念和主要类型;最后,从预训练的定义和文本表示方法的分类着手,对各类文本表示方法进行详细介绍。
本部分包括以下内容。
● 自然语言处理介绍
● 神经网络预备知识
● 预训练语言模型基础知识