理解信息的概念，明白信息量和概率之间的关系，理解熵的概念，掌握信息熵、条件熵、相对熵、交叉熵的概念以及它们之间的区别和应用。