第

59

卷 第

6

期

2020

年

11

月

Vol. 59 No. 6

Nov. 2020

中山大学学报 （自然科学版）

ACTA SCIENTIARUM NATURALIUM UNIVERSITATIS SUNYATSENI

基于信息熵的语言风格分析方法初探

*

王泓，方艳梅，黄方军

（中山大学数据科学与计算机学院，广东 广州

510006

）

摘 要：

提出一种对于词汇丰富程度的量化标准——信息熵，并验证信息熵的确可以反映文本的词汇丰富程

度。先将英文小说分成四类，分别是魔幻

/

科幻小说，推理小说，幽默讽刺小说，儿童文学。并计算每一类中的

每一本英文小说作品的信息熵，然后通过图表的方式对这四类小说的信息熵进行对比，并且根据以往的对于小

说风格的研究和平时的阅读经验，观察四类小说的信息熵差别是否如同预期所猜想的一致。通过验证发现，儿

童文学的信息熵普遍偏低，而魔幻

/

科幻小说的信息熵普遍较高，而根据以往的研究和平时的阅读体验来看，魔

幻

/

科幻小说词汇丰富程度确实较高，儿童文学词汇丰富程度的确较低。之后用假设检验的方法验证不同类型作

品信息熵的差异。由此说明信息熵可以作为反应词汇丰富程度的一个指标。

关键词：

信息熵；词汇丰富程度；计量风格学；统计假设检验

中图分类号：

TP391

文献标志码：

A

文章编号：

0529-6579

（

2020

）

06 -0113 -13

A preliminary study on text style analysis

based on information entropy

WANG Hong

，

FANG Yanmei

，

HUANG Fangjun

（

School of Data and Computer Science

，

Sun Yat

-

sen University

，

Guangzhou 510006

，

China

）

Abstract

：

It is proposed and verified that the information entropy is a quantitative standard for lexical

richness. Firstly

，

the English novels are categorized four groups

，

namely

，

magic/science fiction

，

mystery novels

，

humorous satirical novels

，

and children\'s literature. Then the authors calculate the infor?

mation entropy of each English novel

，

compare the information entropy of the four groups by means of

graphs

，

and observe whether the difference of information entropy among these four categories consists

with what the authors\' expectation. Through verification

，

the authors find that the information entropy of

children\'s literature is averagely the lowest

，

and the information entropy of magic/science fiction is gener?

ally higher. According to previous studies and our usual reading experience

，

the magic/science fiction in?

deed has higher vocabulary richness

，

and the vocabulary richness in children\'s literature is lower. Final?

ly

，

the authors use hypothesis testing to verify the difference of entropy among the categories. Then

，

the

authors conclude that information entropy can be used as an indicator of the vocabulary richness.

Key words

：

information entropy

；

vocabulary richness

；

stylometry

；

hypothesis testing

DOI

：

10. 13471/j. cnki. acta. snus. 2019. 07. 08. 2019A052

*

收稿日期：

2019 - 07 - 08

基金项目：国家自然科学基金 （

62072481

，

61772572

）；中韩国际交流合作 （

61811540409

）

作者简介：王泓 （

1996

年生），男；研究方向：机器学习与深度学习、数字媒体信息安全；

E

-

mail

：

13719175117@

163. com

通信作者：方艳梅 （

1966

年生），女；研究方向：机器学习与深度学习、数字媒体信息安全；

E

-

mail

：

fangym@mail.

sysu. edu. cn中山大学学报 （自然科学版）第

59

卷

信息熵 （

entropy

） 是来源于信息论中的一个概

念，它描述了信息的不确定程度。信息熵越大，

说明信息的不确定程度越大。

信息熵在很多方面都有一定的应用。在关键

帧的提取技术

［

1

］

中，可以利用互信息熵和互信息

量对视频序列提取关键帧。在应用支持向量机

（

supported vector machine

，

SVM

） 进行网络入侵检

测

［

2

］

时，可以利用信息熵选取特征，然后再进行

入侵检测。对于相似性度量，信息熵也有一定的

应用。使用聚类算法对样本进行聚类

［

3

］

时，可以

使用叠加信息熵场对样本之间的距离进行度量。

类条件概率在相似性度量中也有相应的应用

［

4

］

。

文本的语言特征可以表现作者在写作时的语

言特点，是作者个人风格的深刻反映

［

5

］

。词汇丰

富程度是文本的一个重要的语言特征。一本小说

的词汇丰富程度越大，那么这本小说在表达上可

能更加丰富，但同时阅读起来也可能会比较困难。

目前在对文本进行聚类分析和分类中，语言风格

是一个应用较多的分类依据

［

6

］

。说明语言风格在

文本聚类中有着很好的应用。在一些文学作品的

风格分析上，语料分析也有着重要的应用。

计量风格学 （

stylometry

） 是一门基于语料库，

利用统计分析的方法，对文本的语言特征进行研

究分析的学科

［

7-8

］

。目前已有很多学者对文学作品

进行计量风格的分析，通过对不同作者的作品的

语言风格特征进行对比，得到不同作者之间的语

言风格差异，以此对不同作者进行简单的识别。

文献 ［

9

］ 对苏童和毕飞宇两位作者的作品进行分

析，分别选取了两位作者的四本小说作品，对小

说中的标点符号，语气助词以及实词词类等可量

化的语言特征进行比较，发现这些语言特征能够

比较明显地区分这两位作者。在对两位作者的实

词词类的分析上也可以看到，苏童在小说作品中

使用实词的频次要高于毕飞宇在小说作品中的实

词使用频次的。实词是用来表达意义的，具有很

强的信息传递能力

［

10

］

。因此这个结果也可以表明，

苏童的小说作品信息性比毕飞宇的小说作品信息

性要强。因而实词的词类也可以成为区分两位作

者的一个指标。在文献 ［

11

］ 中，对余华的小说

作品和格非的小说作品进行了对比。在词汇丰富

程度这一角度上，作者提出了词汇独特性，词汇

多样性和词汇密度三个参数对词汇丰富程度进行

描述。词汇独特性是指文本中只出现一次的词汇

的数量占文本总词汇数量的比例。词汇多样性作

者提出使用型例比 （

Type-Token Ratio

，

TTR

） 对

其进行描述，即词型与词例的比值，并对其求对

数得到对数

TTR

，对数

TTR

的值越高说明其词汇丰

富程度越大。词汇密度是实词数量与整本小说的

词汇数量的比值。这三个参数在对余华的小说作

品和格非的小说进行对比分析后发现，与预期的

两位作者的小说的词汇丰富程度是一致的。

本文希望对更多的作者进行分析，并提出一

个比上述三个参数更加简洁的指标，对文学作品

的词汇丰富程度进行分析。

在文学作品中可以用每个单词出现的频率作

为概率，进而求出整本小说的信息熵。小说作品

中的信息熵越高，说明这本小说用到的词汇重复

性比较小，每个单词出现的频次较低。反之，小

说作品中的信息熵越小，说明这本小说用到的词

汇的重复性比较大，很多词汇出现了多次。从信

息熵的定义和词汇丰富程度的概念来看，两者之

间是很有可能有一定的联系的。信息熵可能能够

反映一本小说作品的词汇丰富程度，成为衡量词

汇丰富程度的一个参考性的数据指标。

1

信息熵

事件

x

的自信息表示的是事件发生之前，事件

的不确定性，概率大的事件比较容易发生，预测

其何时发生比较容易，因此不确定性比较小。同

时也可以表示事件发生之后，事件所包含的信息

量

［

12

］

，概率大的事件不仅容易预测，发生后所提

供的信息量也小。将事件

x

的信息量简记为

I

（

x

）。

I

(

x

) = -log

p

(

x

)

（

1

）

I

（

x

） 是

p

（

x

） 的单调递减函数，意味着概率越大，

自信息会越小。

离散随机变量

X

的信息熵的定义表示为自信息

的平均值

［

13-14

］

，记为

H

（

X

）。在信息论中，信息熵

有如下的含义

［

15

］

。

在信源输出后，表示为每个新源符号所提供

的的平均信息量。在信源输出之前，可以表示该

信源的平均的不确定性。也可以表示信源的随机

性大小，信息熵大的表示信源的随机性大。当信

源输出之后，信息熵亦可视作接触不确定性所需

要的信息量。

H

(

X

) =

E

p

(

x

)

[

I

(

x

) ]

（

2

）

由式 （

1

） 可知，

I

（

x

） 是事件

x

的自信息，


试阅到此结束，如需查看全部内容请购买正版文献。如因学习需要阅览全文，请联系站长。