关于熵、信息、序的五个佯谬,本文主要内容关键词为:信息论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。
熵概念的提出至今已一个多世纪之久,信息论的建立也有半个多世纪的历史。由信息理念所引导的信息时代早已为当今人类所熟识、所习惯。熵、信息、序成为当代流行的词汇。然而,在人们几乎无时无刻地使用熵、信息、序词语之时,却未见得深刻、准确地理解了它们的内涵。本文所要叙述的关于熵、信息、序的五个佯谬,就集中反映了在许多人头脑中熵、信息、序概念的混乱。从本文对于熵、信息、序的五个佯谬的分析和破解,可以看出正确把握熵、信息、序的概念有多么重要,观念上的含混会带来多么重大的理论困惑。
1 信息序佯谬:信息既可以是有序的,又可以是无序的
这个命题是和申农信息论提出的信息概念相冲突的。申农的信息论认为:信息就是消除不确定性,也就是消除无序、减少熵;而有序又是和熵的减少相联系的。显然信息应当代表有序,信息量越高有序度也越高,这可以通过:
I(信息量)=S[,0]-S(S[,0]-S为熵减少、即有序度)明确表示。
那么,为什么有人会提出:“信息既可以是有序的,又可以是无序的”呢?这一命题的提出,看起来也有充分的根据:
例如某领导人向下属发出一组信息。这组信息是不是有序呢?如果它是“把一座城市建设起来”,那么显然意味着有序:如果它是“把一座城市炸毁、破坏”,那就只能意味着无序了。从信息的角度看,两句话都是信息,甚至它们因使用相等的字符而具有相同的信息量,但在有序、无序的问题上,它们完全相反。两本字数相同的书,也会因为内容的不同,在有序、无序的的价值尺度上完全不同。在电脑中占有同样的比特的信息,既可能是有用的资料(有序),又可能是垃圾、病毒(无序)。细胞的DNA中一定片断的信息量,也既可以是有序的(健康基因), 又可以是无序的(致病或残废基因)。如此等等。
我们说:“信息既可以是有序的,又可以是无序的”,其实是一个佯谬,就是说:它貌似导致信息理论的自相矛盾,但却是一个伪命题。这个佯谬的问题出在哪里呢?
问题出在信息与有序是通过熵联系在一起的,但熵都是一定系统、一定系统层次的性质,离开一定系统、层次谈熵是没有意义的。 使信息与有序相联的熵必须是同一系统同一层次的,你不能用不同层次的熵进行比较。[1]例如两句内容不同的语言,从语言系统层次看,它们都具有一定的语言信息,也都与一定语言有序度相联系。至于这句话引起的实际后果,则属于另一个系统层次、即城市系统结构层次。如果破坏城市的指令引起城市有序度的破坏,就城市系统结构看,也意味着城市结构信息的丧失,所以有序仍然是与信息相联系的。
不同系统之间相互作用,则一个系统的有序引起另一个系统的无序是很正常的,如致病微生物的有序会引起人体的无序。不应把同一系统层次信息与有序的联系,混同于不同系统层次之间有序性之间的联系。
2 熵序佯谬:熵小的系统一定比熵大的系统有序度高
这一命题会推出荒谬的结论。由于微生物与人相比是一个微小的系统,它的系统可能状态数显示远远小于人,它的熵也就是比人小得多,难道说微生物比人更有序吗?机械运动的系统是确定运动,其系统可能状态数为1,熵为零; 而生命运动中则包含着诸多不确定性,系统熵显然很大,那么能说机械运动比生命运动更有序、更高级吗?
然而,上述命题同样是一个佯谬。因为以熵值衡量有序度,即将熵小定义为有序、熵大定义为无序同样只适用于同一系统不同状态的比较,而决不适用于不同系统有序度的比较。
不同系统之间的有序度不能简单以熵值表示。尽管人的熵大于微生物,人还是比微生物更有序,更先进;生物体的熵大于机械运动系统,但生命运动还是比机械运动更有序、更高级。
那么,不同系统之间有序度该用什么量来比较呢,和熵值有没有关系呢?本文认为不同系统之间有序度的比较可以通过本文作者定义的信息熵(系统信息熵等于该系统处于最无序状态的最大熵与系统现状态的状态熵之差)来比较,信息熵大者有序度高。[1]显然,人的信息熵远高于微生物,因为人的系统最大熵与状态熵之差远大于微生物最大熵与信息熵之差;生命运动的信息熵也远大于机械运动。和通常人们的流行理解不同;信息熵并不是信源系统的熵,而是系统减少的熵,也就是用熵值来表示的信息量。
3 复杂性佯谬:简单即有序,复杂即无序
这个命题符合人们的直观。比如如果几根不同的长线被弄乱了,绞缠在一起,就非常的复杂,因为要理出任何一根线都是很复杂的工作,也就是无序导致了复杂。社会上越是无序的系统,处理起来就越复杂。当那些无序变为有序之后,如揉在一起的线团被理成一根根的线条,要取一根线就很简单了,也就是有序带了简单性。
然而,上述命题又会推出荒谬的结论。人比动物复杂,生物比非生物复杂,能说人比动物无序,生物比非生物无序吗。自然界从无序到有序的进化,难道是指从复杂变为简单吗?如果问:头脑复杂的人更聪明,还是头脑简单的人更聪明?恐怕一时很难回答。如果说头脑越简单越聪明未免太离谱;要是说头脑越复杂越聪明,那么是不是思想越混乱越聪明呢?
破解上述命题的佯谬在于指出复杂性、简单性的歧义。
原来,复杂性有三种截然不同的含义,混淆复杂性三种含义就导致了佯谬。
三种复杂性即系统复杂性(即系统容量,相应于系统最大熵),系统复杂性(即系统可能状态的不确写性,相应于系统状态熵)、组织复杂性(即系统组织程度,相应于以系统的信息熵衡量的结构信息和状态信息)。
区别了三种复杂性之后,复杂性与有序、无序的关系的佯谬就可消除。
系统复杂性的大小只表示系统容量(元素数目,可能状态数目),和有序、无序无关。比如:一个大的天体的系统复杂性超过一个小的天体,但并不知道哪个更有序。
系综复杂性越高越无序,系综复杂性越低越有序,这就是说消除由于不确定带来的复杂性就变为有序。
组织复杂性越高越有序,组织复杂性越低越无序。如生物的组织程度高于非生物、生物比非生物具有更高的组织复杂性,生物比非生物更有序。
由于从无序到有序的进化,通常都被称为从简单到复杂的进化,因此本文建议:在不特别指明时,复杂性都应指组织复杂性,简单性则应指组织复杂性低,以免歧义和产生佯谬。
4 信源熵佯谬:信源熵等于信息量
这个命题产生于一种直观的感觉:既然信息是从信源向信宿传递,那么信源必定把自己的状态传送给信宿;既然信息、信源状态都是由信源传给信宿,二者的量也应当相等,信源熵即等于信息量。
这一命题所导出的荒谬结论便是:信源熵越大便越无序,而信源越无序,信宿反而得到更高的信息量;信息熵越小便越有序,信宿反而得到很少的信息量。
这一佯谬的破解在于:信源给予信宿的并不是自己的状态,而是信息熵。[1]所以信源向信宿传递信息的信息量并不等于信源熵,而应等于信源的信息熵,即信源最大熵减去信源熵(信源状态熵)。例如老师不是把自己的无知部分(状态熵)传授给学生,而是把已知的(信息熵)传授给学生。信源熵不能表示信源拥有的信息,而只能表示信源尚存的无序度。
当然,更确切地说,作为信源的最大熵减去信源熵的信源信息熵,只是信源拥有的信息,至多是信源传递给信宿的信息;未必就是信宿实际得到的信息。信宿得到的信息,只能从信宿接受信息前后信宿熵的变化求得。
5 混沌佯谬:混沌是高度复杂、高度有序的状态
这个命题的提出表明了人们对混沌评价的提升:混沌虽然看起来决非井然有序,虽然令人难以认识、令人头痛,却并不是一种没有任何秩序性的状态;相反,愈是混沌状态,愈是包含着丰富的信息与规律。混沌往往是许多明显有序状态的先导、萌芽。所以说混沌正是高度的有序。
从这一命题推出的荒谬结论就是:混沌既然是高度有序的状态,它的信息熵应当非常高,而状态熵应当非常低。然而,事实上混沌状态的状态熵都很大(一般都等于最大熵),信息熵都很小。再者,既然熵最大的混沌状态是高度有序,那么它与熵最大的无序状态又有什么区别呢?那岂不是说:当熵增加时,有序状态变为无序状态,而最无序的状态混沌态又被认为是高度有序的,如此,无序就是有序,序的概念也就混乱之极。更甚者,有人认为序并非进化的标准,“有序变为无序也是一种进化”,可以看出其中随意性对科学表述体系的扰乱。
破解这一佯谬的切入点就是消除混沌与序这两个概念之间关系的随意性。不能允许混沌既是无序的又是有序的这一自相矛盾的表述。本文作者建议将混沌仍然表述为无序状态(因其状态熵最大);然而,它是无序状态中的一类特殊状态,即包含丰富微观有序的宏观无序状态,或者说是包含丰富潜在信息留无序状态。[1]潜在信息因其微弱而不能显示宏观有序[2],各种潜在信息并存使混沌态的状态数非常多、系综复杂性非常大,而表现出宏观无序。
从以上五个佯谬的讨论中,可以知道:对熵、信息、序的概念的理解切不可笼而统之,大而化之;必须仔细定义区分其中的许多细节,不能怕麻烦。这也是信息理论研究中坚持严谨的科学精神的体现。非如此我们运用熵、信息、序及相关概念时,就会产生极大的理论偏差与理论失误;严重的情况甚至会使我们关于熵、信息、序的理论体系走向无法自洽的死胡同。
标签:信息熵论文;