齊夫定律

来自testwiki
跳转到导航 跳转到搜索

Template:Probability distribution 齐夫定律Template:Lang-enIPATemplate:IPAc-en)是由哈佛大學語言學家喬治·金斯利·齊夫Template:Lang)于1949年发表的实验定律。它可以表述为:在自然语言語料庫裡,一个单词出现的频率与它在频率表里的排名成反比。所以,频率最高的单词出现的频率大约是出现频率第二位的单词的2倍,而出现频率第二位的单词则是出现频率第四位的单词的2倍。这个定律被作为任何与冪定律概率分布有关的事物的参考。

例子

最简单的齐夫定律的例子是“1/f function”。给出一组齐夫分布的频率,按照从最常见到非常见排列,第二常见的频率是最常见频率的出现次数的½,第三常见的频率是最常见的频率的1/3,第n常见的频率是最常见频率出现次数的1/n。然而,这并不精确,因为所有的项必须出现一个整数次数,一个单词不可能出现2.5次。

Template:Tsl中,“the”、“of”、“and”是出現頻率最前的三個單詞,其出現的頻數分別為69971次、36411次、28852次,大約佔整個語料庫100萬個單詞中的7%、3.6%、2.9%,其比例約為6:3:2。大約佔整個語料庫的7%(100万单词中出现69971次)。满足齐夫定律中的描述。仅仅前135個字彙就佔了Brown語料庫的一半。

齐夫定律是一个实验定律,而非理论定律,可以在很多非语言学排名中被观察到,例如不同国家中城市的数量、公司的规模、收入排名等。但它的起因是一个争论的焦点。齐夫定律很容易用点阵图观察,坐标分别为排名和频率的自然对数(log)。比如,“the”用上述表述可以描述为x = log(1), y = log(69971)的点。如果所有的点接近一条直线,那么它就遵循齐夫定律。

遵循该定律的现象

  • 单词的出现频率:不仅适用于语料全体,也适用于单独的一篇文章
  • 网页访问频率
  • 城市人口
  • 收入前3%的人的收入
  • 地震震级
  • 固体破碎时的碎片大小

參見

延伸閱讀

Template:Refbegin 主要:

次要:

Template:Refend

外部連結

Template:Commons category Template:Div col

Template:Div col end

Template:概率分布

Template:Authority control