拟合优度检验(Goodness-of-fit test)

检验样本数据是否符合某一个指定的理论分布,例如正态、指数、均匀、泊松、二项分布…… 。

原假设 (H0H_0):样本来自该理论分布。

一、诞生背景(19 世纪末)

当时生物学家、遗传学家大量收集生物测量数据,主流观点认为:几乎所有自然数据都服从正态分布。 但卡尔・皮尔逊(Karl Pearson)发现很多生物数据明显偏态,不满足正态。 皮尔逊构造了一套皮尔逊分布族(正态只是其中一个特例)。 新问题来了:拿到一组实测数据,怎么定量判断,这个理论分布和真实数据匹配得好不好? 以前只能肉眼看图,没有量化的统计检验方法。这就是拟合优度检验诞生的原始动机。

二、诞生:Pearson 卡方拟合优度检验(1900)
三、拓展到连续分布(ECDF Empirical Cumulative Distribution Function 经验累计分布函数类检验)

卡方检验需要分组,分组会丢失信息,对于连续型数据不够理想。

1933-1948年 Kolmogorov–Smirnov(K-S)检验
1928-1936年,Cramér‑von Mises(CvM,克拉默‑冯・米塞斯)检验
1952-1970年,Anderson-Darling(AD 检验,安德森 – 达林检验)

四、专门针对正态的拟合优度(正态性检验分支)

1965年,Shapiro‑Wilk(夏皮罗‑威尔克检验,简称 SW 检验)
1980年,Jarque–Bera(贾克–贝拉检验, JB )

五、一句话时间线(简答背诵)

  1. 19 世纪末:生物统计发现很多数据不是正态,产生 “如何判断理论分布和数据匹配程度” 的需求。
  2. 1900:Karl Pearson 提出卡方拟合优度检验,拟合优度检验正式诞生。
  3. 1924:R.A.Fisher 修正卡方检验自由度错误,完善理论。
  4. 1933:K-S 检验提出,解决连续分布拟合优度问题。
  5. 1940–1950:CvM、Anderson-Darling 检验出现。
  6. 1965:Shapiro-Wilk 小样本正态检验问世。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注