p分位数的原理及计算

目录

1.统计上的分位数概念

2.分位数的计算方法及举例

2.1确定p分位数的位置

2.2 确定的p分位数位置处的具体值

2.3 举例分析

3.python、R、excel中分位数的计算及结果

3.1 python

3.2 R

3.3 excel

4.p分位数在python中的应用——等频分箱

1.统计上的分位数概念

        统计上，分位数亦称分位点，是指将一个随机变量的概率分布范围分为几个等份的数值点，常用的有中位数（即二分位数）、四分位数、百分位数等。分位数指的就是连续分布函数中的一个点，这个点对应概率p。若概率0 随机变量X或它的概率分布的分位数Za，是指满足条件p(X≤Za)=α的实数。

四分位数（Quartile）是统计学中分位数的一种，即把所有数值由小到大排列并分成四等份，处于三个分割点位置的数值就是四分位数。

1）第一四分位数(Q1)，又称“较小四分位数”，等于该样本中所有数值由小到大排列后第25%的数字；

2）第二四分位数(Q2)，又称“中位数”，等于该样本中所有数值由小到大排列后第50%的数字；

3）第三四分位数(Q3)，又称“较大四分位数”，等于该样本中所有数值由小到大排列后第75%的数字。

第三四分位数与第一四分位数的差距又称四分位距。

2.分位数的计算方法及举例

为了更一般化，这里考虑四分位。即当p=0.25 0.5 0.75 时，所求得的分位数值。过程分为三步：

1. 将数据从小到大排列
2. 确定p分位数的位置
3. 确定p分位数具体的数值

为了更好得说明，这里我们设n表示数据的长度，Q1、Q2、Q3分别表示所求的第1分位数、第2分位数、第3分位数。position（）表示分位数的位置，figure（）表示分位数处的值。将n个数据从小到大排列，记排序前的数据为before_data；排序后的数据为data，简记为a[1]~a[n]

2.1确定p分位数的位置

p分位数的位置公式如下：

由公式，第1分位数、第2分位数、第3分位数的位置分别为：

2.2 确定的p分位数位置处的具体值

p分位数的值的计算公式如下：

figure(Q1) = data[ ⌊position(Q1)⌋ ] +（data[ ⌊position(Q1)⌋+1] – data[ ⌊position(Q1)⌋]）*（position(Q1)-⌊position(Q1)⌋）

                  = a[ ⌊1 +（n-1）* 0.25⌋ ] +( a[ ⌊1 +（n-1）* 0.25⌋+1 ]-a[ ⌊1 +（n-1）* 0.25⌋ ])*(1 +（n-1）* 0.25 – ⌊1 +（n-1）* 0.25⌋)

figure(Q2) = data[ ⌊position(Q2)⌋ ] +（data[ ⌊position(Q2)⌋+1] – data [ ⌊position(Q2)⌋]）*（position(Q2)-⌊position(Q2)⌋）

                  = a[ ⌊1 +（n-1）* 0.5⌋ ] +( a[ ⌊1 +（n-1）* 0.5⌋+1 ]-a[ ⌊1 +（n-1）* 0.5⌋ ]) * (1 +（n-1）* 0.5 – ⌊1 +（n-1）* 0.5 ⌋)

figure(Q3) = data[ ⌊position(Q3)⌋ ]+（data[ ⌊position(Q3)⌋+1] – data[ ⌊position(Q3)⌋]）*（position(Q3)-⌊position(Q3)⌋）

                  = a[ ⌊1 +（n-1）* 0.75⌋ ] +( a[ ⌊ 1 +（n-1）* 0.75⌋+1 ]-a[ ⌊1 +（n-1）* 0.75⌋ ])*(1 +（n-1）* 0.75 – ⌊1 +（n-1）* 0.75⌋)

也就是说，将数据从小到大排列，p分位数位置的值 = 位于p分位数取整后位置的值 + （位于p分位数取整下一位位置的值 – 位于p分位数取整后位置的值）*（p分位数位置 – p分位数位置取整）

注：其中 ⌊Q⌋ 表示对 Q 值向下取整

2.3 举例分析

实例1：

给出一组数据before_data：6, 47, 49, 15, 42, 41, 7, 39, 43, 40, 36，一共11项

从小到大排序后结果data：6, 7, 15, 36, 39, 40, 41, 42, 43, 47, 49

figure(Q1) = data[ ⌊position(Q1)⌋ ] +（data[ ⌊position(Q1)⌋+1] –data[ ⌊position(Q1)⌋]）*（position(Q1) – ⌊position(Q1)⌋）

                 = a[ ⌊ 3.5⌋ ] +( a[ ⌊ 3.5⌋+1 ]-a[ ⌊ 3.5⌋ ])*(3.5 – ⌊ 3.5 ⌋)

                 = a[3] + (a[4] – a[3]) * (3.5-3)

                 = 15+（36-15）*（3.5-3）

                 = 25.5

figure(Q2) = data[6] = 40 

figure(Q3) = data[ ⌊position(Q3)⌋ ]+（data[ ⌊position(Q3)⌋+1] – data[ ⌊position(Q3)⌋]）*（position(Q3) – ⌊position(Q3)⌋）

                 = a[ ⌊8.5⌋ ] +( a[ ⌊ 8.5⌋+1 ]-a[ ⌊ 8.5⌋ ])*(8.5 – ⌊8.5⌋)

                 = a[8] + (a[9] – a[8]) * (8.5-8)

                 = 42+（43-42）*（8.5-8）

                 = 42.5

实例2：

给出一组数据before_data：7, 15, 36, 39, 40, 41,20,18，一共8项

从小到大排序后结果data：7,15,18,20,36,39,40,41

figure(Q1) = data[ ⌊position(Q1)⌋] + (data[ ⌊position(Q1)⌋+1] – data[ ⌊position(Q1)⌋]) * (position(Q1) – ⌊position(Q1)⌋)

                  = a[2] + (a[3] – a[2] ) * (2.75-2)

                  = 15 + (18-15)*(2.75-2)

                  = 17.25

figure(Q2) = data[ ⌊position(Q2)⌋] + (data[ ⌊position(Q2)⌋+1] – data[⌊position(Q2)⌋]) * (position(Q2) – ⌊position(Q2)⌋)     

                  = 20 + (36-20)*(4.5-4)

                  = 28

figure(Q3) = data[ ⌊position(Q3)⌋] + (data[ ⌊position(Q3)⌋+1] – data[ ⌊position(Q3)⌋]) * (position(Q3) – ⌊position(Q3)⌋)

                 = 39 + (40-39)*(6.25-6)

                 = 39.25

备注：p分位数位置的计算还有很多形式，因为我并没有遇到，所以这里不多做介绍。感兴趣的可参阅

• https://en.wikipedia.org/wiki/Quantile  或 https://en.wanweibaike.com/wiki-quantile
• https://www-users.york.ac.uk/~mb55/intro/quantile.htm
• 分位数
• Excel四分位数函数：QUARTILE.EXC与QUARTILE.INC的区别

3.python、R、excel中分位数的计算及结果

3.1 python

numpy和pandas中都有计算p分位数的方法，numpy中用 percentile，pandas中用 quantile，两种方法计算结算结果一样。

python运行结果如下：

3.2 R

3.3 excel

可见，在python、R、excel下计算结果与2中计算结果相同。

4.p分位数在python中的应用——等频分箱

结果如下：

可见在每个分箱内，其总数值在100左右。说明实现了等频分箱，且可知分箱的上下限。进而可以实现自定义标签的应用。

参考链接：

https://www.cnblogs.com/gispathfinder/p/5770091.html

https://blog.csdn.net/u011327333/article/details/71263081?locationNum=14&fps=1

利用python 计算百分位数实现数据分箱

数理统计

茆诗松《概率论与数理统计》