該計(jì)算sklearn.feature_selection.chi2?與卡方獨(dú)立性檢驗(yàn)的典型教科書(shū)示例不同（對(duì)于此類(lèi)經(jīng)典的卡方檢驗(yàn)，請(qǐng)參閱下面我提供的手動(dòng)計(jì)算）。
sklearn.feature_selection.chi2：假設(shè)我們有一個(gè)目標(biāo)變量 y（分類(lèi)，例如 0, 1, 2）和一個(gè)非負(fù)連續(xù)變量 x（例如，0 到 100 之間的任何位置），并且我們想要測(cè)試 x 和 y 之間的獨(dú)立性（例如，y 獨(dú)立于 x 意味著 x 作為預(yù)測(cè)特征沒(méi)有用）。該算法計(jì)算給定 y 的 x 的組和（例如，sum_x_y0、sum_x_y1、sum_x_y2 - 稱(chēng)它們?yōu)?strong>觀察值），并將這些?觀察值與 x 的概率權(quán)重總計(jì)（例如，prob_y0*x_tot、prob_y1*x_tot、prob_y2* x_tot——稱(chēng)它們為預(yù)期），使用卡方檢驗(yàn)，對(duì) y 中的 k 類(lèi)別具有 (k-1) 個(gè)自由度。因?yàn)樗褂每ǚ綑z驗(yàn)，所以正如我想象的那樣，它的計(jì)算中不能有負(fù)和。（我不確定這是否有學(xué)術(shù)參考，但這種方法似乎是有意義的。）
這是sklearn 用戶(hù)指南中的示例代碼，用于使用chi2.
from sklearn.datasets import load_iris
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
X, y = load_iris(return_X_y=True)
print(X.shape)
X_new = SelectKBest(chi2, k=2).fit_transform(X, y)
X_new.shape
對(duì)于兩個(gè)分類(lèi)變量之間獨(dú)立性的經(jīng)典卡方檢驗(yàn)，這是我的手動(dòng)計(jì)算代碼，它似乎與scipy卡方計(jì)算相匹配。我使用的公式與您上面發(fā)布的相同，但dof是（x - 1 中的 var 級(jí)別）和（y - 1 中的級(jí)別）。
from sklearn.feature_selection import chi2
x = [[1, 2, 0, 0, 1],
? ? ?[0, 0, 1, 0, 0],
? ? ?[0, 0, 0, 2, 1]]
y = [True, False, False]
chi2(x,y)[0]
import numpy as np
def is_val_eq(vec, val): return [i==val for i in vec]
def chi_E(vec1, vec1_val, vec2, vec2_val):?
? ? num1 = sum(is_val_eq(vec1, vec1_val))
? ? num2 = sum(is_val_eq(vec2, vec2_val))
? ? return num1*num2/len(vec1)
def chi_O(vec1, vec1_val, vec2, vec2_val):
? ? idx1 = is_val_eq(vec1, vec1_val)
? ? idx2 = is_val_eq(vec2, vec2_val)
? ? return sum(np.logical_and(idx1, idx2))
def chi_inside(O, E): return (O-E)**2/E
def chi_square(Os, Es): return sum([chi_inside(O,E) for O,E in zip(Os, Es)])
def get_col(x, col): return [row[col] for row in x]
def calc_chi(vec_x, vec_y):
? ? val_xs = set(vec_x)
? ? val_ys = set(vec_y)
? ? Es = [chi_E(vec_x, val_x, vec_y, val_y)?
? ? ? for val_x in val_xs for val_y in val_ys]
? ? Os = [chi_O(vec_x, val_x, vec_y, val_y)?
? ? ? for val_x in val_xs for val_y in val_ys]
? ? return chi_square(Os, Es), Es, Os
from scipy.stats import chi2_contingency?
from scipy import stats
chi_calc = dict(manual=[], scipy_cont=[], scipy_stats=[])
for idx_feature in range(5):
? ? chi_sq, Es, Os = calc_chi(get_col(x, idx_feature), y)
? ? chi_calc['manual'].append(chi_sq)
? ??
? ? data = [Os[0:2], Os[2:4]]
? ? stat, p, dof, expected = chi2_contingency(data, correction=False)
? ? chi_calc['scipy_cont'].append(stat)
? ??
? ? result = stats.chisquare(data, f_exp = expected, ddof = 1, axis=None)
? ? chi_calc['scipy_stats'].append(result.statistic)
直觀上，如果您試圖測(cè)試 的分類(lèi)變量列相x對(duì)于 的獨(dú)立性y，則 的前兩列x應(yīng)該給出相同的統(tǒng)計(jì)量（因?yàn)樗鼈冎皇潜舜说目s放版本，因此在分類(lèi)級(jí)別方面是相同的） 。
