威尼斯888_www.wns888.com_威尼斯wns888官网
做最好的网站
威尼斯888 > 计算机网络 / 编程 > 底层的回归模型

原标题:底层的回归模型

浏览次数:84 时间:2019-10-06

递归特征消除(Recursive feature elimination)

递归特征消除的主要思想是反复构建模型,然后选出最好的特征,把选出来的特征放到一边,然后在剩余的特征上重复这个过程,直到遍历了所有的特征。在这个过程中被消除的次序就是特征的排序。

RFE的稳定性很大程度上取决于迭代时,底层用的哪种模型。比如RFE采用的是普通的回归,没有经过正则化的回归是不稳定的,那么RFE就是不稳定的。假如采用的是Lasso/Ridge,正则化的回归是稳定的,那么RFE就是稳定的。

from sklearn.feature_selection import RFEfrom sklearn.feature_selection import RFECVfrom sklearn.linear_model import LinearRegression,Ridge,Lassofrom pandas import read_csvimport numpy as npfrom scipy.stats import pearsonrfrom sklearn.model_selection import StratifiedKFoldfrom sklearn.ensemble import RandomForestClassifierimport csv

tps = read_csv('E:workfiledatatradetps.csv', header=0)label = np.array[:, 0]feature = np.array[:, 1:]

def RFErfe():

# 这里的算法可以换成其他# lr = LinearRegression()# 这里一开始选择的是不带正则化的LR# 但是如果RFE采用的底层模型不稳定的话,RFE就是不稳定的lr = Ridge(alpha=100000, fit_intercept=True, normalize=True, copy_X=True, max_iter=1500, tol=1e-4, solver='auto')# 这里不带交叉验证的部分# estimator估计函数rfe = RFE(estimator=lr, n_features_to_select=1)rfe.fit(feature, label)# 和传参对应,所选择的属性的个数print(rfe.n_features_)# 打印的是相应位置上属性的排名print(rfe.ranking_)# 属性选择的一种模糊表示,选择的是true,未选择的是falseprint(rfe.support_)# 第1个属相的排名print(rfe.ranking_[1])# 外部估计函数的相关信息print(rfe.estimator_)

看一下RFE的输入参数:estimator:估计函数,底层的回归模型。一个监督学习的估计函数,有fit方法,fit方法,通过coef_ 属性或者 feature_importances_ 属性来提供feature重要性的信息。n_features_to_select : int or None (default=None)选择feature的数量,超出的部分按照关联性排序。如果选择None, 就选择一半的feature。step:int or float, 可选(default=1)如果大于等于1,step对应于迭代过程中每次移除的属性的数量。如果是,就对应于每次移除的特征的比例,四舍五入。

可以调用的属性:n_features_ : int所选特征的数量。

图片 1image.png

这是n_features_to_select=2时候的运行结果,可以看出来,两个部分的属性应该是最好的,超过的部分按照属性相关的强弱一次排序。

图片 2image.png这是n_features_to_select=1时候的运行截图。两相对比可以很清楚的看明白了。

support_ : array of shape [n_features],[n_features]大小的array,所选特征的一种模糊的表示,可以看出来,打印结果就是true和false,最优的是true,别的是false。ranking_ : array of shape [n_features],[n_features]大小的array,特征的排序,比如 ranking_[i]表示的就是第i个特征的排名位置。估计最佳的属性被排为1.

图片 3image.png由上图可以看出,第1个属性的排名是第9位。estimator_ : object外部估计函数的相关信息。图片 4image.png-------------------------------------------------------------------------------------------------------------------上面说的是不带交叉验证的部分,下面讲一下带交叉验证的部分。--------------------------------------------------------------------------------------------------------from sklearn.feature_selection import RFECVfrom pandas import read_csvimport numpy as npfrom sklearn.ensemble import RandomForestRegressorfrom sklearn.model_selection import KFold

tps = read_csv('E:workfiledatatradetps.csv', header=0)label = np.array[:, 0]feature = np.array[:, 1:]

rfr = RandomForestRegressor()rfecv = RFECV(estimator=rfr, cv=KFold(n_splits=2, random_state=1), scoring='neg_mean_squared_error')rfecv.fit(feature, label)print(rfecv.n_features_)print(rfecv.ranking_)

图片 5image.png

这是运行结果。按照惯例跟进去看一下源码。传入参数:estimator:和上面的一样。

step:和上面的一样。

cv:int,交叉验证的生成器或者迭代器。可选。cv可选择的输入为:-None,使用默认的3折交叉验证。-integer,指定交叉验证的折数。-一个object用作交叉验证的生成器。-一种迭代的训练/测试集的分割。对于None或者integer的输入。如果“y”是二分类或者多分类,就要用class:sklearn.model_selection.StratifiedKFold如果估计函数是一个分类器,或者“y”不是二分类也不是多分类,就要用class:sklearn.model_selection.KFold这里可以使用多种交叉验证的方法。我这里使用的是回归的数据,因此可以知道使用的是KFold。跟进去看一下KFold的源码。n_splits : int, default=3,交叉验证的折数,默认3,最少是2。shuffle : boolean, optional,可选。是否在分割成若干批次之前对数据进行洗牌。random_state : int, RandomState 实例,或者None, optional, 可选default=None默认None。如果是int, random_state是随机数生成器的种子。(指定一个,不指定的话每次结果都会不一样)如果是RandomState 实例, random_state是随机数生成器。如果是None,随机数是通过 RandomState 实例np.random生成的。此时shuffle == True.

scoring : string, callable or None, optional,可选的 default: None,默认:None,评分标准。一个string型(参考model evaluation documentation模型评估文档)或者一个可以调用的评分object/functionwith signaturescorer(estimator, X, y).可调用的属性:n_features_ : int,通过交叉验证得到的特征选择的数量。support_:和上面一样。ranking_:和上面一样。grid_scores_:array of shape [n_subsets_of_features],交叉验证的分数,比如 grid_scores_[i] 第i个特征子集的CV分数。grid_scores_ is equal to ceil((n_features - 1) / step) + 1,estimator_ :和上面一样。

本文由威尼斯888发布于计算机网络 / 编程,转载请注明出处:底层的回归模型

关键词:

上一篇:队列对来自这个交换器中的信息感兴趣

下一篇:优秀的数据分析师是不能速成的