分类算法——模型选择与调优（三）

交叉验证

交叉验证：将拿到的训练数据，分为训练和验证集。以下图为例：将数据分成4份，其中
一份作为验证集。然后经过4次（组）的测试，每次都更换不同的验证集。即得到4组模型的
结果，取平均值作为最终结果。又称4折交叉验证。

1分析
我们之前知道数据分为训练集和测试集，但是为了让从训练得到模型结果更加准确。做以下处理

训练集：训练集+验证集
测试集：测试集

2为什么需要交叉验证
交叉验证目的：为了让被评估的模型更加准确可信

问题：那么这个只是对于参数得出更好的结果，那么怎么选择或者调优参数呢?

超参数搜索-网格搜索(Grid Search)

通常情况下，有很多参数是需要手动指定的（如k-近邻算法中的K值），这种叫超参数。
但是手动过程繁杂，所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型。
在这里插入图片描述

1模型选择与调优API

sklearn.model_selection.GridSearchCV(estimator,param_grid=None,cv=None)
- 估计器的指定参数值进行详尽搜索
- estimator：估计器对象
- param_grid：估计器参数(dict){“n_neighbors":[1,3,5]}
- cv：指定几折交叉验证
- fit()：输入训练数据
- score()：准确率
- 结果分析：
  - 最佳参数：best_params_
  - 最佳结果：best_score_
  - 最佳估计器：best_estimator_
  - 交叉验证结果：cv_results_

鸢尾花案例增加K值调优

使用GridSearchCV构建估计器

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCVdef knn_iris_gscv()://1)获取数据iris=load_iris()//2)划分数据集x_train, x_test, y_train, y_test=train_test_split(iris.data, iris.target, random_state=22)//3)特征工程:标准化transfer=StandardScaler()x train=transfer.fit_transform(x_train)x_test=transfer.transform(x_test)//4)KNN算法预估器estimator=KNeighborsClassifier()//加入网格搜索与交叉验证param_dict ={"n_neighbors":[1,3,5,7,9,11]}estimator=GridSearchCV(estimator,param_grid=param_dict,cv=10)estimator.fit(x_train,y_train)//5)模型评估//方法1:直接比对真实值和预测值y_predict=estimator.predict(x_test)print("y_predict:\n",y_predict)print("直接比对真实值和预测值:\n",y_test==y_predict)//方法2:计算准确率score=estimator.score(x_test,y_test)print("准确率为:\n",score)//最佳参数:best_params_print("最佳参数:\n",estimator.best_params_)//最佳结果:best_score_print("最佳结果:\n",estimator.best_score_)//最佳估计器:best_estimatir_print("最佳估计器:\n",estimator,best_estimator_)//交叉验证结果:cv_results_print("交叉验证结果:\n",estimator.cv_results_)return None

在这里插入图片描述

案例:预测facebook签到位置

1数据集介绍
File descriptions
数据介绍：将根据用户的位置，准确性和时间戳预测用户正在查看的业务
在这里插入图片描述

官网：https://www.kagge.com/navoshta/grid-knn/data

2实践

在这里插入图片描述

import pandas as pd// 1、获取数据
data=pd.read_csv("./rBlocation/train.csv")//基本的数据处理
//1)缩小数据范围
data=data.query("x<2.5 & x>1.5 & y>1.0 & y<1.5")//2)处理时间特征
time_value=pd.to_datetime(data["time"],unit="s")
date=pd.DatetimeIndex(time_value)
//添加需要的项
data["day"]=date.day
data["weekday"]=date.weekday
data["hour"]=date.hour//3)过滤签到次数少的地点
place_count=data.groupby("place_id").count()["row_id"]
data["place_id"].isin(place_count[place_count >3].index.values)
data_final=data[data["place_id"].isin(place_count[place_count >3].index.values)]//筛选特征值和目标值
x=data_final[["x","y","accuracy","day","weekday","hour"]]
y=data_final["place_id"]//数据集划分
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test=train_test_split(x,y)from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridsearchCV//3)特征工程:标准化
transfer=StandardScaler()
x train=transfer.fit_transform(x_train)
x_test=transfer.transform(x_test)//4)KNN算法预估器
estimator=KNeighborsClassifier()
//加入网格搜索与交叉验证
param_dict ={"n_neighbors":[1,3,5,7,9,11]}
estimator=GridSearchCV(estimator,param_grid=param_dict,cv=3)
estimator.fit(x_train,y_train)//5)模型评估
//方法1:直接比对真实值和预测值
y_predict=estimator.predict(x_test)
print("y_predict:\n",y_predict)
print("直接比对真实值和预测值:\n",y_test==y_predict)//方法2:计算准确率
score=estimator.score(x_test,y_test)
print("准确率为:\n",score)//最佳参数:best_params_
print("最佳参数:\n",estimator.best_params_)
//最佳结果:best_score_
print("最佳结果:\n",estimator.best_score_)
//最佳估计器:best_estimatir_
print("最佳估计器:\n",estimator,best_estimator_)
//交叉验证结果:cv_results_
print("交叉验证结果:\n",estimator.cv_results_)