Python数据分析项目

——学生成绩预测

一．数据源

阿里云天池公开数据集：学生成绩预测数据集

https://tianchi.aliyun.com/dataset/dataDetail?dataId=6785

特征(Features)介绍：

• Gender: 性别
• Nationality: 国籍
• PlaceofBirth：出生地
• StageID：学校级别（小学，中学，高中）
• GradeID：年级 (G01 - G12)
• SectionID: 班级
• Topic：学科科目
• Semester: 学期 （春学期，秋学期）
• Relation: 孩子家庭教育负责人（父亲，母亲）
• RaisedHands: 学生该学期上课举手的次数
• VisitedResources: 学生浏览在线课件的次数
• AnnoucementsView: 学生浏览学校公告的次数
• Discussion: 学生参与课堂讨论的次数
• ParentAnsweringSurvey: 家长是否填写了关于学校的问卷调查 （是，否）
• ParentSchoolSatisfaction: 家长对于学校的满意度 （好，不好）
• StudentAbsenceDays: 学生缺勤天数 （大于7天，低于7天）

结果(Response Variable)介绍：

• Class: 根据学生最后的学术评测分数，学生会被分为3个等级
• Low-Level: 分数区间在0-60
• Middle-Level:分数区间在70-89
• High-Level:分数区间在90-100

二．数据预览

import pandas as pd

df=pd.read_csv('datalab/6785/students_data.csv')

df.head()

读了前五行，看看数据情况

三．数据预处理

看看数据是否有缺失值

df.isnull().sum()

没有缺失值

四．描述性统计

df.describe(include='all')

看看类别变量包含的内容：

print('gender',df.gender.unique())

看看数据集结果是否平衡:

import seaborn as sns

sns.countplot(x='Class',data=df)

五．可视化

可视化的目的是为了探索数据规律，发现数据之间的关系，比如特征与目标变量之间的相关性。

可视化可以使用seaborn和matplotlib库进行，不过我不喜欢编程，所有比较喜欢用tableau，类别变量的可视化结果为tableau做的效果。

首先看看类别变量：

性别与得分：

国籍与得分：

班级与得分：

数值型变量：

相关性分析：

corr=df[['raisedhands','VisITedResources','AnnouncementsView','Discussion']].corr()

corr

Discussion与其他三个相关性较低，其他三个变量的相关性都比较高

以上结论从热力图也可以看出来：

sns.heatmap(corr, xticklabels=corr.columns,yticklabels=corr.columns)

六．模型建立

使用逻辑回归模型进行预测，并计算准确率

from sklearn.model_selection import train_test_split

from sklearn.linear_model import LogisticRegression

from sklearn.metrics import accuracy_score

#建立特征和目标变量

x=df.drop('Class',axis=1)

x= pd.get_dummies(x)#对类别变量进行one-hot编码，即建立虚拟变量

y=df['Class']

x_train,x_test,y_train,y_test=train_test_split(x,y,test_size = 0.2,random_state = 10)#建立训练集和测试集

#模型训练

logit=LogisticRegression()

logit.fit(x_train,y_train)

#预测

predict=logit.predict(x_test)

print('predict',predict)

#准确率评分

Score = accuracy_score(y_test, predict)

Score

七．模型优化

从可视化图表探索发现SectionID与Class关系不大，所以尝试剔除再进行建模：

x=df.drop(['Class','SectionID'],axis=1)

x= pd.get_dummies(x)

y=df['Class']

x_train,x_test,y_train,y_test=train_test_split(x,y,test_size = 0.2,random_state = 10)

logit=LogisticRegression()

logit.fit(x_train,y_train)

predict=logit.predict(x_test)

print('predict',predict)

Score = accuracy_score(y_test, predict)

Score

可以看到准确率得到提升。