Telcom Customer Churn

每行代表一个客户每列是一个特征，原始数据包含 7043 行 21 列. “Churn” 是标签.

• customerID : 客户 ID

• gender : 客户性别

• SeniorCitizen : 用户是否退休 (1, 0)

• Partner : 客户是否有合作伙伴 (Yes, No)

• Dependents : 客户是否有家属 (Yes, No)

• tenure : 客户留存月数

• PhoneService : 客户是否有电话服务 (Yes, No)

• MultipleLines : 客户是否有多条线路 (Yes, No, No phone service)

• InternetService : 客户网络服务提供商 (DSL, Fiber optic, No)

• OnlineSecurity : 客户是否有在线安全 (Yes, No, No internet service)

• OnlineBackup : 客户是否有在线备份 (Yes, No, No internet service)

• DeviceProtection : 客户是否有设备保护 (Yes, No, No internet service)

• TechSupport : 客户是否有技术支持 (Yes, No, No internet service)

• StreamingTV : 客户是否有流媒体电视 (Yes, No, No internet service)

• StreamingMovies : 客户是否有流媒体电影 (Yes, No, No internet service)

• Contract : 客户合同期限 (Month-to-month, One year, Two year)

• PaperlessBilling : 客户是否有无纸化计费 (Yes, No)

• PaymentMethod : 客户付款方式 (Electronic check, Mailed check, Bank transfer (automatic), Credit card (automatic))

• MonthlyCharges : 客户月付金额

• TotalCharges : 客户付款总金额

• Churn : 客户是否流失 (Yes or No)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

import os

import numpy as np

import pandas as pd

import seaborn as sns

import matplotlib.pyplot as plt

from sklearn.preprocessing import LabelEncoder

import warnings

warnings.filterwarnings('ignore')

数据读取

1
2
3
4
5

app_train = pd.read_csv('./dataset/application_train.csv')

print('Training data shape: ', app_train.shape)

app_train.head()

Training data shape:  (307511, 122)

1. 探索性数据分析(EDA)

(1) 数据总体了解

• 读取数据集并了解数据集大小，原始特征维度；
• 通过info熟悉数据类型；
• 粗略查看数据集中各特征基本统计量；

(2) 缺失值和唯一值

• 查看数据缺失值情况
• 查看唯一值特征情况

(3) 深入数据-查看数据类型

• 类别型数据

• 数值型数据

  • 离散数值型数据

  • 连续数值型数据

(4) 数据间相关关系

• 特征和特征之间关系
• 特征和目标变量之间关系

(5) 用pandas_profiling生成数据报告

第一部分：数据类型处理

• 数据加载
  • 字段含义：
    • user_id:用户ID
    • order_dt:购买日期
    • order_product:购买产品的数量
    • order_amount:购买金额
• 观察数据
  • 查看数据的数据类型
  • 数据中是否存储在缺失值
  • 将order_dt转换成时间类型
  • 查看数据的统计描述
    • 计算所有用户购买商品的平均数量
    • 计算所有用户购买商品的平均花费
  • 在源数据中添加一列表示月份:astype(‘datetime64[M]‘)

plt.plot()绘制线性图

• 绘制单条线形图
• 绘制多条线形图
• 设置坐标系的比例
• 设置图例legend()
• 设置轴的标识
• 图例保存
• 曲线的样式和风格

1
2
3
4
5
6

import matplotlib.pyplot as plt
import numpy as np
# 绘制单条线形图
x = np.array([1,2,3,4,5])
y = x + 3
plt.plot(x,y)

需求

• 加载数据
• 查看数据的基本信息
• 指定数据截取，将如下字段的数据进行提取，其他数据舍弃
  • cand_nm ：候选人姓名
  • contbr_nm ： 捐赠人姓名
  • contbr_st ：捐赠人所在州
  • contbr_employer ： 捐赠人所在公司
  • contbr_occupation ： 捐赠人职业
  • contb_receipt_amt ：捐赠数额（美元）
  • contb_receipt_dt ： 捐款的日期
• 对新数据进行总览,查看是否存在缺失数据
• 用统计学指标快速描述数值型属性的概要
• 空值处理，可能因为忘记填写或者保密等等原因，相关字段出现了空值，将其填充为NOT PROVIDE
• 异常值处理，将捐款金额<=0的数据删除
• 新建一列为各个候选人所在党派party
• 查看party这一列中有哪些不同的元素
• 统计party列中各个元素出现次数
• 查看各个党派收到的政治献金总数contb_receipt_amt
• 查看具体每天各个党派收到的政治献金总数contb_receipt_amt
• 将表中日期格式转换为’yyyy-mm-dd’
• 查看老兵(捐献者职业)DISABLED VETERAN主要支持谁

Pandas中的一些高级操作

1
2
3

import numpy as np
import pandas as pd
from pandas import DataFrame

人口分析案例

• 需求：
  • 导入文件，查看原始数据
  • 将人口数据和各州的简称数据进行合并
  • 将合并的数据中重复的abbreviation列进行删除
  • 查看存在缺失数据的列
  • 找到有哪些state/region使得state的值为NaN，进行去重操作
  • 为找到的这些state/region的state项补上正确的值，从而去除掉state这一列的所有NaN
  • 合并各州面积数据areas
  • 我们会发现area(sq.mi)这一列有缺失数据，找出是哪些行
  • 去除含有缺失数据的行
  • 找出2010年的全民人口数据
  • 计算各州的人口密度
  • 排序，并找出人口密度最高的州

1
2
3

import numpy as np
import pandas as pd
from pandas import DataFrame

级联操作

• pd.concat,pd.append
  pandas使用pd.concat函数，与np.concatenate函数类似，只是多了一些参数：
  objs
  axis
  keys
  join=’outer’/‘inner’：表示的是级联方式，outer会将所有的项进行级联（忽略匹配和不匹配），而inner只会将匹配的项级联在一起，不匹配的不级联
  ignore_index=False

1
2
3

import numpy as np
import pandas as pd
from pandas import DataFrame

处理丢失数据

1、原始数据中会存在缺失值（空值）
2、重复值
3、异常值

• 有两种丢失数据
  • None
  • np.nan(NAN)

1
2
3
4
5
6

'''
两种丢失数据的区别
'''
import numpy as np
print(type(None))   # None对象类型
print(type(np.nan)) # NAN浮点型

<class 'NoneType'>
<class 'float'>