机器学习系列------决策函数

alltolove

        新启一个文件，首先把以前的代码复制过来：

1. from sklearn.datasets import fetch_mldata
   
2. 
   
3. 
   
4. 
   
5. mnist=fetch_mldata('MNIST original',data_home='.\datasets')
   
6. 
   
7. 
   
8. X,y=mnist["data"],mnist["target"]
   
9. %matplotlib inline
   
10. import matplotlib
    
11. import matplotlib.pyplot as plt
    
12. 
    
13. X_train,X_test,y_train,y_test=X[:60000],X[60000:],y[:60000],y[60000:]
    
14. 
    
15. import numpy as np
    
16. shuffle_index=np.random.permutation(60000)
    
17. X_train,y_train=X_train[shuffle_index],y_train[shuffle_index]
    
18. some_digit=X[36000]
    
19. y_train_5=(y_train==5)
    
20. y_test_5=(y_test==5)
    
21. from sklearn.linear_model import SGDClassifier
    
22. 
    
23. sgd_clf=SGDClassifier(random_state=42)
    
24. sgd_clf.fit(X_train,y_train_5)

复制代码

        建立决策函数，决策函数是通过调试阀值帮助我们预测精准度的一个工具：

1. y_scores=sgd_clf.decision_function([some_digit])
   
2. y_scores

复制代码

        会显示：array([ 66994.58438748])，这个数是预测准确的一个分数，但是必须要有一个阀值来判断边界：

1. threshold=0
   
2. y_some_digit_pred=(y_scores>threshold)
   
3. y_some_digit_pred

复制代码

        以上我们把阀值设定为0，他会显示：array([ True], dtype=bool)。因为我们这个分数已经超过了阀值，就说明预测结果是对的，但是阀值又通过什么来确定呢，我们把阀值设定高点试试：

1. threshold=200000
   
2. y_some_digit_pred=(y_scores>threshold)
   
3. y_some_digit_pred

复制代码

        显示：array([False], dtype=bool)。就说明阀值一定要取的正合适才行，就要通过准确率召回曲线确定阀值：

1. from sklearn.model_selection import cross_val_predict
   
2. y_scores=cross_val_predict(sgd_clf,X_train,y_train_5,cv=3,method="decision_function")
   
3. from sklearn.metrics import precision_recall_curve
   
4. precisions,recalls,thresholds=precision_recall_curve(y_train_5,y_scores[:,1])

复制代码

        然后我们写个画图功能的函数：

1. def plot_precision_recall_vs_threshold(precisions,recalls,thresholds):
   
2.     plt.plot(thresholds,precisions[0:-1],"b--",label="Precision")
   
3.     plt.plot(thresholds,recalls[:-1],"g-",label="Recall")
   
4.     plt.xlabel("Threshold")
   
5.     plt.legend(loc="upper left")
   
6.     plt.ylim([0,1])

复制代码

        调用画图函数：

1. plot_precision_recall_vs_threshold(precisions,recalls,thresholds)
   
2. plt.show()

复制代码

        输出的图像为：

        从上图可以得出准确度追高的时候在50000左右，我们可以看一下决策函数大于50000时的评分：

1. from sklearn.metrics import precision_score,recall_score
   
2. y_train_pred_90=(y_scores>50000)
   
3. precision_score(y_train_5,np.argmax(y_train_pred_90, axis=1))

复制代码

        显示结果为：0.90712074303405577

1. recall_score(y_train_5,np.argmax(y_train_pred_90, axis=1))

复制代码

        0.54049068437557646