机器学习实战--利用k-近邻算法改进约会网站

微言大义

Python小白，照着《机器学习实战》敲了k-近邻算法的代码，添加了一些注释，完整的代码可以运行，背景环境还需要看书

1. import numpy as np
   
2. import operator
   
3. import matplotlib
   
4. import matplotlib.pyplot as plt
   
5. from pylab import mpl
   
6. 
   
7. def file2matrix(filename):
   
8.     fr = open(filename)
   
9.     numberOfLines = len(fr.readlines())     #得到文件行数
   
10.     returnMat = np.zeros((numberOfLines,3))    #创建以0填充的矩阵Numpy,将另一维度设置为固定的3
    
11.     classLabelVector = []
    
12.     fr = open(filename)
    
13.     index = 0
    
14.     for line in fr.readlines():
    
15.         line = line.strip()     #截取掉所有的回车字符
    
16.         listFromLine = line.split('\t')     #使用tab字符\t将上一步得到的整行数据分割成一个元素列表
    
17.         returnMat[index,:] = listFromLine[0:3]  #选取前三个元素，存储到特征矩阵中
    
18.         classLabelVector.append(int(listFromLine[-1]))  #利用负索引将表的最后一列存储到 classLabelVector中，必须明确列表中存储的元素是整形，否则Python会将这些元素当做字符串处理
    
19.         index += 1
    
20.     return returnMat,classLabelVector
    
21.    
    
22. 
    
23. #分析数据：使用Matplotlib创建散点图
    
24. datingDataMat,datingLabels =file2matrix('datingTestSet2.txt')
    
25. fig = plt.figure()
    
26. ax = fig.add_subplot(111)
    
27. ax.scatter(datingDataMat[:,1],datingDataMat[:,2],15.0*np.array(datingLabels), 15.0*np.array(datingLabels))
    
28. mpl.rcParams['font.sans-serif'] = ['SimHei']    #将坐标轴标记转换为汉字
    
29. plt.xlabel('玩视频游戏所耗时间比')
    
30. plt.ylabel('每周消费的冰激凌公斤数')
    
31. plt.show()
    
32. fig = plt.figure(2)
    
33. ax = fig.add_subplot(111)
    
34. ax.scatter(datingDataMat[:,1],datingDataMat[:,0],15.0*np.array(datingLabels), 15.0*np.array(datingLabels))
    
35. plt.xlabel('玩视频游戏所耗时间比')
    
36. plt.ylabel('每年获取的飞行常客旅程数')
    
37. plt.show()
    
38. 
    
39. 
    
40. #归一化特征值
    
41. def autoNorm(dataSet):
    
42.     minVals = dataSet.min(0)    #将最小值放在minVal中，参数0使得函数可以从列中选取最小值，而不是从当前行的最小值
    
43.     maxVals = dataSet.max(0)
    
44.     ranges = maxVals-minVals    #计算可能的取值范围
    
45.     normDataSet = np.zeros(np.shape(dataSet))  #创建新的返回矩阵
    
46.     m = dataSet.shape[0]
    
47.     normDataSet = dataSet - np.tile(minVals,(m,1)) #tile函数将变量内容复制成输入矩阵同样大小的矩阵
    
48.     normDataSet = normDataSet/np.tile(ranges,(m,1))
    
49.     return normDataSet,ranges,minVals   #特征值相除
    
50. 
    
51. #执行autoNorm函数，监测函数执行结果
    
52. normMat,ranges,minVals = autoNorm(datingDataMat)
    
53. 
    
54. def classify0(inX,dataSet,labels,k):   #用于分类的输入向量inX，输入的训练样本集dataSet，标签向量labels，用于选择最近邻居数目的k值
    
55.         dataSetSize = dataSet.shape[0]   #利用shape函数读取dataSet第一维度长度
    
56.         diffMat = np.tile(inX,(dataSetSize,1)) - dataSet        #利用欧氏距离公式计算两向量点之间的距离
    
57.         sqDiffMat = diffMat ** 2
    
58.         sqDistance = sqDiffMat.sum(axis=1)          #将矩阵的每一行向量相加求和
    
59.         distances = sqDistance**0.5
    
60.         sortedDistIndicies = distances.argsort()        #返回数组值从小到大的索引值
    
61.         classCount = {}                #建立空字典
    
62.         for i in range(k):                #选择距离最小的k个点
    
63.                 voteIlabel = labels[sortedDistIndicies[i]]
    
64.                 classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1        #将classCount字典分解成元组列表
    
65.         sortedClassCount = sorted(classCount.items(),key = operator.itemgetter(1),reverse = True)        #导入运算符模块的itemgetter方法，按照第二个元素的次序对元组进行排序
    
66.         return sortedClassCount[0][0]
    
67. 
    
68. #测试错误率
    
69. def datingClassTest():
    
70.     hoRatio = 0.1
    
71.     datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')
    
72.     normMat,ranges,minVals = autoNorm(datingDataMat)
    
73.     m = normMat.shape[0]
    
74.     numTestVecs = int(m*hoRatio)
    
75.     errorCount = 0.0
    
76.     for i in range(numTestVecs):
    
77.         classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)
    
78.         print("the classifier came back with: %d, the real answer is: %d"% (classifierResult, datingLabels[i]))
    
79.         if (classifierResult != datingLabels[i]):
    
80.             errorCount += 1.0   
    
81.     print ("the total error rate is: %f" % (errorCount/float(numTestVecs)))
    
82. 
    
83. #约会网站预测函数，调用之前的函数，添加了输入函数，以便用户输入
    
84. def classifyPerson():
    
85.     resultList = ['not at all','in small doses','in large doses']
    
86.     percentTats = float(input("percentage of time spent playing video games?"))
    
87.     ffMiles = float(input("frequent flier miles earned per year?"))
    
88.     iceCream = float(input("liters of ice cream consumed per year?"))
    
89.     datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')
    
90.     normMat,ranges,minVals = autoNorm(datingDataMat)
    
91.     inArr = np.array([ffMiles,percentTats,iceCream])
    
92.     classifierResult = classify0((inArr-minVals)/ranges,normMat,datingLabels,3)
    
93.     print("you will probably like this person:",resultList[classifierResult - 1])

复制代码

运行程序，得散点图如下：

执行框输入classifyPerson()即可，运行结果如下：
percentage of time spent playing video games?10

frequent flier miles earned per year?10000

liters of ice cream consumed per year?0.5

you will probably like this person: in small doses