鱼C论坛

 找回密码
 立即注册
查看: 1248|回复: 0

[技术交流] 机器学习系列------除噪

[复制链接]
发表于 2018-6-17 06:04:21 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
        还是把昨天代码复制过来:
  1. from sklearn.datasets import fetch_mldata



  2. mnist=fetch_mldata('MNIST original',data_home='.\datasets')


  3. X,y=mnist["data"],mnist["target"]
  4. %matplotlib inline
  5. import matplotlib
  6. import matplotlib.pyplot as plt

  7. X_train,X_test,y_train,y_test=X[:60000],X[60000:],y[:60000],y[60000:]

  8. import numpy as np
  9. shuffle_index=np.random.permutation(60000)
  10. X_train,y_train=X_train[shuffle_index],y_train[shuffle_index]
  11. some_digit=X[36000]

  12. from sklearn.linear_model import SGDClassifier

  13. sgd_clf=SGDClassifier(random_state=42)
复制代码

        然后我们分别把输出项里大于等于7的数和奇数取2组布尔值:
  1. from sklearn.neighbors import KNeighborsClassifier
  2. y_train_large=(y_train>=7)
  3. y_train_odd=(y_train%2==1)
  4. y_multilabel=np.c_[y_train_large,y_train_odd]
  5. y_multilabel
复制代码

        输出为:
array([[False, False],
       [False, False],
       [False, False],
       ...,
       [False, False],
       [False, False],
       [False, False]], dtype=bool)
        以下这种分类方法就可以一起预测2个条件:
  1. knn_clf=KNeighborsClassifier()
  2. knn_clf.fit(X_train,y_multilabel)
  3. knn_clf.predict([some_digit])
复制代码

        输出为:array([[False,  True]], dtype=bool)。果然5是小于7而且是奇数。然后我们人为在图片里制造一些噪声:
  1. from numpy import random as rnd

  2. noise1=rnd.randint(0,100,(len(X_train),784))
  3. noise2=rnd.randint(0,100,(len(X_test),784))
  4. X_train_mod=X_train+noise1
  5. X_test_mod=X_test+noise2
  6. y_train_mod=X_train
  7. y_test_mod=X_test
复制代码

        随便找个数画出图来:
  1. %matplotlib inline
  2. import matplotlib
  3. import matplotlib.pyplot as plt

  4. some_digit=X_train_mod[36000]
  5. some_digit_imge=some_digit.reshape(28,28)
  6. plt.imshow(some_digit_imge,cmap=matplotlib.cm.binary,interpolation="nearest")
  7. plt.axis("off")
  8. plt.show()
复制代码

        输出图像:
sadsa.png
        再看看原始的图片:
  1. %matplotlib inline
  2. import matplotlib
  3. import matplotlib.pyplot as plt

  4. some_digit=y_train_mod[36000]
  5. some_digit_imge=some_digit.reshape(28,28)
  6. plt.imshow(some_digit_imge,cmap=matplotlib.cm.binary,interpolation="nearest")
  7. plt.axis("off")
  8. plt.show()
复制代码

        输出为:
sadasdas.png
        以下代码是通过上面这种分类器除去随便一张图的噪音:
  1. knn_clf.fit(X_train_mod,y_train_mod)
  2. clean_digit=knn_clf.predict([X_test_mod[100]])
复制代码

        然后画图:
  1. %matplotlib inline
  2. import matplotlib
  3. import matplotlib.pyplot as plt

  4. some_digit=clean_digit
  5. some_digit_imge=some_digit.reshape(28,28)
  6. plt.imshow(some_digit_imge,cmap=matplotlib.cm.binary,interpolation="nearest")
  7. plt.axis("off")
  8. plt.show()
复制代码

        输出图片为:
saddasdas.png

本帖被以下淘专辑推荐:

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-29 17:02

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表