kotlin for android 之 用手机爬取网站源码

alltolove

        网络这方面比较复杂，但是我身为网络版的版主也得讲啊 。咱们先从简单的来。从新建个项目，修改AndroidManifest.xml文件

1. <?xml version="1.0" encoding="utf-8"?>
   
2. <manifest xmlns:android="http://schemas.android.com/apk/res/android"
   
3.     package="com.example.xinwei.httpproject">
   
4. <uses-permission android:name="android.permission.INTERNET"/>
   
5.     <application
   
6.         android:allowBackup="true"
   
7.         android:icon="@mipmap/ic_launcher"
   
8.         android:label="@string/app_name"
   
9.         android:roundIcon="@mipmap/ic_launcher_round"
   
10.         android:supportsRtl="true"
    
11.         android:theme="@style/AppTheme">
    
12.         <activity android:name=".MainActivity">
    
13.             <intent-filter>
    
14.                 <action android:name="android.intent.action.MAIN" />
    
15. 
    
16.                 <category android:name="android.intent.category.LAUNCHER" />
    
17.             </intent-filter>
    
18.         </activity>
    
19.     </application>
    
20. 
    
21. </manifest>

复制代码

其实只加了一行<uses-permission android:name="android.permission.INTERNET"/>给我们的手机使用网络授权。然后修改activity_main.xml文件：

1. <?xml version="1.0" encoding="utf-8"?>
   
2. <LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
   
3.     android:orientation="vertical"
   
4.     xmlns:tools="http://schemas.android.com/tools"
   
5.     android:layout_width="match_parent"
   
6.     android:layout_height="match_parent"
   
7.     tools:context="com.example.xinwei.httpproject.MainActivity">
   
8. 
   
9.     <ScrollView
   
10.     android:layout_width="wrap_content"
    
11.     android:layout_height="wrap_content">
    
12.         <TextView
    
13.         android:id="@+id/idtext"
    
14.         android:layout_width="wrap_content"
    
15.         android:layout_height="wrap_content"
    
16.         android:text="Waiting download..."
    
17.         android:layout_gravity="center"
    
18.         />
    
19.     </ScrollView>
    
20. 
    
21.     <ProgressBar
    
22.         android:id="@+id/idprogress"
    
23.         android:layout_width="wrap_content"
    
24.         android:layout_height="wrap_content"
    
25.         android:layout_gravity="center"/>
    
26. 
    
27. </LinearLayout>
    

复制代码

        新学两个控件，ScrollView跟ProgressBar,作用分别是让屏幕可以滚动和进度条的功能。然后修改MainActivity.kt

1. package com.example.xinwei.httpproject
   
2. 
   
3. import android.annotation.SuppressLint
   
4. import android.os.AsyncTask
   
5. import android.support.v7.app.AppCompatActivity
   
6. import android.os.Bundle
   
7. import android.util.Log
   
8. import kotlinx.android.synthetic.main.activity_main.*
   
9. import java.io.BufferedReader
   
10. import java.io.InputStream
    
11. import java.io.InputStreamReader
    
12. import java.net.HttpURLConnection
    
13. import java.net.URL
    
14. 
    
15. class MainActivity : AppCompatActivity() {
    
16. 
    
17.     override fun onCreate(savedInstanceState: Bundle?) {
    
18.         super.onCreate(savedInstanceState)
    
19.         setContentView(R.layout.activity_main)
    
20.         getInternetData()
    
21.     }
    
22.     fun getInternetData(){
    
23.         val url="http://www.fishc.com"
    
24.         val myAsyncTask=MyAsyncTask()
    
25.         myAsyncTask.execute(url)
    
26.     }
    
27.     @SuppressLint("StaticFieldLeak")
    
28.     inner class MyAsyncTask : AsyncTask<String, String, String>() {
    
29. 
    
30.         override fun onProgressUpdate(vararg values: String?) {
    
31.             super.onProgressUpdate(*values)
    
32.             if (values[0]!!.isNotEmpty()) {
    
33.                 idprogress.invalidate()
    
34.             }
    
35.         }
    
36. 
    
37.         override fun doInBackground(vararg p0: String?):String {
    
38.             try {
    
39.                 val url=URL(p0[0])
    
40.                 val urlConnect=url.openConnection() as HttpURLConnection
    
41.                 urlConnect.connectTimeout=7000
    
42.                 urlConnect.requestMethod="GET"
    
43.                 urlConnect.readTimeout=7000
    
44.                 var inString=convertToString(urlConnect.inputStream)
    
45.                 publishProgress(inString)
    
46.                 urlConnect.disconnect()
    
47.                 return inString
    
48.             }catch (e:Exception){
    
49.                 e.printStackTrace()
    
50.             }
    
51.             return "网站连接失败"
    
52.         }
    
53. 
    
54.         private fun convertToString(inputStream: InputStream?): String {
    
55.             var bufferedReader=BufferedReader(InputStreamReader(inputStream))
    
56.             var allString=StringBuilder()
    
57.             bufferedReader.forEachLine {
    
58.                 allString.append(it)
    
59.             }
    
60.             bufferedReader.close()
    
61.             inputStream?.close()
    
62.             return allString.toString()
    
63.         }
    
64. 
    
65.         override fun onPostExecute(result: String?) {
    
66.             super.onPostExecute(result)
    
67.             idtext.text=result
    
68.         }
    
69.     }
    
70. }
    

复制代码

        这里我们写了个getInternetData方法和一个MyAsyncTask的内部类。网络因为是耗时操作所以android要求必须在这个继承了AsyncTask抽象类的类里完成，也没什么难的，这都是固定写法，调用的时候就传一个网址进去就行了。我在这个类里复写的onProgressUpdate方法里更新了进度条，然以后在onPostExecute这个方法里把从网上获取的数据放进textview控件。从网上下载数据主要是从doInBackground方法里，我获取到网上的输入流，然后通过convertToString我自己写的这个方法转化成字符串。因为网页上数据太长了所以放进textview里会丢失一些数据，一般我们不会把源代码全放进textview里这样的，这只是做个演示。效果图：