[已解决]爬取58同城

waitforlove

问题,知道字典中字典的键,怎么取它的值,不知道外层字典键的情况下

1. import requests
   
2. import bs4,pickle
   
3. 
   
4. def open_url(url):
   
5.     headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'}
   
6.     res=requests.get(url,headers=headers)
   
7.     soup=bs4.BeautifulSoup(res.text,'lxml')
   
8.     return soup
   
9. 
   
10. def getxinxi(url):
    
11.     soup=open_url(url)
    
12.     #获取招聘信息
    
13.     tager1=soup.find_all('li',class_='job_item clearfix')
    
14.     for each in tager1:
    
15.         xinxi=""
    
16.         for each2 in each.div.div.a.strings:
    
17.             xinxi+=each2.strip()
    
18.         print('%-25s %10s %25s'%(xinxi.strip(),each.div.p.text,each.div.next_sibling.div.a.text.strip()))
    
19. def getcity(dict1,city):#取城市在字典中的值
    
20.     dict2=dict1.items()
    
21.     for each in dict2:
    
22.         for each2 in each:
    
23. 
    
24.             if type(each2)==dict():
    
25.                 getcity(each2)
    
26.             else:
    
27.                 if city in each2:
    
28.                     return each2
    
29. def main():
    
30.     city=input('请输入要查询的城市:')
    
31.     list1=open('my_citylist.pkl','rb')
    
32.     citylist=pickle.load(list1)
    
33.     diqu=getcity(citylist,city)[city].split('|')[0]#获取地区代码
    
34.     #地区是字典,字典里面有字典,怎么查询,我这个有问题,有帮助
    
35.     url='http://'+diqu+'.58.com'
    
36.     soup=open_url(url)
    
37.     zhiwei=input('请输入你要查询的职位:')
    
38.     tager=soup.find_all('div',class_='col4')
    
39.     tager2=tager[1].find_all('a')
    
40.     for each in tager2:
    
41.         if each.string==zhiwei:
    
42.             zhiwei=url+each['href']
    
43.     soup=open_url(zhiwei)
    
44.     tager=soup.find('i',class_='total_page')
    
45.     yeshu=int(tager.string)
    
46.     cont=1   
    
47.     while 1:
    
48.         print('一共%d页当前第%d页'%(yeshu,cont))
    
49.         url='http://hshi.58.com/pugong/pn'+str(cont)+'/'
    
50.         getxinxi(url)
    
51.         page=input('按q上一页,按p下一页')
    
52.         if page=='p':
    
53.             if cont==yeshu:
    
54.                 print('已经是最后一页,没有下一页了')
    
55.             else:
    
56.                 cont+=1
    
57.         elif page=='q':
    
58.             if cont==1:
    
59.                 print('已经是第一页,没有上一页了')
    
60.             else:
    
61.                 cont-=1
    
62. if __name__=="__main__":
    
63.     main()

复制代码

程序是OK的,就那个问题没处理掉

最佳答案

月排行榜 / 总排行榜

chakyam

2018-2-24 18:42:05

小武design 发表于 2018-5-31 16:49
Traceback (most recent call last):
  File "C:/Users/昊/Desktop/58.py", line 1, in
    import requ ...

pip install requests

跳转到最佳答案楼层

chakyam

小武design 发表于 2018-5-31 16:49
Traceback (most recent call last):
  File "C:/Users/昊/Desktop/58.py", line 1, in
    import requ ...

pip install requests

waitforlove

只能输入城市

waitforlove

#coding: utf-8
import types

#获取字典中的objkey对应的值，适用于字典嵌套
#dict:字典
#objkey:目标key
#default:找不到时返回的默认值
def dict_get(dict, objkey, default):
    tmp = dict
    for k,v in tmp.items():
        if k == objkey:
            return v
        else:
            if type(v) is types.DictType:
                ret = dict_get(v, objkey, default)
                if ret is not default:
                    return ret
    return default

#如
dicttest={"result":{"code":"110002","msg":"设备设备序列号或验证码错误"}}
ret=dict_get(dicttest, 'msg', None)
print(ret)
自己找到方法了-_-

waitforlove

要鱼币的来吧，方法找到了

小武design

Traceback (most recent call last):
  File "C:/Users/昊/Desktop/58.py", line 1, in <module>
    import requests
ModuleNotFoundError: No module named 'requests'

小武design

我提示的这个是什么意思啊

小武design

chakyam 发表于 2018-5-31 19:25
pip install requests

不太懂