项眼前载地址：
https://github.com/Kevin-zhou/AI.git
1 数据源知乎 话题『美女』下所有问题中回答所涌现的图片
2 抓取工具Python
3，并利用第三方库 Requests、lxml、AipFace，代码共 100 + 行3 必要环境Mac / Linux / Windows （后两个没测，理论上可以，把稳文件名的处理），无需登录知乎（即无需供应知乎帐号密码），人脸检测做事须要一个百度云帐号（即百度网盘帐号）
4 人脸检测库AipFace，由百度云 AI 开放平台供应，是一个可以进行人脸检测的 Python SDK。可以直接通过 HTTP 访问，
5 检测过滤条件过滤所有未涌现人脸图片（比如风景图、未露脸身材照等）过滤所有非女性（在抓取中，创造知乎男性图片基本是明星，故不考虑；存在 AipFace 性别识别不准的情形）过滤所有非真实人物，比如动漫人物 （AipFace Human 置信度小于 0.6）过滤所有颜值评分较低图片（AipFace beauty 属性小于 45，为了节省存储空间；再次声明，AipFace 评分无任何客不雅观性）
6 实现逻辑通过 Requests 发起 HTTP 要求，获取『美女』下的部分谈论列表通过 lxml 解析抓取到的每个谈论中 HTML，获取个中所有的 img 标签相应的 src 属性通过 Requests 发起 HTTP 要求，下载 src 属性指向图片（不考虑动图）通过 AipFace 要求对图片进行人脸检测判断是否检测到人脸，并利用 『4 检测过滤条件』过滤将过滤后的图片持久化到本地文件系统，文件名为 颜值 + 作者 + 问题名 + 序号返回第一步，连续
7 抓取结果 直接存放在文件夹中
8 运行准备
安装 Python 3，Download Python
安装 requests、lxml、 baidu-aip 库，都可以通过 pip 安装，一行命令
申请百度云检测做事，免费。人脸识别-百度AI
核心代码：
# http://code.py40.com/42.html
2
3 import re
4 import os
5 import requests
6 import time
7
8 global PhotoNum
9 PhotoNum = 0
10 PWD = \"大众E:/Python/ai2018-3-12/huaban/\"大众
11 head = {'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
12 TimeOut = 30
13
14 url = \"大众http://huaban.com/favorite/beauty/\公众
15 url_image = \公众http://hbimg.b0.upaiyun.com/\"大众
16 urlNext = \公众http://huaban.com/favorite/beauty/?iqkxaeyv&limit=20&wfl=1&max=\"大众
17
18
19 def downfile(file, url):
20 print(\"大众开始下载：\"大众, file, url)
21 try:
22 r = requests.get(url, stream=True)
23 with open(file, 'wb') as fd:
24 for chunk in r.iter_content():
25 fd.write(chunk)
26 except Exception as e:
27 print(\公众下载失落败了\"大众, e)
28
29
30 def requestpageText(url):
31 try:
32 Page = requests.session().get(url, headers=head, timeout=TimeOut)
33 Page.encoding = \"大众utf-8\"大众
34 return Page.text
35 except Exception as e:
36 print(\"大众联网失落败了...重试中\"大众, e)
37 time.sleep(5)
38 print(\公众停息结束\"大众)
39 requestpageText(url)
40
41
42 def requestUrl(url):
43 global PhotoNum
44 print(\公众\"大众)
45 print(\"大众要求网址：\"大众, url)
46 text = requestpageText(url)
47 pattern = re.compile('{\"大众pin_id\"大众:(\d?),.?\"大众key\公众:\公众(.?)\公众,.?\公众like_count\公众:(\d?),.?\"大众repin_count\"大众:(\d?),.?}', re.S)
48 items = re.findall(pattern, text)
49 print(items)
50 max_pin_id = 0
51 for item in items:
52 max_pin_id = item[0]
53 x_key = item[1]
54 x_like_count = int(item[2])
55 x_repin_count = int(item[3])
56 if (x_repin_count > 10 and x_like_count > 10) or x_repin_count > 100 or x_like_count > 20:
57 print(\公众开始下载第{0}张图片\"大众.format(PhotoNum))
58 url_item = url_image + x_key
59 filename = PWD + str(max_pin_id) + \"大众.jpg\公众
60 if os.path.isfile(filename):
61 print(\"大众文件存在：\"大众, filename)
62 continue
63
64 downfile(filename, url_item)
65 PhotoNum += 1
66 requestUrl(urlNext + max_pin_id)
67
68
69 if not os.path.exists(PWD):
70 os.makedirs(PWD)
71 requestUrl(url)