19 lines
789 B
Markdown
19 lines
789 B
Markdown
|
### 设计思路
|
|||
|
|
前情提要：百度搜索的爬取处理逻辑和搜狗-微信公众号的逻辑基本一致，但是百度搜索杂系数太大，存在大量不相关内容，所以使用百度的一个参数进行调整。
|
|||
|
|
api地址：
|
|||
|
|
www.baidu.com/s?wd={关键词}&cl=3&pn=1&ie=utf-8&rn=20&tn=baidurt
|
|||
|
|
- wd={关键词}：设置查询关键词
|
|||
|
|
- cl=3：查询类型，3为网页，2为图片，默认为3
|
|||
|
|
- pn=1：指定查询页数
|
|||
|
|
- rn=20：每页显示数量
|
|||
|
|
- ie=utf-8：指定查询编码格式
|
|||
|
|
- tn=baidurt：设置为简化格式，爬虫友好化
|
|||
|
|
|
|||
|
|
### 速率限制
|
|||
|
|
建议设置高每页数量，减小搜索次数以规避反爬虫措施。
|
|||
|
|
|
|||
|
|
### 使用技术
|
|||
|
|
- python-bs4网页解析
|
|||
|
|
- python-sqlite联动
|
|||
|
|
- python-request爬虫
|
|||
|
|
- sqlite筛选
|