Python Scrapy练习-爬取山东毕业生网站公开信息

目标站点:http://www.sdbys.cn/

代码已托管至github:https://github.com/rilego/sdbys_scrapy

参考文章

卧槽哥的Scrapy教程 http://cuiqingcai.com/3472.html

版本信息

PyCharm Community Edition 2017.2.3

准备工作

  • 安装Scrapy

在cmd中执行:conda install Scrapy 没权限请用管理员

  • 安装一个Python操作MySQL的包,来自MySQL官方的一个包:点我下载

下载完成后解压出来,从CMD进入该目录的绝对路径,然后 Python setup.py install ;即可完成安装

数据库信息

MySQL 5.5.4

表结构

How to start

请修改 sdbys/spiders/sdbys.py 第16行 为开始与结束页数

运行entrypoint.py开使爬取

Python Scrapy练习-爬取山东毕业生网站公开信息

转载请注明原作者,如果你觉得文章对你有帮助或启发,也可以来请我喝咖啡

点赞

  1. 老威SEO说道:

    [/强]

发表评论

电子邮件地址不会被公开。 必填项已用*标注