工作职责：
1.使用爬虫技术采集指定的互联网数据
2.对采集的数据进行清洗治理
3.根据项目需求导指定的项目数据
4.维护采集框架平台，维护采集脚本
5.根据公司内部的需求编写一些数据处理小工具

任职要求：
1.本科以上学历，3年以上相关工作经验；
2.计算机相关专业
3.精通Python语言，熟练掌握主流爬虫框架中的一种；熟悉常用的库requests/gevent等；
4.了解各种加密算法，能够独立解决js反爬和模拟登陆问题；
5.熟练掌握正则表达式、XPath、CSS等网页信息抽取技术；
6. 熟悉常见反爬机制，验证码识别，IP代理池、应用Ip池、headers认证和cookie等；
7. 熟练使用应用Selenium实施动态抓取；
8.熟悉熟练使用charles、fiddler等抓包工具者优先；
9. 熟悉数据清洗，能够用numpy、pandas、jieba等工具对数据进行处理者优先;
10.熟练使用sqlserver、mysql、mongodb、redis；
11.熟悉掌握rabbitMQ、kafka、spark 优先；
12.具有DBA工作经验者优先；
13.具有团队精神、积极的工作态度和对工作的责任心，有一定的稳定性。