岗位职责：
1、负责设计、开发和维护高效、稳定的爬虫系统，从各种在线数据源中抓取和解析数据，以实现自动化数据采集和更新；
2、负责爬虫相关技术的研究和实现工作，比如APP破解、小程序破解、分布式爬虫、验证码破解、JS逆向反爬机制的研究等等；
3、精通各种爬虫框架和工具，如Scrapy、BeautifulSoup、Selenium等，能够根据需求灵活选择和使用，同时熟悉反爬虫机制的解决方案；
4、具备大规模分布式爬虫系统设计和开发经验，能够解决分布式爬虫中的挑战和问题，如任务调度、数据同步和去重等。


任职要求：
1.本科及以上学历，计算机科学等相关专业背景优先考虑；
2. 具备卓越的沟通和团队合作能力，能够与产品、运维等团队紧密合作，理解并满足业务需求，完成项目目标；
3. 对新技术和行业动态保持敏感，具备持续学习和创新的精神，能够应用新的爬虫技术和工具，推动技术的发展；
4.具备责任心和良好的团队协作精神，乐于沟通交流和分享，充满激情，乐于接受挑战。