**岗位职责：**
1. 参与公司数据采集系统的设计与开发，负责网页/APP数据的爬取、清洗和存储。
2. 根据业务需求，编写高效、稳定的爬虫程序，解决反爬机制（如验证码、IP封禁等）。
3. 维护和优化现有爬虫系统，提升爬取效率及数据质量。
4. 协助团队完成数据分析和处理任务，支持业务部门的数据需求。

**必备技能：**
1. 至少掌握python或java其中一种语言开发。
2. 掌握HTTP/HTTPS协议、HTML/DOM结构、XPath/正则表达式等数据提取技术。
3. 了解JavaScript的使用
4. 了解安卓开发流程
5. 了解常见反爬策略（如User-Agent、代理IP、Cookie等）及应对方案。
6. 熟悉数据库（MySQL/MongoDB/Redis等）的基本操作。
7. 具备良好的逻辑思维能力和学习能力，能独立解决问题。

**加分项：**
1. 有过逆向复杂加密的经验
2. 了解市面上主流的风控对抗
3. 有数据清洗、ETL或数据分析经验。
4. 了解其他领域的开发，包括但不限于安卓开发，漏洞挖掘，区块链开发，黑白盒测试等。