岗位职责： 1. 负责爬虫业务线的开发迭代，完成多平台信息和页面内容、接口的抓取工作； 2. 负责信息数据的抽取、清洗、整理等工作； 3. 负责爬虫系统的优化，监控和报警，提高爬虫脚本的稳定性和抓取效率。 任职要求： 1. 本科及以上学历，2年以上独立Python爬虫开发经验； 2. 熟练使用bs、re、xpath、jsonpath等数据提取模块； 3. 熟悉 Scrapy、 selenium / pyppeteer 等常用爬虫框架，熟悉反爬策略与应对方案； 4. 熟悉Linux开发环境，熟悉 MySql / Mongodb / Redis的基本原理，有数据清洗经验的优先； 5. 有django、flask、tornado等web框架（之一即可）的使用经验，有web项目经验的优先； 6. 有良好的沟通能力、理解能力、细节把控能力、多任务并行处理能力； 7. 有责任心，能够积极主动的发现和解决问题，化解风险。 如果您成为我公司员工，您将获得： 薪资：中电博亚将为员工提供行业内有竞争力的薪酬，确保优秀员工获得更多的认可和激励； 奖金：优秀的您将共享公司的经营业绩，奖金额度与公司年度收益及个人绩效挂钩； 基本保障福利：公司按照国家规定为员工缴纳社会保险及公积金（五险一金）； 额外补充福利：餐补、车补等日常津贴，下午茶零食咖啡无限量供应； 休假：相对弹性工作制；每周双休；除国家规定的法定节假日外，将给予额外的带薪年假和带薪病假。 我们虽然独树一帜，却并不冰冷； 我们虽然行事严谨，却并不死板； 我们不害怕年轻，只害怕创意枯竭； 我们不害怕失败，只害怕止步不前； 我们喜欢朝气蓬勃的你，一起用对游戏的热爱一起创造辉煌； 我们喜欢无所畏惧的你，前人没有走过的路就让我们来开辟； 那个关于游戏的梦想，你还记得吗？ 我们期待你的加入！

1、负责爬取HTML页面所需数据，并对数据进行清洗、解析、归档、输出等； 2、负责设计和开发分布式的网络爬虫，数据的采集与爬取、调度、监控、自动化运行等； 3、负责实时监控爬虫的进度和警报反馈，提升爬虫系统稳定性、可扩展性。  4、负责js渲染抓取，反爬虫策略研究，验证码识别等采集支撑服务建设；  5、参与公司业务平台的数据的挖掘和分析，协助进行产品改进。 任职资格 1. 本科以上，计算机或相关专业毕业，扎实的Python基础，熟悉多线程编程环境，熟悉常见开源框架； 2、熟悉基于正则表达式、XPath、CssSelector、beautifulsoup等网页信息解析技术； 3、熟悉Scrapy、feapder等主流爬虫框架框架，能够解决封账号、封IP、验证码、网页限制爬取等问题，且有实际经验； 4、熟悉常见的反爬机制，并对反爬具有一定的应对措施策略且有一定研究，如协议破解、模拟点击等；  5、熟悉代理IP池、Headers认证和Cookie等；

岗位职责： 1.负责复杂网站的数据抓取和交互模拟； 2.通过各种渠道或方式对目标网站数据进行高效率抓取； 3.设计爬取、调度和抽取算法、优化采集系统； 4.负责抓取数据的深度提取和挖掘，进行加工处理； 5.数据文档的撰写与更新。 任职要求： 1.专科及以上学历，计算机相关专业,2年以上开发经验； 2.掌握java或python开发语言，熟悉Linux系统； 3.较强的网站分析能力，熟知各种反爬措施及相关解决方式； 4.熟练使用MySQL、MongoDB等数据库； 5.熟知HTTP、TCP、Socker等底层知识； 6.熟知Fidder、Wireshark等抓包工具。

1、负责设计和开发分布式网络爬虫系统，进行数据抓取和分析； 2、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量； 3、参与分布式爬虫和数据采集系统的架构设计和开发，快速响应业务变动； 4、负责网络数据抓取规划、定期爬取指定网站的数据； 5、参与数据层建设，专注于垂直领域数据爬取，进行多平台信息的抓取和分析； 6、实现数据提取、清洗、结构化、入库、统计分析等需求； 7、研究优化算法，提升爬虫系统的稳定性、可扩展性。 任职要求： 1、熟悉Python和常用的开源库，熟练使用Django/Flask等至少一种主流的web开发框架； 2、熟悉Mysql，mongoDB， Redis，Es，队列等数据库的使用和优化； 3、对进程、线程、协程、异步、非阻塞有一定了解和使用 4、对linux系统基础知识及原理了解较深入的,如linux软中断硬中断,服务器安全等 5、熟悉爬虫主流框架Scrapy、requests、Selenium、gocolly，webmagic等框架（深入了解其中一种）。 6、对相关算法有一定了解; 7、有大型项目管理经验优先。 8、熟悉应用IP代理池、Headers认证和Cookie等； 9、有分布式爬虫、反爬机制经验者优先 10、熟悉js逆向，js破解优先考虑 11、有参与实时监控爬虫的进度和警报反馈系统的优先考虑,如Prometheus+zabbix+granafa等服务器相关爬虫监控检测体系 12、有高可用分布式集群项目设计、开发经验,优先考虑,如K8S,docker,keepalived等 13、有多种语言,如GO、Python、Rust、php可作为加分项 14、有训练过自己的模型可作为加分项 15、github或者码云有相关开源项目可作为加分项

一、任职要求（并不表示部分条件未达到则一定不会聘用）： 1.熟练使用Python标准库和流行的第三方库，精通Python语言； 2.熟悉以下主流服务器端开源系统或者其中一部分：Redis/MongoDB/RabbitMQ/Memcache/Nginx； 3.熟悉JAVA或想转型Python者优先； 4.熟悉RESTful web service规范、熟悉面向对象的设计思想； 5.熟悉mysql的各种存储引擎，熟悉索引工作原理，有丰富的mysql性能优化经验； 6.重视Code Review，知道良好的编程习惯的标准，对代码和设计质量有严格要求； 7.熟悉Tornado/Flask/Gevent/Django等常用开发框架，至少有其中一个的最佳实践或深入研究过其源码及机制； 二、岗位职责 1.开发自动点击谷歌浏览器插件按钮； 2.收集用户信息；

岗位名称：爬虫工程师 岗位职责： 1、负责爬虫、逆向相关技术的研究和实现工作，比如APP逆向破解、小程序破解、分布式爬虫、验证码破解、反爬机制的研究等等。 2、设计爬虫策略和防屏蔽规则，提升抓取的效率和质量。 3、负责公司爬虫的核心算法以及策略优化，熟悉采集系统的调度策略。 4、负责现有部分爬虫的完善、维护工作，实时监控爬虫的进度和警报反馈，提升爬虫系统稳定性、可扩展性。 5、能独立解决实际开发过程碰到的各类问题。 任职要求： 1、本科及以上学历，计算机相关专业； 2、至少3年及以上爬虫逆向经验； 3、精通Python/Java语言至少一种，具有扎实的计算机基础和编程能力，熟悉常见的算法与数据结构，具有优秀的逻辑思维能力； 4、熟悉APP逆向、JS逆向、验证码破解、图像识别等技术; 5、熟悉常见的反爬机制，并对反爬具有一定的应对措施策略且有一定研究； 6、熟悉Mysql，redis，有过数据库调优和海量数据存储经验优先； 7、熟悉常用网络协议、数据存储和数据处理技术； 8、熟悉linux系统环境、命令，shell、python脚本编写； 9、有电商网站、电商APP采集经验优先； 10、对爬虫技术有专研精神；

（一）岗位描述： 1、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析 2、负责信息抽取、数据清洗等研发和优化工作 3、负责抓取数据的深度提取和挖掘 4、参与爬虫核心算法的策略优化研究，提升网页抓取的效率和质量。 （二）任职要求： 1、熟悉linux平台开发，精通Python 2、精通网页、APP抓取原理及技术，精通正则表达式，从结构化的和非结构化的数据中获取信息 3、有分布式网络爬虫开发经验，熟悉Scrapy\PySpider等采集框架，掌握验证码识别技术、Ajax网页采集技术以及爬虫高并发技术，流式处理经验者优先； 4、熟悉Mysql，有过数据库调优和海量数据存储经验优先 5、学习能力强，有较好的沟通能力，能迅速融入团队

工作职责： 1.负责规划、设计和开发爬虫相关系统，进行多平台多终端信息的抓取和分析。 2.基于抓取系统的数据抓取、清洗等设计开发。 3.配合业务线，完成实时数据与离线数据的爬取与对接。 任职要求： 1.精通Python语言\MYSQL，熟练使用常用模块，使用过Flask web框架； 2.能够解决封账号、封IP采集等问题，解决网页抓取、信息抽取等问题 3.熟悉爬虫工作原理，深入了HTTP协议内容 4.至少了解一种主流爬虫框架的架构及原理，有具体工程经验，如 scrapy / pyspider等 5.了解基于Cookie的登录原理，熟悉常用的信息抽取技术，如正则表达式、XPath等 6.对常见各类反爬方式（如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等）有一定解决经验

岗位职责： 1、负责设计和开发分布式网络采集系统，各个渠道的财经信息，包括web端和app端的数据抓取和分析； 2、设计爬虫策略和防屏蔽规则，提升抓取的效率和质量； 3、负责爬虫逻辑的开发，快速响应业务变动。 岗位要求： 1、具有3年以上爬虫开发经验，熟悉常用的爬虫框架； 2、对模拟请求、浏览器模拟、人机对抗、App逆向、ast解混淆等采集方案有深入研究； 3、对大数据体系有了解，有采集量较大的爬虫项目经验优先； 4、对数据结构和算法设计有较为深刻的理解，具有良好的沟通能力和团队合作意识; 5、拥抱新技术，有很强的学习能力； 加分项： 1、有风控对抗经验者优先 2、还原过vmp算法的优先 公司福利： 1、周末双休，国家法定节假日休假，员工带薪年假； 2、试用期开始购买五险一金； 3、公司提供午餐补贴； 4、茶水间饮料零食；节日福利，生日福利； 5、个人评优奖； 6、公司年会活动，抽奖礼物等。

岗位职责： 1. 需要保证每天获取的总数居量的获取 2. 负责js逆向，能够在网站更新时，及时更新（极验，rs等）

工作内容： 1. 负责数据抓取平台规划和建设，完成数据采集与爬取、解析处理和入库； 2. 负责用python语言实现产品的后端研发； 3. 负责高质量的设计和编码； 4. 承担重难点技术攻坚任务； 5. 参与产品的讨论和开发实现； 岗位要求： 1. 二年以上工作经验良好的计算机基础知识，熟悉常用的数据结构和算法; 2. 能运用python进行各类数据处理，熟悉pandas、numpy等常用python数据处理包，有机器学习相关经验优先; 3. 熟悉python后台开发，有完整的项目开发经验，熟练使用Django或flask框架, 熟悉Restful设计规范； 4. 熟悉Windows及Linux下python的安装、部署及调试以及Docker部署; 5. 熟悉MySQL、SQL 和主流NoSQL数据库 6. 对项目安全性问题和并发问题有一定理解和相应的解决方法 7. 有良好的沟通能力，团队协作能力，对新技术敏感，有良好的代码习惯，结构清晰，命名规范，熟悉设计模式，随时贯彻最优开发思想。

（该岗位为外包岗位，优秀者入职后可转为正式员工） 职责描述： 1、负责网络爬虫，数据采集清洗等研发工作 2、负责对爬虫平台架构进行改造和优化 3、定期爬取指定数据，为业务部门提供数据支持。 技能要求： 1、会JS补环境； 2、会训练及协议过国内主流厂家的滑块，图标/文字点选验证码； 3、会使用docker容器； 4、计算机相关专业本科以上学历； 5、熟练的编程能力，熟悉数据结构；熟悉计算机网络的基础理论； 6、熟练的Python编程基础，熟练使用scrapy或feapder等爬虫框架；熟悉分布式爬虫；熟悉XPath等常用页面解析技术； 7、熟悉puppeteer等自动化工具的使用； 8、熟悉postgresql，mongodb等关系型或非关系型数据库； 9、熟悉kafka、redis等消息中间件/缓存的使用优先考虑；

公司简介： 我们是一家从事数据采集、逆向工程、数据分析、数学建模、机器学习、深度学习、图像识别、自然语言、仿真优化、问卷分析、医学统计、金融建模、实证分析、软件程序、系统定制、文献复现等业务的科技服务商。为广大科研人员、职场人士、在校学生提供个性化定制服务。现因业务增加, 需要招聘项目制工程师若干，工程师远程办公，自由承接项目，薪资范围约为时薪200元，日薪600元，周薪4000元，月薪10000-20000元，具体与承接的项目有关。 招聘需求： 爬虫工程师 岗位职责：采集客户指定的网页/app/小程序/公众号等公开可见数据，编写客户指定的采集程序、源代码。 岗位要求：熟悉常见反爬封禁策略，并具备相关的实战经验，具有js逆向、app逆向、混淆、脱壳等应对能力。

福利待遇：15薪+免费三餐+住房补贴+员工期权+上下班不打卡 面试形式：线上视频面试，2-3轮技术面试+一轮HR面试 需求城市：北京、杭州、广州、珠海、深圳 可以年后入职 职位描述 1、遵循robots协议，爬取互联网上允许搜索爬虫采集的公开信息，参与爬虫系统的建设与优化，满足各类业务数据需求； 2、负责分布式爬虫系统的建设，优化数据调度、抓取、解析、存储全栈流程； 3、帮助团队攻克各种爬虫技术难关，提升海量数据系统的抓取效果与性能。 任职要求 1、本科及以上学历，2年以上爬虫抓取采集相关工作经验； 2、熟悉主流爬取技术及爬虫框架工具，如Selenium/Puppeteer/Scrapy/PhantomJS等； 3、熟悉Python/Java/Go/C++其中一种语言，具备扎实的编码能力； 4、熟悉常见反爬封禁策略，并具备相关的实战经验； 5、加分项：逆向、混淆、脱壳、分布式、数据分析、数据挖掘。

职位描述: 1. 负责爬虫系统的架构设计,功能开发,日常维护; 2. 负责第三方数据集成系统的日常维护; 职位要求: 1. 本科以上学历,3年以上开发经验,其中1年以上爬虫开发经验; 2. 熟悉Linux,精通Python; 3. 熟悉http协议,有网络编程经验; 4. 熟悉Javascript,html,css; 5. 精通网页抓取原理和相关技术,精通正则表达式,xpath,css selector,熟悉Scrapy框架的 使用; 6. 熟悉面向对象编程; 7. 具有良好的沟通能力,团队合作精神; 8. 学习能力强,工作负责认真，有AI人工智能相关经验者优先。