岗位职责： 1. 负责原有采集程序维护 2. 针对新的数据需求进行平**控调研以及采集策略制定 3. 能够完善现有采集系统，有进行数据可视化呈现的经验 4. 能够不断精进应对风控的采集技能。 岗位要求： 1. 熟悉python,js编程，熟悉安卓、ios开发流程更佳。 2. 有过硬的web端逆向能力，有过市面上常见的验证码对抗经验。 3. 掌握常见的python爬虫框架如scrapy等 4. 掌握常见的数据库（redis，mysql，hive，impala等） 3. 有国内电商相关数据采集经验，熟悉国内各电商平台业务逻辑。

岗位职责： 1. 负责爬虫业务线的开发迭代，完成多平台信息和页面内容、接口的抓取工作； 2. 负责信息数据的抽取、清洗、整理等工作； 3. 负责爬虫系统的优化，监控和报警，提高爬虫脚本的稳定性和抓取效率。 任职要求： 1. 本科及以上学历，2年以上独立Python爬虫开发经验； 2. 熟练使用bs、re、xpath、jsonpath等数据提取模块； 3. 熟悉 Scrapy、 selenium / pyppeteer 等常用爬虫框架，熟悉反爬策略与应对方案； 4. 熟悉Linux开发环境，熟悉 MySql / Mongodb / Redis的基本原理，有数据清洗经验的优先； 5. 有django、flask、tornado等web框架（之一即可）的使用经验，有web项目经验的优先； 6. 有良好的沟通能力、理解能力、细节把控能力、多任务并行处理能力； 7. 有责任心，能够积极主动的发现和解决问题，化解风险。 如果您成为我公司员工，您将获得： 薪资：中电博亚将为员工提供行业内有竞争力的薪酬，确保优秀员工获得更多的认可和激励； 奖金：优秀的您将共享公司的经营业绩，奖金额度与公司年度收益及个人绩效挂钩； 基本保障福利：公司按照国家规定为员工缴纳社会保险及公积金（五险一金）； 额外补充福利：餐补、车补等日常津贴，下午茶零食咖啡无限量供应； 休假：相对弹性工作制；每周双休；除国家规定的法定节假日外，将给予额外的带薪年假和带薪病假。 我们虽然独树一帜，却并不冰冷； 我们虽然行事严谨，却并不死板； 我们不害怕年轻，只害怕创意枯竭； 我们不害怕失败，只害怕止步不前； 我们喜欢朝气蓬勃的你，一起用对游戏的热爱一起创造辉煌； 我们喜欢无所畏惧的你，前人没有走过的路就让我们来开辟； 那个关于游戏的梦想，你还记得吗？ 我们期待你的加入！

职位职责： 1、为字节跳动抖音、电商等业务线的反爬效果和指标负责，解决业务痛点问题； 2、提升业务风险感知能力，结合具体场景，数据指标，主动发现问题并提出解决方案，对业务风控效果负责； 3、推动智能化产品落地，不断提升平台化能力，提高风控效率； 4、研究新的产品动向和前瞻探索，借鉴业界的新思路持续优化产品策略，使反爬处于行业领先水平。 职位要求： 1、本科及以上学历，责任心强，思维逻辑严谨，对数据敏感； 2、有大型互联网公司风控策略制定经验，从事过反爬虫、流量反作弊方向工作； 3、有互联网行业安全策略管理经验，包括但不限于风险发现、制定模型或策略、推动方案落地； 4、1年以上策略产品或数据分析工作经验；熟练掌握大数据分析工具使用，不限于sql/pyspark/flink等（加分项）； 5、具备攻防思维，熟练掌握常见的反爬虫技术和数据安全风险（加分项）。

1、负责爬取HTML页面所需数据，并对数据进行清洗、解析、归档、输出等； 2、负责设计和开发分布式的网络爬虫，数据的采集与爬取、调度、监控、自动化运行等； 3、负责实时监控爬虫的进度和警报反馈，提升爬虫系统稳定性、可扩展性。  4、负责js渲染抓取，反爬虫策略研究，验证码识别等采集支撑服务建设；  5、参与公司业务平台的数据的挖掘和分析，协助进行产品改进。 任职资格 1. 本科以上，计算机或相关专业毕业，扎实的Python基础，熟悉多线程编程环境，熟悉常见开源框架； 2、熟悉基于正则表达式、XPath、CssSelector、beautifulsoup等网页信息解析技术； 3、熟悉Scrapy、feapder等主流爬虫框架框架，能够解决封账号、封IP、验证码、网页限制爬取等问题，且有实际经验； 4、熟悉常见的反爬机制，并对反爬具有一定的应对措施策略且有一定研究，如协议破解、模拟点击等；  5、熟悉代理IP池、Headers认证和Cookie等；

Android/iOS逆向工程师（爬虫资深工程师） 职责描述： 1.负责主流APP(Android或iOS) 应用的逆向工作； 2.负责 APP 的数据获取链路策略制定与优化，包括 Android/iOS APP 反编译、脱壳、关键算法移植等； 3.负责手机群控采集数据; 4.负责解决各类APP端采集技术疑难问题，形成良好的研发氛围，提升团队整体技术水平； 5.负责APP采集新应用及新技术的研究，提升开发及采集效率、降低人力成本； 6.参与设计和开发APP数据的爬取、调度、监控、自动化运行等； 任职要求： 1.计算机相关专业本科及以上学历，3年及以上研发经验，代码风格良好。 2.精通APP逆向分析（android或者iOS任一平台），脱壳、反编译及参数加密破解，反调试；精通任一编程语言。 3.具备丰富的逆向工程经验，有成功逆向案例如头条、抖音、知乎、微信等；  4.熟悉抓包工具，加解密算法，反编译工具（xposed，frida，ida，jeb）等，掌握ARM汇编，smali字节码; 5.具有强烈的责任心，良好的沟通、学习能力，有较强的团队合作意识。 6.加分项：参与过大规模数据采集项目, 数据清洗，了解机器学习流程。

负责爬虫策略与方案制定，爬虫系统架构设计与开发； 负责网站、APP等大规模文本、图片数据抓取，爬虫核心算法优化，提升爬虫效率和质量； 进行多平台信息分析，参与企业数据建设。 任职要求： ***本科以上学历，3年以上开发经验（爬虫），计算机相关专业优先； 有过爬虫平台化建设经验（0-1） 优先； 至少熟悉并使用过一种主流爬虫架构，如Scrapy、Gocolly、Webmagic等；有分布式爬虫或熟悉app逆向、反编译经验者优先； 熟练掌握Python/Go/JavaScript等至少一种语言；熟练使用Go语言者优先； 熟悉HTTP、TCP等网络协议，精通httpClientjSoup/xpath/正则表达式/验证码加密处理/代理池等爬虫相关技术；掌握fiddler、charles等抓包工具； 熟悉Mysql、Nosal数据库设计，熟悉Redis技术和ElasticSearch;了解Hadoop、HBase、HDFS、Kafka等大数据相关知识。

福利方面: 一日三餐，无限饮料零食，OKR 主导，朝 10 晚 8，不卷不舔，15 薪； 1.公司 1.5 公里内租房每个月 1000 房补 2.免费 3 餐，贴心，不限量零食，咖啡，饮料；定期奶茶、水果捞、果切三选一 3.10 天年假起步，之后每年增长一天，入职立刻放出 5 天！每年 5 天带薪病假，带薪病假不需要开证明； 4.全额五险一金，年度体检，补充医疗，意外险，关心你的健康； 5.年底 13 薪，2.5 个月年终奖起步，上限不限 工作职责： 岗位职责 1. 遵循robots协议，爬取互联网上允许搜索爬虫采集的公开信息，参与爬虫系统的建设与优化 2. 负责分布式爬虫系统的建设，优化数据调度、抓取、解析、存储全栈流程 任职资格： 岗位要求 1. 熟悉主流爬取技术及爬虫框架工具，如Selenium/Puppeteer/Scrapy/PhantomJS等 2. 熟悉常见反爬封禁策略，并具备相关的实战经验 3. 熟悉逆向、混淆、脱壳、分布式、数据分析、数据挖掘等相关技术 4. 具备大规模全网内容分布式爬取的实战经验

职位描述： 1、参与爬虫项目的架构设计、研发、编程工作，改进和提升爬虫效率； 2、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量； 3、负责网页采集任务的分析及采集方案设计； 4、负责分布式爬虫策略持续优化。 任职要求： 1、熟悉Java、Python、Shell、R 等至少一门语言； 2、负责分析并采集网站数据，并按照要求对采集的数据进行整理； 3、具有较强的业务分析能力，较好的沟通表达和综合协调能力； 4、责任心强，有快速学习能力，对大数据方向感兴趣。 福利： 大数据行业 热门商圈 弹性工作 远程工作

一、任职要求（并不表示部分条件未达到则一定不会聘用）： 1.熟练使用Python标准库和流行的第三方库，精通Python语言； 2.熟悉以下主流服务器端开源系统或者其中一部分：Redis/MongoDB/RabbitMQ/Memcache/Nginx； 3.熟悉JAVA或想转型Python者优先； 4.熟悉RESTful web service规范、熟悉面向对象的设计思想； 5.熟悉mysql的各种存储引擎，熟悉索引工作原理，有丰富的mysql性能优化经验； 6.重视Code Review，知道良好的编程习惯的标准，对代码和设计质量有严格要求； 7.熟悉Tornado/Flask/Gevent/Django等常用开发框架，至少有其中一个的最佳实践或深入研究过其源码及机制； 二、岗位职责 1.开发自动点击谷歌浏览器插件按钮； 2.收集用户信息；

一、任职要求（并不表示部分条件未达到则一定不会聘用）： 1.熟练使用Python标准库和流行的第三方库，精通Python语言； 2.熟悉以下主流服务器端开源系统或者其中一部分：Redis/MongoDB/RabbitMQ/Memcache/Nginx； 3.熟悉JAVA或想转型Python者优先； 4.熟悉RESTful web service规范、熟悉面向对象的设计思想； 5.熟悉mysql的各种存储引擎，熟悉索引工作原理，有丰富的mysql性能优化经验； 6.重视Code Review，知道良好的编程习惯的标准，对代码和设计质量有严格要求； 7.熟悉Tornado/Flask/Gevent/Django等常用开发框架，至少有其中一个的最佳实践或深入研究过其源码及机制； 二、岗位职责 1.开发自动点击谷歌浏览器插件按钮； 2.收集用户信息；

岗位职责： 1、负责产品数据的抓取，并动态监控网站； 2、负责数据抓取的性能优化； 3、负责数据的规范化分析和开发工作。 任职要求： 1、2年及以上数据爬虫相关工作经验优先； 2、熟悉Django、Flask、WebPy、Tornado等其中一种； 3、熟悉Mysql、Redis、Mongo等常

岗位名称：爬虫工程师 岗位职责： 1、负责爬虫、逆向相关技术的研究和实现工作，比如APP逆向破解、小程序破解、分布式爬虫、验证码破解、反爬机制的研究等等。 2、设计爬虫策略和防屏蔽规则，提升抓取的效率和质量。 3、负责公司爬虫的核心算法以及策略优化，熟悉采集系统的调度策略。 4、负责现有部分爬虫的完善、维护工作，实时监控爬虫的进度和警报反馈，提升爬虫系统稳定性、可扩展性。 5、能独立解决实际开发过程碰到的各类问题。 任职要求： 1、本科及以上学历，计算机相关专业； 2、至少3年及以上爬虫逆向经验； 3、精通Python/Java语言至少一种，具有扎实的计算机基础和编程能力，熟悉常见的算法与数据结构，具有优秀的逻辑思维能力； 4、熟悉APP逆向、JS逆向、验证码破解、图像识别等技术; 5、熟悉常见的反爬机制，并对反爬具有一定的应对措施策略且有一定研究； 6、熟悉Mysql，redis，有过数据库调优和海量数据存储经验优先； 7、熟悉常用网络协议、数据存储和数据处理技术； 8、熟悉linux系统环境、命令，shell、python脚本编写； 9、有电商网站、电商APP采集经验优先； 10、对爬虫技术有专研精神；

大模型数据采集与使用工程师（3名，初级，11月底前入职） 职责： 1、负责设计和实施数据爬取方案，包括各种攻关如爬虫验证码破解、模拟登录、数据签名解签、请求包解析等； 2、负责数据存储、管理，包括mysql、pgsql、ES、hadoop/spark、arangodb等； 3、负责使用大模型为业务场景赋能，挖掘大模型的潜能，使用场景知识+大模型为业务提效； 职位要求： 1、具有爬虫工作经验，熟悉http请求、加密解密签名基础理论、用户授权等技术，有使用深度学习算法模型经验优先； 2、熟练掌握Python、SQL语言，掌握JAVA或GO是加分项； 3、有使用过大模型并对大模型的prompt有调优经验者优先； 4、具备良好的逻辑思维和问题分析解决能力； 5、具备良好的沟通和团队合作能力，能够与其他团队合作完成项目。

（该岗位为外包岗位，优秀者入职后可转为正式员工） 职责描述： 1、负责网络爬虫，数据采集清洗等研发工作 2、负责对爬虫平台架构进行改造和优化 3、定期爬取指定数据，为业务部门提供数据支持。 技能要求： 1、会JS补环境； 2、会训练及协议过国内主流厂家的滑块，图标/文字点选验证码； 3、会使用docker容器； 4、计算机相关专业本科以上学历； 5、熟练的编程能力，熟悉数据结构；熟悉计算机网络的基础理论； 6、熟练的Python编程基础，熟练使用scrapy或feapder等爬虫框架；熟悉分布式爬虫；熟悉XPath等常用页面解析技术； 7、熟悉puppeteer等自动化工具的使用； 8、熟悉postgresql，mongodb等关系型或非关系型数据库； 9、熟悉kafka、redis等消息中间件/缓存的使用优先考虑；

（一）岗位描述： 1、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析 2、负责信息抽取、数据清洗等研发和优化工作 3、负责抓取数据的深度提取和挖掘 4、参与爬虫核心算法的策略优化研究，提升网页抓取的效率和质量。 （二）任职要求： 1、熟悉linux平台开发，精通Python 2、精通网页、APP抓取原理及技术，精通正则表达式，从结构化的和非结构化的数据中获取信息 3、有分布式网络爬虫开发经验，熟悉Scrapy\PySpider等采集框架，掌握验证码识别技术、Ajax网页采集技术以及爬虫高并发技术，流式处理经验者优先； 4、熟悉Mysql，有过数据库调优和海量数据存储经验优先 5、学习能力强，有较好的沟通能力，能迅速融入团队