职位职责： 1、为字节跳动抖音、电商等业务线的反爬效果和指标负责，解决业务痛点问题； 2、提升业务风险感知能力，结合具体场景，数据指标，主动发现问题并提出解决方案，对业务风控效果负责； 3、推动智能化产品落地，不断提升平台化能力，提高风控效率； 4、研究新的产品动向和前瞻探索，借鉴业界的新思路持续优化产品策略，使反爬处于行业领先水平。 职位要求： 1、本科及以上学历，责任心强，思维逻辑严谨，对数据敏感； 2、有大型互联网公司风控策略制定经验，从事过反爬虫、流量反作弊方向工作； 3、有互联网行业安全策略管理经验，包括但不限于风险发现、制定模型或策略、推动方案落地； 4、1年以上策略产品或数据分析工作经验；熟练掌握大数据分析工具使用，不限于sql/pyspark/flink等（加分项）； 5、具备攻防思维，熟练掌握常见的反爬虫技术和数据安全风险（加分项）。

岗位职责： 1. 负责爬虫业务线的开发迭代，完成多平台信息和页面内容、接口的抓取工作； 2. 负责信息数据的抽取、清洗、整理等工作； 3. 负责爬虫系统的优化，监控和报警，提高爬虫脚本的稳定性和抓取效率。 任职要求： 1. 本科及以上学历，2年以上独立Python爬虫开发经验； 2. 熟练使用bs、re、xpath、jsonpath等数据提取模块； 3. 熟悉 Scrapy、 selenium / pyppeteer 等常用爬虫框架，熟悉反爬策略与应对方案； 4. 熟悉Linux开发环境，熟悉 MySql / Mongodb / Redis的基本原理，有数据清洗经验的优先； 5. 有django、flask、tornado等web框架（之一即可）的使用经验，有web项目经验的优先； 6. 有良好的沟通能力、理解能力、细节把控能力、多任务并行处理能力； 7. 有责任心，能够积极主动的发现和解决问题，化解风险。 如果您成为我公司员工，您将获得： 薪资：中电博亚将为员工提供行业内有竞争力的薪酬，确保优秀员工获得更多的认可和激励； 奖金：优秀的您将共享公司的经营业绩，奖金额度与公司年度收益及个人绩效挂钩； 基本保障福利：公司按照国家规定为员工缴纳社会保险及公积金（五险一金）； 额外补充福利：餐补、车补等日常津贴，下午茶零食咖啡无限量供应； 休假：相对弹性工作制；每周双休；除国家规定的法定节假日外，将给予额外的带薪年假和带薪病假。 我们虽然独树一帜，却并不冰冷； 我们虽然行事严谨，却并不死板； 我们不害怕年轻，只害怕创意枯竭； 我们不害怕失败，只害怕止步不前； 我们喜欢朝气蓬勃的你，一起用对游戏的热爱一起创造辉煌； 我们喜欢无所畏惧的你，前人没有走过的路就让我们来开辟； 那个关于游戏的梦想，你还记得吗？ 我们期待你的加入！

岗位职责： 1. 负责原有采集程序维护 2. 针对新的数据需求进行平**控调研以及采集策略制定 3. 能够完善现有采集系统，有进行数据可视化呈现的经验 4. 能够不断精进应对风控的采集技能。 岗位要求： 1. 熟悉python,js编程，熟悉安卓、ios开发流程更佳。 2. 有过硬的web端逆向能力，有过市面上常见的验证码对抗经验。 3. 掌握常见的python爬虫框架如scrapy等 4. 掌握常见的数据库（redis，mysql，hive，impala等） 3. 有国内电商相关数据采集经验，熟悉国内各电商平台业务逻辑。

1、负责爬取HTML页面所需数据，并对数据进行清洗、解析、归档、输出等； 2、负责设计和开发分布式的网络爬虫，数据的采集与爬取、调度、监控、自动化运行等； 3、负责实时监控爬虫的进度和警报反馈，提升爬虫系统稳定性、可扩展性。  4、负责js渲染抓取，反爬虫策略研究，验证码识别等采集支撑服务建设；  5、参与公司业务平台的数据的挖掘和分析，协助进行产品改进。 任职资格 1. 本科以上，计算机或相关专业毕业，扎实的Python基础，熟悉多线程编程环境，熟悉常见开源框架； 2、熟悉基于正则表达式、XPath、CssSelector、beautifulsoup等网页信息解析技术； 3、熟悉Scrapy、feapder等主流爬虫框架框架，能够解决封账号、封IP、验证码、网页限制爬取等问题，且有实际经验； 4、熟悉常见的反爬机制，并对反爬具有一定的应对措施策略且有一定研究，如协议破解、模拟点击等；  5、熟悉代理IP池、Headers认证和Cookie等；

一、任职要求（并不表示部分条件未达到则一定不会聘用）： 1.熟练使用Python标准库和流行的第三方库，精通Python语言； 2.熟悉以下主流服务器端开源系统或者其中一部分：Redis/MongoDB/RabbitMQ/Memcache/Nginx； 3.熟悉JAVA或想转型Python者优先； 4.熟悉RESTful web service规范、熟悉面向对象的设计思想； 5.熟悉mysql的各种存储引擎，熟悉索引工作原理，有丰富的mysql性能优化经验； 6.重视Code Review，知道良好的编程习惯的标准，对代码和设计质量有严格要求； 7.熟悉Tornado/Flask/Gevent/Django等常用开发框架，至少有其中一个的最佳实践或深入研究过其源码及机制； 二、岗位职责 1.开发自动点击谷歌浏览器插件按钮； 2.收集用户信息；

一、任职要求（并不表示部分条件未达到则一定不会聘用）： 1.熟练使用Python标准库和流行的第三方库，精通Python语言； 2.熟悉以下主流服务器端开源系统或者其中一部分：Redis/MongoDB/RabbitMQ/Memcache/Nginx； 3.熟悉JAVA或想转型Python者优先； 4.熟悉RESTful web service规范、熟悉面向对象的设计思想； 5.熟悉mysql的各种存储引擎，熟悉索引工作原理，有丰富的mysql性能优化经验； 6.重视Code Review，知道良好的编程习惯的标准，对代码和设计质量有严格要求； 7.熟悉Tornado/Flask/Gevent/Django等常用开发框架，至少有其中一个的最佳实践或深入研究过其源码及机制； 二、岗位职责 1.开发自动点击谷歌浏览器插件按钮； 2.收集用户信息；

数据爬虫工程师 15K---20K 板块：爬虫、开发 岗位职责： 1. 负责业务需求的数据采集与爬取、解析处理、入库及备份等数据工作； 2. 研究Web、APP反爬策略，攻克技术难点，破解反爬机制，优化爬虫路由调度策略，同时负责反爬策略的设计及优化； 3. 负责爬虫核心算法的策略优化研究，提升爬虫抓取效率和质量，提升网页抓取的效率和质量； 4. 设计爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、JS加密等难点攻克； 5. 对抓取后的网页数据进行清洗、预处理，包括去除重复内容、填充缺失值、处理异常值等； 6. 建立与维护本地数据库， 任职条件: 1. 2年及以上的网络爬虫开发经验，有web端和app端数据抓取能力，熟悉两端的数据抓取方法，计算机相关专业背景； 2. 熟悉分布式网络爬虫开发；熟悉HTTP协议, xpath，css选择器等； 3. 熟悉网页抓取原理及技术，熟悉正则表达式，从结构化的和非结构化的数据中获取信息；熟悉javascript, 网站加密逆向；能处理各种javascript加密破解； 4. 有Scrapy redis spider分布式抓取系统的开发、架构经验，至少熟悉并使用过一种主流爬虫架构，熟练编写scrapy中间件； 5. 具有丰富的反反爬经验，包括图形验证码、滑块验证码、代理IP、JS加密、so签名等； 6. 熟悉mysql、redis、kafka等数据库缓存中间件； 7. 优秀的学习能力与工作规划能力； 8. 良好工作习惯与团队合作精神，能够在跨学科环境中有效沟通。

岗位职责 1. 对接运营部门，按时保量完成国外各类电商网站和App端数据抓取、清洗，结构化，入库等数据处理工作 2. 负责公司旗下产品的全新需求开发 3. 设计开发可复用模块，提高开发效率节省维护成本 4. 完成相关技术文档的编写及整理工作 岗位要求 1. 3年及以上工作经验，计算机相关专业，本科以上学历，条件优秀者可放宽至大专 2. 熟练掌握 Python/Golang等语言 3. 熟悉爬虫原理,常见的反爬虫技术以及常用开源虫框架,如 scrapy/ spider 4. 了解基于 Cookie的登录原理,熟悉常用的信息抽取技术,如正则表达式、 XPath 5. 熟悉 Linux系统,熟悉Mysql、 Redis等数据库 6. 熟悉Internet基本协议(如TCP/P,HTTP等);烹悉html、dom、 xpath等常见的数据抽取技术 7. 能够解决封账号、封iP采集等问题,解决数据抓取、信息抽取等问题,构建完善的网络信息收集 福利介绍 1、优厚的薪酬，超额财年奖金 2、公平公正的绩效考核 3、五险一金（入职即开始缴纳） 4、个人商业保险（公司缴纳） 5、周末双休，其他节假日按照国家规定执行 6、带薪年假，随着工龄增加而相应调整 7、简单澄澈的工作环境，无间合作的团队氛围 8、明确清晰的晋升通道，清晰的发展路径及广阔的发展平台 9、专业、系统、全面、完善的培训体系 10、提供员工生活福利：每月中餐补贴、每月生日Party福利等 11、员工身心保障福利：公费旅游、主题聚餐、季度全员活动等 12、节假日福利：妇女节、端午、中秋、春节等惊喜连连 招贤纳士人才理念： 进取、创新、诚信、敬业、尊重、责任 公司目前处于高速发展的阶段，期待有志之士加盟，一起成长，携手共进！

大模型数据采集与使用工程师（3名，初级，11月底前入职） 职责： 1、负责设计和实施数据爬取方案，包括各种攻关如爬虫验证码破解、模拟登录、数据签名解签、请求包解析等； 2、负责数据存储、管理，包括mysql、pgsql、ES、hadoop/spark、arangodb等； 3、负责使用大模型为业务场景赋能，挖掘大模型的潜能，使用场景知识+大模型为业务提效； 职位要求： 1、具有爬虫工作经验，熟悉http请求、加密解密签名基础理论、用户授权等技术，有使用深度学习算法模型经验优先； 2、熟练掌握Python、SQL语言，掌握JAVA或GO是加分项； 3、有使用过大模型并对大模型的prompt有调优经验者优先； 4、具备良好的逻辑思维和问题分析解决能力； 5、具备良好的沟通和团队合作能力，能够与其他团队合作完成项目。

（该岗位为外包岗位，优秀者入职后可转为正式员工） 职责描述： 1、负责网络爬虫，数据采集清洗等研发工作 2、负责对爬虫平台架构进行改造和优化 3、定期爬取指定数据，为业务部门提供数据支持。 技能要求： 1、会JS补环境； 2、会训练及协议过国内主流厂家的滑块，图标/文字点选验证码； 3、会使用docker容器； 4、计算机相关专业本科以上学历； 5、熟练的编程能力，熟悉数据结构；熟悉计算机网络的基础理论； 6、熟练的Python编程基础，熟练使用scrapy或feapder等爬虫框架；熟悉分布式爬虫；熟悉XPath等常用页面解析技术； 7、熟悉puppeteer等自动化工具的使用； 8、熟悉postgresql，mongodb等关系型或非关系型数据库； 9、熟悉kafka、redis等消息中间件/缓存的使用优先考虑；

职位描述： 1、参与爬虫项目的架构设计、研发、编程工作，改进和提升爬虫效率； 2、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量； 3、负责网页采集任务的分析及采集方案设计； 4、负责分布式爬虫策略持续优化。 任职要求： 1、熟悉Java、Python、Shell、R 等至少一门语言； 2、负责分析并采集网站数据，并按照要求对采集的数据进行整理； 3、具有较强的业务分析能力，较好的沟通表达和综合协调能力； 4、责任心强，有快速学习能力，对大数据方向感兴趣。 福利： 大数据行业 热门商圈 弹性工作 远程工作

岗位职责： 1、负责产品数据的抓取，并动态监控网站； 2、负责数据抓取的性能优化； 3、负责数据的规范化分析和开发工作。 任职要求： 1、2年及以上数据爬虫相关工作经验优先； 2、熟悉Django、Flask、WebPy、Tornado等其中一种； 3、熟悉Mysql、Redis、Mongo等常

岗位名称：爬虫工程师 岗位职责： 1、负责爬虫、逆向相关技术的研究和实现工作，比如APP逆向破解、小程序破解、分布式爬虫、验证码破解、反爬机制的研究等等。 2、设计爬虫策略和防屏蔽规则，提升抓取的效率和质量。 3、负责公司爬虫的核心算法以及策略优化，熟悉采集系统的调度策略。 4、负责现有部分爬虫的完善、维护工作，实时监控爬虫的进度和警报反馈，提升爬虫系统稳定性、可扩展性。 5、能独立解决实际开发过程碰到的各类问题。 任职要求： 1、本科及以上学历，计算机相关专业； 2、至少3年及以上爬虫逆向经验； 3、精通Python/Java语言至少一种，具有扎实的计算机基础和编程能力，熟悉常见的算法与数据结构，具有优秀的逻辑思维能力； 4、熟悉APP逆向、JS逆向、验证码破解、图像识别等技术; 5、熟悉常见的反爬机制，并对反爬具有一定的应对措施策略且有一定研究； 6、熟悉Mysql，redis，有过数据库调优和海量数据存储经验优先； 7、熟悉常用网络协议、数据存储和数据处理技术； 8、熟悉linux系统环境、命令，shell、python脚本编写； 9、有电商网站、电商APP采集经验优先； 10、对爬虫技术有专研精神；

（一）岗位描述： 1、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析 2、负责信息抽取、数据清洗等研发和优化工作 3、负责抓取数据的深度提取和挖掘 4、参与爬虫核心算法的策略优化研究，提升网页抓取的效率和质量。 （二）任职要求： 1、熟悉linux平台开发，精通Python 2、精通网页、APP抓取原理及技术，精通正则表达式，从结构化的和非结构化的数据中获取信息 3、有分布式网络爬虫开发经验，熟悉Scrapy\PySpider等采集框架，掌握验证码识别技术、Ajax网页采集技术以及爬虫高并发技术，流式处理经验者优先； 4、熟悉Mysql，有过数据库调优和海量数据存储经验优先 5、学习能力强，有较好的沟通能力，能迅速融入团队

工作职责： 1.负责规划、设计和开发爬虫相关系统，进行多平台多终端信息的抓取和分析。 2.基于抓取系统的数据抓取、清洗等设计开发。 3.配合业务线，完成实时数据与离线数据的爬取与对接。 任职要求： 1.精通Python语言\MYSQL，熟练使用常用模块，使用过Flask web框架； 2.能够解决封账号、封IP采集等问题，解决网页抓取、信息抽取等问题 3.熟悉爬虫工作原理，深入了HTTP协议内容 4.至少了解一种主流爬虫框架的架构及原理，有具体工程经验，如 scrapy / pyspider等 5.了解基于Cookie的登录原理，熟悉常用的信息抽取技术，如正则表达式、XPath等 6.对常见各类反爬方式（如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等）有一定解决经验