职位职责： 1、负责公司国际支付客户端SDK的建设和优化，完成高质量编码和测试工作； 2、负责公司国际支付相关独立APP的功能研发和优化，深入参与产品需求讨论，功能定义等； 3、设计良好的代码结构，不断迭代重构。 职位要求： 1、本科及以上学历，计算机、通信等相关专业； 2、熟练掌握Java/Kotlin/C++，熟悉Android SDK/NDK； 3、一年以上Android开发经验，能独立开发Android App； 4、具有扎实的编程功底，良好的设计能力和编程习惯； 5、优秀的沟通及表达能力，有一定的产品和业务sense； 6、能够快速的学习新的知识并应用到产品者优先，有良好的抗压能力。

职位职责： 1、负责公司国际支付客户端SDK的建设和优化，完成高质量编码和测试工作； 2、负责公司国际支付相关独立APP的功能研发和优化，深入参与产品需求讨论，功能定义等； 3、设计良好的代码结构，不断迭代重构。 职位要求： 1、本科及以上学历，计算机、通信等相关专业； 2、熟练掌握Objective-C，深入理解语言特性，熟练掌握Xcode开发环境； 3、熟悉iOS系统API、Runtime机制、基础组件，对重要系统特性和原理有一定的理解； 4、一年以上iOS开发经验，能独立开发iOS App； 5、具有扎实的编程功底，良好的设计能力和编程习惯； 6、优秀的沟通及表达能力，有一定的产品和业务sense； 7、能够快速的学习新的知识并应用到产品者优先，有良好的抗压能力。

岗位描述 1.构建并优化大规模分布式数据采集系统，协助建设统一的数据采集、处理、查询、治理平台。 2.负责多渠道、多平台的各类数据源抓取，持续提升数据质量，包括数据时效性和完整性。 3.研究并分析目标站点/平台的反爬机制，设计策略规避限制；制定反爬策略，包括IP池、账号池、验证码识别等，并持续优化策略。 4.建立爬虫数据质量监控和应急响应机制，发现并解决数据采集中的异常情况（如数据缺失、重复、错误），确保采集的数据符合业务需求和质量标准，确保业务连续性。 岗位要求 1.3年及以上爬虫开发经验，本科及以上学历。 2.熟练使用Python，具备良好的编码和调试能力，具备扎实的计算机网络基础知识，了解HTTP协议和相关技术。 3.熟悉常见的爬虫框架，如Scrapy、feapder等；熟悉常用的消息组件和数据存储工具，如RabbitMQ、Kafka、MySQL、Redis、MongoDB等。 4.熟悉APP逆向，熟练使用抓包、反编译、Hook工具等，具备APP端数据抓取经验。 5.熟悉JS逆向，熟悉WEB常用反爬技术，具备通用网站数据爬取及解析经验。 6.具备良好的团队沟通能力、较强的问题解决能力和学习能力，能够独立思考和解决技术难题。 加分项 1.了解并使用过AI相关技术，有大模型采集框架使用经验的优先。 2.有通用、高效、稳定的分布式采集系统设计和开发经验的优先。

平时可以阅读英文的计算机API文档，并且需要有一定的Java基础。对爬虫抓网页的工作内容感兴趣，如果不符合以上条件，请勿投递，谢谢。 工作职责： 1、IOS, Andriod APPs以及网站的逆向分析及漏洞挖掘，并对逆向数据进行采集抓取； 2、爬虫策略和防屏蔽规则，提升网页抓取的效率和质量； 3、有过Akamai，Perimeterx经验的优先； 任职需求： 1、应届毕业生，熟练掌握Java语言； 2、熟悉IDA、 JEB 、LLDB、JADX等常用逆向分析工具，具备逆向分析能力； 3、熟悉各种通用加解密算法，有一定的脱壳反混淆，反调试经验； 4、熟悉常见的Xposed hook技术，注入技术，常见安全产品绕过等技术； 5、做事有责任感，具有良好的逻辑思维，很强的执行力和自我驱动力。 【福利政策】 1、混合办公模式，根据工作年限每月可申请居家办公2-8天。 2、10天- 25天带薪年休假； 3、13薪及每年全员调薪，根据入职时间、工作表现和企业经营状况； 4、补充医疗保险及每年健康体检； 5、旅游补贴及公司团建； 6、每周供应2次免费午餐； 7、节假日礼品卡福利及节日下午茶供应。

OnBuy Cdiscount Allegro OTTO  各平台的运营/组长/主管都招聘： 说明：会其中任一个平台也可以，会多平台也可以。 职位概述 负责OnBuy Cdiscount Allegro OTTO平台的整体运营，制定销售策略，提升店铺排名和转化率，达成业绩目标。 核心职责 运营策略：制定销售计划，优化产品Listing（标题、关键词、图片等）。 流量与转化：策划促销活动，管理广告投放，提升店铺曝光和订单量。 数据分析：监控销售数据，优化运营策略，定期复盘改进。 平台对接：与官方沟通，争取活动资源和支持。 任职要求 2年以上任一OnBuy Cdiscount Allegro OTTO  电商运营经验，熟悉等平台。 对应平台的语言，具备数据分析能力。 结果导向，执行力强，能独立解决问题。 薪资福利 底薪+提成，****。

岗位描述 1.构建并优化大规模分布式数据采集系统，协助建设统一的数据采集、处理、查询、治理平台。 2.负责多渠道、多平台的各类数据源抓取，持续提升数据质量，包括数据时效性和完整性。 3.研究并分析目标站点/平台的反爬机制，设计策略规避限制；制定反爬策略，包括IP池、账号池、验证码识别等，并持续优化策略。 4.建立爬虫数据质量监控和应急响应机制，发现并解决数据采集中的异常情况（如数据缺失、重复、错误），确保采集的数据符合业务需求和质量标准，确保业务连续性。 岗位要求 1.3年及以上爬虫开发经验，本科及以上学历。 2.熟练使用Python，具备良好的编码和调试能力，具备扎实的计算机网络基础知识，了解HTTP协议和相关技术。 3.熟悉常见的爬虫框架，如Scrapy、feapder等；熟悉常用的消息组件和数据存储工具，如RabbitMQ、Kafka、MySQL、Redis、MongoDB等。 4.熟悉APP逆向，熟练使用抓包、反编译、Hook工具等，具备APP端数据抓取经验。 5.熟悉JS逆向，熟悉WEB常用反爬技术，具备通用网站数据爬取及解析经验。 6.具备良好的团队沟通能力、较强的问题解决能力和学习能力，能够独立思考和解决技术难题。 加分项 1.了解并使用过AI相关技术，有大模型采集框架使用经验的优先。 2.有通用、高效、稳定的分布式采集系统设计和开发经验的优先。

1、精通python语言，精通scrapy爬虫框架； 2、 精通web抓取原理及技术，从结构化和非机构化数据中获取信息； 3. 精通Html、JavaScript、XML等知识，熟悉前端异步请求方式； 4、精通自动化测试工具； 5、 熟悉一种或多种开源技术； 6、 具备一定的数据挖掘能力； 任职要求： 1、 负责为各个业务线提供垂直，精准的数据采集，抽取，存储服务 2、 设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量 3、 解决网页抓取，信息抽取等问题，构建高可用性，高扩展性网络信息采集平台 4、 能独立解决实际开发过程碰到的各类问题

岗位职责： 1、解决各类反爬问题，如JS混淆逆向、APP逆向、字体加密、极验验证码、瑞数等以及采集其它疑难杂症； 2、负责相关爬虫相关技术调研与应用，包括但不限于web/app的数据采集； 3、维护采集平台中站点的稳定采集； 4、开发和维护爬虫脚本和数据处理接口，确保系统稳定运行； 5、协助团队解决爬虫相关技术问题，完成上级安排的其他任务； 任职要求： 1、本科及以上学历，计算机相关专业； 2、3年以上大规模网页爬虫项目经验，2年以上Python开发经验，熟练掌握爬虫底层框架，如scrapy、scrapy-redis、feapder，阅读过如Scrapy-redis等底层代码实现，能够进行改写； 3、精通HTTP/HTTPS协议，能熟练使用Charles、Fiddler等抓包工具分析请求； 4、能够解决封账号、封IP、JS加密、JS混淆逆向、极验验证码、瑞数等采集等问题，具备较强的反爬能力，具备较强的提升爬虫效率的意识； 5、熟练掌握Redis及MongoDB等非关系型数据库，MySQL等关系型数据库的使用； 6、熟悉多种数据提取方法，能灵活运用JsonPath、XPath、CSS选择器和正则表达式；了解ES，Kibana； 7、熟悉HTTP/HTTPS和TCP/UDP协议以及数据抓包和分析、熟悉Linux系统和shell多线程编程； 8、优秀的分析问题和解决问题的能力、思维清晰，对解决具有挑战性问题充满激情，有极强的责任心。

岗位职责 1.负责设计、开发和维护内容平台所需的分布式爬虫系统，支持从新闻、论坛、社交媒体等多渠道抓取海量数据并进行清洗、结构化和入库。 2.构建完整的数据采集与处理流程，包括网页解析、数据清洗、去重和入库等环节，确保采集数据的质量、准确性与一致性。 3.研究并应对各类反爬虫机制（如IP封禁、验证码、动态加载等），设计并实施反屏蔽策略，保证爬虫系统在复杂环境下稳定、高效运行。 4.搭建爬虫任务的监控与调度系统，实时跟踪抓取进度及性能指标，及时定位并修复抓取失败、异常或性能瓶颈等问题，持续优化爬虫效率和容错能力。 5.根据业务需求完成技术方案和系统设计，并撰写维护爬虫系统的技术文档，以支持内容分析和业务决策。 任职要求 1.精通 Golang 和 Python 编程语言，熟悉主流爬虫开发框架（如 Colly、Scrapy 等），具备较强的爬虫系统开发和维护能力。 2.具有分布式爬虫架构的设计与部署经验，能够搭建和运维分布式爬虫集群以应对海量抓取任务。 3.熟悉常见的数据处理流程，包括数据清洗、结构化及入库等，能够保证抓取数据的准确性和一致性。 4.熟练使用 Linux 操作系统及常用命令，了解自动化部署和运维流程（如 Docker、Shell 脚本等），具备独立调试和排错能力。 5.熟悉爬虫监控和任务调度工具，具备性能优化及容错设计能力，能够保证爬虫任务的高效稳定执行。 6.熟练掌握 MySQL 等关系型数据库，以及 MongoDB、Redis、Elasticsearch 等至少一种 NoSQL 存储技术。 7.熟悉代理池管理及 IP 轮换策略，能够有效应对 IP 封禁、请求限频等常见反爬虫问题。 8.具备一定的逆向工程能力，了解常见 JavaScript 混淆、接口加密方案和验证码破解技术，能够通过逆向分析提升爬取成功率。 9.理解常见的爬虫数据提取算法和反反爬策略，具备一定的算法能力，以优化数据抓取和解析效率 加分项 1.参与过海外社交项目优先 2.有过大型项目架构的优先 3.有相关开源项目的优先考虑

岗位职责： 1、负责公司产品线的技术栈的选型和完善, 负责关键技术架构和核心模块的开发实现; 2、 参与公司项目的架构设计、研发、编程工作； 3、 设计公司业务执行策略和防屏蔽规则，提升数据抓取执行的效率和质量, 并对策略持续优化； 4、负责架构设计相关的技术攻关。 任职要求： 1、熟悉Python和常用的开源库，熟练使用Django/Flask等至少一种主流的web开发框架； 2、熟悉Mysql，mongoDB， Redis，Es，队列等数据库的使用和优化； 3、对进程、线程、协程、异步、非阻塞有一定了解和使用 4、对linux系统基础知识及原理了解较深入的。 5、熟悉爬虫主流框架Scrapy、requests、Selenium、gocolly，webmagic等框架（深入了解其中一种）。 6、对相关算法有一定了解。 7、熟悉应用IP代理池、Headers认证和Cookie等； 8、有分布式爬虫、反爬机制经验者优先 9、熟悉js逆向，js破解优先考虑 10、有参与实时监控爬虫的进度和警报反馈系统的优先考虑。 11、有参与过相关资讯/新闻与大型分布式爬虫项目的优先考虑

岗位如下: 职位名称:高级爬虫工程师 公司:江涞互联 职位描述: 我们正在寻找一位经验丰富的高级爬虫工程师,负责开发和维护公司的爬虫程序,以及处理爬取到的数据。 工作职责: - 设计和开发爬虫程序,包括爬取网站数据、提取数据和清理数据等。 - 熟悉常用的爬虫框架,如Python中的Scrapy和BeautifulSoup等。 - 了解数据清洗和转换的技能,如pandas和NumPy等。 - 熟悉常用的数据库,如MySQL和Oracle等。 - 具有出色的代码能力,熟悉Git版本控制工具。 - 具备良好的沟通能力和团队合作精神,能够与其他团队成员合作完成任务。 职位要求: - 3年以上爬虫开发经验,有独立的爬虫项目开发经验。 - 熟悉常用的爬虫框架和数据清洗技能。 - 熟悉数据库和SQL语言,能够清洗和转换数据。 - 熟悉常用的开发工具和技术,如Python、JavaScript、HTML/CSS等。 - 具备良好的代码风格和规范,熟悉团队协作流程。 - 有良好的沟通能力和团队合作精神,能够与其他团队成员合作完成任务。 请注意,这只是一个示例职位描述,可能并不适用于所有公司。如果有任何疑问,请随时与我们联系。

近期日采达到其中一项就行 1. 近期淘宝商品采集5w+ 2.PDD商品近期采集5000+ 3.抖音商品近期采集1w+ 双休+五险一金+餐补 弹性上下班 【工作职责】： 1、负责分布式网络爬虫系统及数据库的设计与开发； 2、研究及破解电商及自媒体app反爬策略，保证爬取的稳定性； 3、维护和优化已有的爬虫服务； 4、负责爬虫核心算法的策略优化研究，设计爬虫策略和防屏蔽规则，充分利用资源，提升网页抓取的效率和质量； 5、负责数据平台建设，数据清洗、处理,提供数据服务以及数据管理； 6、分析、理解大数据业务需求,设计技术方案并落地实施; 7、处理各个业务在使用数据平台过程中的各种问题，分析并给出优化方案； 8、可以独立跟进需求项目开发进度。 【任职要求】： 1、计算机相关专业，3年以上Python爬虫工作经验； 2、熟悉爬虫原理及常用的反扒技术，包括但不限于JS防护、混淆、逆向分析、加密、App破解、防逆向、加固、代理等技能，具备较好的前端分析技能； 2、熟悉各类HOOK框架包括单不限于frida、xposed； 3、有天猫、京东、抖音等国内主流平台任意一个平台的项目经验，有App端数据采集经验； 4、熟悉网络爬虫开发原理，对互联网各种类型数据交互模式熟悉，知道如何处理需登录网站、动态网页等各种情况下的数据采集方法； 5、熟悉selenium、Appnium、Airtest、Scrapy、pyspider等爬虫相关框架； 6、熟悉常用数据库(MySQL/Oracle/SQLSever/Redis) ，熟悉索引技术和SQL优化，了解RabbitMQ、InfluxDB。

职位描述: 1、负责网络爬虫系统平台的架构设计与开发(如抓取调度，多样化抓取，页面解析和结构化抽取)、技术选型; 2、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、混淆加密，算法还原，so层，页面跳转等难点攻克，提升网页抓取的效率和质量; 3、对抓取后的数据进行清洗、存储等，并持续优化 平台，以便满足各种爬取业务需求。岗位要求: 1.精通Linux/UNIX，精通Python语言，至少熟练掌 握主流爬虫框架中的一种; 2.了解各种加密算法，在破解验证码方面有丰富经验，能够独立解决is反爬和模拟登陆问题; 3.熟练掌握正则表达式、XPath、CSS等网页信息抽 取技术; 4.熟悉常见反爬机制，验证码识别，IP代理池、应用 lp池、headers认证和cookie等; 5.熟练掌握应用Selenium、PhantomJS、Splash Puppeteer实施动态抓取; 6.熟悉熟练使用charles、fiddler等抓包工具者优先 7.熟悉数据清洗，能够用numpy、pandas、jieba等 8.熟悉mysal、mongodb、redis、rabbitMQ、kafk a、spark者优先; 9.对有金融数据抓取清洗经验优先; 工作时间: 8小时工作制，周一至周五(双休、国家法定节假日 )。 薪资待遇: 试用期3个月，正式入职工资6000~11000。 条件优异者，****

岗位JD如下: 职位名称:爬虫实习生 公司名称:XX公司 职位描述: 作为我们的爬虫实习生,你将有机会参与我们的数据采集和爬取工作,帮助我们的团队获取和处理数据。你将负责使用Scrapy和XPath等工具,编写爬虫程序,并对提取的数据进行处理和存储。此外,你还将学习使用JavaScript进行逆向分析,以提高数据处理的效率和准确性。 职位要求: 1. 具备计算机科学专业背景,对数据结构和算法有基本的了解。 2. 熟悉Scrapy和XPath等爬虫框架,能编写爬虫程序,并对提取的数据进行处理和存储。 3. 熟练掌握JavaScript编程语言,具备逆向分析技能。 4. 具备良好的团队合作能力和沟通能力,能够与团队其他成员有效地合作。 5. 具备基本的网络知识,了解HTTP协议、HTTPS协议等。 工作内容: 1. 使用Scrapy和XPath等爬虫框架,编写爬虫程序,并对提取的数据进行处理和存储。 2. 使用JavaScript进行逆向分析,提高数据处理的效率和准确性。 3. 参与数据仓库的设计和开发,熟悉SQL语言。 4. 参与项目开发,了解前后端开发流程,并能与开发人员进行沟通和协作。 5. 完成团队交办的其他任务。 岗位福利: 1. 具有竞争力的薪资待遇,享受带薪年假、节日福利等。 2. 提供良好的工作氛围和发展空间,定期组织团队建设活动。 3. 提供必要的培训和技能提升机会,包括 buting基础培训、算法基础培训、数据结构与算法培训等。

1.熟练掌握数据分析方法，包括但不限于 excel 、 tabluea 等 Bl 分析工具使用； 2.熟练掌握sql语句编写，对hive clickhouse 等大数据相关数据库相关sql语法了解熟悉； 3.有python算法开发经验或机器学习＆深度学习开发经验能独立开发相关数据分析算法及模型； 4.会 python、js ，熟悉 mysql ； 5.能爬虫数据，并做数据归纳和分析，同时如果具备后台能力优先。