职位职责： 1、负责公司国际支付客户端SDK的建设和优化，完成高质量编码和测试工作； 2、负责公司国际支付相关独立APP的功能研发和优化，深入参与产品需求讨论，功能定义等； 3、设计良好的代码结构，不断迭代重构。 职位要求： 1、本科及以上学历，计算机、通信等相关专业； 2、熟练掌握Java/Kotlin/C++，熟悉Android SDK/NDK； 3、一年以上Android开发经验，能独立开发Android App； 4、具有扎实的编程功底，良好的设计能力和编程习惯； 5、优秀的沟通及表达能力，有一定的产品和业务sense； 6、能够快速的学习新的知识并应用到产品者优先，有良好的抗压能力。

职位职责： 1、负责保护公司电商平台的数据安全，防范和打击爬虫及其他恶意行为，研究和掌握最新的反爬虫技术，制定和实施有效的反爬虫策略； 2、深入了解上下游业务形态，可独立发起治理专项，快速定位问题并形成落地策略及效果评估闭环； 3、分析和调查电商平台上的异常流量和可疑活动，从海量设备、行为数据中发掘有价值的信息； 4、可协助进行建模工作，如特征分析、数据可视化呈现等，为团队决策提供数据支持； 5、与产品研发团队高效合作，优化技术架构和端上安全能力，建立端管云三位一体的反爬体系，量化防控效果，驱动反爬能力的不断提高。 职位要求： 1、计算机、信息安全、统计、数学等相关专业； 2、反爬相关经验，具备网络安全、数据保护和风险管理方面的专业知识，有电商经验者优先； 3、熟练掌握SQL、Python等编程语言，具有扎实的数据分析能力及学习能力； 4、深入了解常见的爬虫技术和工具，具有丰富的反爬虫经验，熟悉Web安全、网络协议、漏洞扫描等相关技术； 5、具有较强的问题解决能力，能够快速分析和处理安全事件，具备良好的团队合作精神和沟通能力。

工作职责：  负责设计、开发和维护高效、稳定的数据爬虫系统；  根据业务需求，制定数据抓取策略，处理反爬机制、验证码识别、IP代理等问题；  建立数据清洗、结构化处理及存储流程，保证数据质量；  持续优化爬虫性能，提升抓取速度与稳定性；  与数据分析、产品等团队紧密协作，理解数据需求，快速响应数据抓取任务；  关注行业动态，研究新的爬取技术和反爬手段，持续提升系统能力。 任职要求：  熟练掌握至少一种编程语言（Python优先，如：Scrapy、Selenium、Playwright、Requests 等常用库）；  熟悉常见网站结构、前端技术（HTML、CSS、JavaScript），能够快速分析网页数据；  熟悉常用的反爬技术及应对手段（如IP代理池、UA池、验证码识别、动态渲染处理等）；  熟悉异步爬虫、分布式爬虫开发，有 Scrapy-Redis / Playwright + 分布式实践经验者优先；  熟悉常用数据库（如MySQL、MongoDB）及缓存系统（如Redis）；  有大型数据采集、数据清洗、数据处理项目经验优先；  具备良好的编码习惯和文档意识，责任心强，乐于学习新技术。 加分项：  有 GraphQL 接口抓取、WebSocket 抓取、APP 抓包分析经验；  有云原生（如 Kubernetes、Docker）、大数据（如Spark、Kafka）相关技术栈经验；  有参与过爬虫平台化、数据中台建设项目经验；  有算法基础，了解简单的图像识别（如验证码OCR识别）优先。

1.负责垂直领域的定向爬虫引擎开发优化工作 2.负责HTTP、AJAX等各类网络请求分析 3.通过爬虫定向抓取数据和解析、抽取、去重、清洗和存储 4.根据应用场景封装服务接口给内部团队调用 5.负责反封禁的研究提升爬虫抓取效率和质量 任职要求 1、深入理解网络数据抓取的工作原理与工作流程； 2、熟悉HTML、DOM、XPATH，熟练使用正则表达式； 3、擅长分析HTTP协议，能够解析、模拟HTTP传输的报文 4、掌握HTTP相关调试、分析工具，能够对网页、APP数据抓包（有手机APP脱壳、反编译能力优先考虑） 5、精通Python/C#/Java等编程； 6、一年以上大规模网页爬虫开发经验，熟练使用关系数据库(如MySQL, MSSQLsql)或NoSql数据库(如Mongodb及Redis)； 7、具备独立的破解各类网站封禁及各类验证码的能力，有多线程、分布式、网络数据抓取及处理经验优先； 8、熟练使用开源技术以及框架（Nutch、Scrapy、Heritrix等）者优先； 9、熟悉Unix/Linux操作系统者优先； 10、有良好逻辑思维能力、沟通能力、团队合作精神、学习能力，抗压能力，目标执行力，对挑战性问题充满激情。  

岗位职责： 1. 负责公司数据采集系统的设计与开发，实现高效、稳定的数据爬取； 2. 根据业务需求，制定数据抓取策略，优化爬虫算法，提高数据抓取速度和准确性； 3. 负责数据清洗、去重、存储等后端处理工作，确保数据质量； 4. 跟踪分析爬虫技术的发展趋势，对现有系统进行优化升级； 5. 与其他团队密切配合，完成数据挖掘、分析等相关工作； 6. 遵守相关法律法规，确保数据采集的合规性。 岗位要求： 1. 计算机相关专业本科及以上学历，2年以上爬虫相关工作经验； 2. 熟练掌握Python、Java、C++等至少一种编程语言，具备良好的编程基础； 3. 熟悉主流的爬虫框架，如Scrapy、requests等； 4. 熟悉Web前端技术，如HTML、CSS、JavaScript等； 5. 熟悉数据库技术，如MySQL、MongoDB等； 6. 熟悉Linux操作系统，能熟练使用shell脚本； 7. 具备良好的数据结构和算法基础，能独立解决复杂问题； 8. 具备良好的沟通能力和团队协作精神，能承受工作压力； 9. 有以下经验者优先： - 有大规模分布式爬虫开发经验； - 熟悉反爬虫技术，能应对网站反爬措施； - 熟悉大数据处理技术，如Hadoop、Spark等。 薪资待遇： 1. 薪资范围：面议，根据个人能力及经验水平； 2. 享有五险一金、年终奖、项目奖金等； 3. 提供完善的职业发展路径和晋升机会； 4. 提供良好的工作环境和发展空间。 联系方式： 有意者请将个人简历发送至：[邮箱地址]，邮件主题请注明“爬虫工程师+姓名”。我们会尽快回复您的邮件，谢谢！

岗位如下: 职位名称:高级爬虫工程师 公司:江涞互联 职位描述: 我们正在寻找一位经验丰富的高级爬虫工程师,负责开发和维护公司的爬虫程序,以及处理爬取到的数据。 工作职责: - 设计和开发爬虫程序,包括爬取网站数据、提取数据和清理数据等。 - 熟悉常用的爬虫框架,如Python中的Scrapy和BeautifulSoup等。 - 了解数据清洗和转换的技能,如pandas和NumPy等。 - 熟悉常用的数据库,如MySQL和Oracle等。 - 具有出色的代码能力,熟悉Git版本控制工具。 - 具备良好的沟通能力和团队合作精神,能够与其他团队成员合作完成任务。 职位要求: - 3年以上爬虫开发经验,有独立的爬虫项目开发经验。 - 熟悉常用的爬虫框架和数据清洗技能。 - 熟悉数据库和SQL语言,能够清洗和转换数据。 - 熟悉常用的开发工具和技术,如Python、JavaScript、HTML/CSS等。 - 具备良好的代码风格和规范,熟悉团队协作流程。 - 有良好的沟通能力和团队合作精神,能够与其他团队成员合作完成任务。 请注意,这只是一个示例职位描述,可能并不适用于所有公司。如果有任何疑问,请随时与我们联系。

近期日采达到其中一项就行 1. 近期淘宝商品采集5w+ 2.PDD商品近期采集5000+ 3.抖音商品近期采集1w+ 双休+五险一金+餐补 弹性上下班 【工作职责】： 1、负责分布式网络爬虫系统及数据库的设计与开发； 2、研究及破解电商及自媒体app反爬策略，保证爬取的稳定性； 3、维护和优化已有的爬虫服务； 4、负责爬虫核心算法的策略优化研究，设计爬虫策略和防屏蔽规则，充分利用资源，提升网页抓取的效率和质量； 5、负责数据平台建设，数据清洗、处理,提供数据服务以及数据管理； 6、分析、理解大数据业务需求,设计技术方案并落地实施; 7、处理各个业务在使用数据平台过程中的各种问题，分析并给出优化方案； 8、可以独立跟进需求项目开发进度。 【任职要求】： 1、计算机相关专业，3年以上Python爬虫工作经验； 2、熟悉爬虫原理及常用的反扒技术，包括但不限于JS防护、混淆、逆向分析、加密、App破解、防逆向、加固、代理等技能，具备较好的前端分析技能； 2、熟悉各类HOOK框架包括单不限于frida、xposed； 3、有天猫、京东、抖音等国内主流平台任意一个平台的项目经验，有App端数据采集经验； 4、熟悉网络爬虫开发原理，对互联网各种类型数据交互模式熟悉，知道如何处理需登录网站、动态网页等各种情况下的数据采集方法； 5、熟悉selenium、Appnium、Airtest、Scrapy、pyspider等爬虫相关框架； 6、熟悉常用数据库(MySQL/Oracle/SQLSever/Redis) ，熟悉索引技术和SQL优化，了解RabbitMQ、InfluxDB。

职位描述: 1、负责网络爬虫系统平台的架构设计与开发(如抓取调度，多样化抓取，页面解析和结构化抽取)、技术选型; 2、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、混淆加密，算法还原，so层，页面跳转等难点攻克，提升网页抓取的效率和质量; 3、对抓取后的数据进行清洗、存储等，并持续优化 平台，以便满足各种爬取业务需求。岗位要求: 1.精通Linux/UNIX，精通Python语言，至少熟练掌 握主流爬虫框架中的一种; 2.了解各种加密算法，在破解验证码方面有丰富经验，能够独立解决is反爬和模拟登陆问题; 3.熟练掌握正则表达式、XPath、CSS等网页信息抽 取技术; 4.熟悉常见反爬机制，验证码识别，IP代理池、应用 lp池、headers认证和cookie等; 5.熟练掌握应用Selenium、PhantomJS、Splash Puppeteer实施动态抓取; 6.熟悉熟练使用charles、fiddler等抓包工具者优先 7.熟悉数据清洗，能够用numpy、pandas、jieba等 8.熟悉mysal、mongodb、redis、rabbitMQ、kafk a、spark者优先; 9.对有金融数据抓取清洗经验优先; 工作时间: 8小时工作制，周一至周五(双休、国家法定节假日 )。 薪资待遇: 试用期3个月，正式入职工资6000~11000。 条件优异者，****

岗位JD如下: 职位名称:爬虫实习生 公司名称:XX公司 职位描述: 作为我们的爬虫实习生,你将有机会参与我们的数据采集和爬取工作,帮助我们的团队获取和处理数据。你将负责使用Scrapy和XPath等工具,编写爬虫程序,并对提取的数据进行处理和存储。此外,你还将学习使用JavaScript进行逆向分析,以提高数据处理的效率和准确性。 职位要求: 1. 具备计算机科学专业背景,对数据结构和算法有基本的了解。 2. 熟悉Scrapy和XPath等爬虫框架,能编写爬虫程序,并对提取的数据进行处理和存储。 3. 熟练掌握JavaScript编程语言,具备逆向分析技能。 4. 具备良好的团队合作能力和沟通能力,能够与团队其他成员有效地合作。 5. 具备基本的网络知识,了解HTTP协议、HTTPS协议等。 工作内容: 1. 使用Scrapy和XPath等爬虫框架,编写爬虫程序,并对提取的数据进行处理和存储。 2. 使用JavaScript进行逆向分析,提高数据处理的效率和准确性。 3. 参与数据仓库的设计和开发,熟悉SQL语言。 4. 参与项目开发,了解前后端开发流程,并能与开发人员进行沟通和协作。 5. 完成团队交办的其他任务。 岗位福利: 1. 具有竞争力的薪资待遇,享受带薪年假、节日福利等。 2. 提供良好的工作氛围和发展空间,定期组织团队建设活动。 3. 提供必要的培训和技能提升机会,包括 buting基础培训、算法基础培训、数据结构与算法培训等。

1.熟练掌握数据分析方法，包括但不限于 excel 、 tabluea 等 Bl 分析工具使用； 2.熟练掌握sql语句编写，对hive clickhouse 等大数据相关数据库相关sql语法了解熟悉； 3.有python算法开发经验或机器学习＆深度学习开发经验能独立开发相关数据分析算法及模型； 4.会 python、js ，熟悉 mysql ； 5.能爬虫数据，并做数据归纳和分析，同时如果具备后台能力优先。

工作职责： 1.负责规划、设计和开发爬虫相关系统，进行多平台多终端信息的抓取和分析。 2.基于抓取系统的数据抓取、清洗等设计开发。 3.配合业务线，完成实时数据与离线数据的爬取与对接。 任职要求： 1.精通Python语言\MYSQL，熟练使用常用模块，使用过Flask web框架； 2.能够解决封账号、封IP采集等问题，解决网页抓取、信息抽取等问题 3.熟悉爬虫工作原理，深入了HTTP协议内容 4.至少了解一种主流爬虫框架的架构及原理，有具体工程经验，如 scrapy / pyspider等 5.了解基于Cookie的登录原理，熟悉常用的信息抽取技术，如正则表达式、XPath等 6.对常见各类反爬方式（如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等）有一定解决经验

岗位职责： 1、负责爬虫核心算法的策略优化研究，提升爬虫抓取效率和质量 2、负责大规模数据爬虫的性能优化、监控和报警，提高爬虫产品的稳定性和抓取效率 3、实时监控爬虫的状态和警报反馈   任职要求： 1、计算机或相关专业本科以上学历，5年以上爬虫工作经验； 2、熟练掌握Python开发，有代码规范和质量意识 3、有日千万级及以上的大规模数据爬虫项目经验 4、有实际大规模使用过消息队列经验，如RabitMq、Kafka等 5、了解并使用过ElasticSearch等分布式搜索引擎库 6、熟悉常见反爬机制，验证码识别，IP代理池、headers认证、cookie等 7、熟练掌握Linux平台开发，能独立安装、配置、搭建开发环境，编写shell脚本 8、对以下社媒平台（快手、红书等）数据有实际抓取经验的优先 9、工作地点可选：北京、上海、合肥、成都、杭州、厦门、广州（公司均有办公室）

我们正在寻找一位经验丰富的高级爬虫工程师，负责开发和维护高性能的爬虫系统，以支持我们的业务需求。作为高级爬虫工程师，您将承担以下责任职责：  1. 设计、开发和维护逆向爬虫系统，涵盖抖音、快手、小红书、天猫或饿了么等平台。 2. 进行安卓逆向工程，分析目标应用程序的加密和防护机制。 3.研究和开发创新的爬虫技术和工具，以确保数据的高质量、高效获取。 4.与团队合作，理解业务需求，并开发相应的爬虫策略和规则。 5.优化现有爬虫系统的性能，确保稳定性和可伸缩性。 6.进行爬虫数据的清洗、处理和存储，以支持后续的数据分析和应用。 任职要求： 1.至少3年以上爬虫开发经验，有抖音、快手、小红书、天猫或饿了么等平台逆向经验。 2.深入了解安卓逆向工程，熟悉加密和防护机制。 3.精通Python编程语言，并熟悉Scrapy框架及相关库。 4.具备编写高性能爬虫的经验，能够有效地处理大规模数据抓取和处理。 5.熟悉数据清洗和处理技术，熟练使用SQL或NoSQL数据库。 6.具备良好的问题解决能力和团队合作精神，能够与不同团队进行有效的沟通和协作。 7.具备良好的学习能力和自主研究能力，能够及时跟踪行业最新动态和技术发展。 加分项： 1.在大型互联网公司拥有相关经验，熟悉大规模爬虫系统的设计和架构。 2.熟悉分布式爬虫架构和消息队列等相关技术。 3.有开源爬虫项目或相关技术文章的贡献经验。 4.拥有海外电商数据开发经验。

岗位职责： 1、负责各类主流电商平台、短视频平台的数据抓取和平台搭建； 2、负责反爬虫策略研究，代理IP、验证码识别等采集支撑服务建设； 3、负责大规模文本、图像数据的抓取、抽取，去重、分类，垃圾过滤，质量识别等工作； 4、负责公司爬虫的技术调研以及策略优化； 任职要求： 1、熟悉app端数据抓取（有逆向、脱壳等经验），掌握Apktool、dex2jar、JD-GUI、frida、ida等工具，能独立完成主流电商平台和主流app软件大量级的数据抓取； 2、三年以上大规模爬虫/反爬经验，熟悉HTTP协议/浏览器原理/前端JS/APP抓取，有大数据量、大并发项目经验者优先，有电商网站和移动端数据爬取技术经验者优先； 3、熟悉至少Python、Java、JavaScript中的一种语言；精通一种开源爬虫框架，如scrapy、webmagic、nutch、heritrix等等，有开发爬虫框架经验优先； 4、有解决复杂的反爬限制实践经验， 能解决如图片验证码/滑块/账号限制/ip限制等问题，熟悉反爬虫、签名破解、验证码识别技术者优先； 5、具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先

职位职责： 1、负责保护公司电商平台的数据安全，防范和打击爬虫及其他恶意行为，研究和掌握最新的反爬虫技术，制定和实施有效的反爬虫策略； 2、深入了解上下游业务形态，可独立发起治理专项，快速定位问题并形成落地策略及效果评估闭环； 3、分析和调查电商平台上的异常流量和可疑活动，从海量设备、行为数据中发掘有价值的信息； 4、可协助进行建模工作，如特征分析、数据可视化呈现等，为团队决策提供数据支持； 5、与产品研发团队高效合作，优化技术架构和端上安全能力，建立端管云三位一体的反爬体系，量化防控效果，驱动反爬能力的不断提高。 职位要求： 1、计算机、信息安全、统计、数学等相关专业； 2、反爬相关经验，具备网络安全、数据保护和风险管理方面的专业知识，有电商经验者优先； 3、熟练掌握SQL、Python等编程语言，具有扎实的数据分析能力及学习能力； 4、深入了解常见的爬虫技术和工具，具有丰富的反爬虫经验，熟悉Web安全、网络协议、漏洞扫描等相关技术； 5、具有较强的问题解决能力，能够快速分析和处理安全事件，具备良好的团队合作精神和沟通能力。