数据抓取工程师 职位描述： 1、负责搭建数据抓取系统，根据数据源头进行数据抓取，对数据抓取的及时性负责； 2、负责对抓取数据进行解析、清洗，对数据一致性、准确性负责； 3、负责相关数据抓取服务的工程建设和指标建设，对数据生产链条的健壮性、高效性负责。 任职要求： 1、本科或以上学历，有3年以上数据抓取开发经验； 2、熟练掌握Python等编程语言，具有扎实的编程基础和良好的代码风格； 3、具备丰富的爬虫开发经验，熟悉各类爬虫框架和工具，如Scrapy、Selenium等； 4、熟悉HTTP协议和常见的网页解析技术，具备良好的数据清洗和处理能力； 5、熟悉MySQL、MongoDB、Redis等； 6、具备良好的沟通和团队合作能力，能够与数据开发、后端开发人员等协作，共同完成项目目标

岗位职责： 1、负责分布式数据库集群的功能开发； 2、负责分布式数据库特性数据的存储结构改造； 3、负责研发多副本技术； 4、负责研发分布式数据库特有的流式计算、窗口函数功能。 岗位要求： 1、3年及以上数据库相关开发经验，本科及以上学历； 2、熟练掌握C/C++语言，具备良好的编程习惯、数据结构、算法等基础知识，对分布式系统的架构和原理有一定的了解； 3、对分布式数据库原理有深入了解，熟悉influxdb、opentsdb、timescaledb、TDengine等分布式数据库项目者优先。

岗位职责: 1、围绕公司分布式数据库产品进行软件测试工作，包括白盒测试、黑盒测试、混沌测试等内容 2、针对产品新功能进行测试工作，编写测试脚本，验证产品功能、性能、稳定性等方面的表现能力 3、深入学习和掌握混沌测试工具，针对分布式数据库开展混沌测试工作 4、编写测试脚本、设计混沌测试用例，并针对发现的产品问题进行定位分析，协助研发人员进行问题修复 5、持续维护公司测试平台，保证日常测试工作的正常推进 岗位要求： 1、本科及以上学历，英文读写熟练； 2、掌握python或其他脚本语言，具备对应编程语言的调试能力，具有良好的编程习惯； 3、掌握常用数据结构、算法等基础知识； 4、有较强的学习能力，活泼开朗，善于沟通，能够快速融入团队。 加分项： 1、有混沌测试工具使用经验者优先； 2、有持续集成和交付平台使用经验者优先； 3、有数据库系统、分布式系统测试经验者优先。

工作地点：北京、西安、深圳、杭州、武汉 岗位职责: 1、负责数据库领域的需求分析、设计、开发等工作; 2、负责业界领先的云端到终端各层次内核数据库研发,基于操作系统内核技术构建数据库高性能高可用等核心竞争力; 3、负责数据库内核相关领域的新技术探索。 岗位要求: 1、计算机相关专业，本科及以上学历:熟练掌握C/C++/JAVA语言; 2、熟悉Linux操作系统、数据库应用，熟悉代码优化的规则与技巧; 3、拥有数据库领域编码经验，熟悉SQL和存储引擎的优先。

工作地点：北京、西安、深圳、杭州、武汉 岗位职责: 1、负责数据库领域的需求分析、设计、开发等工作; 2、负责业界领先的云端到终端各层次内核数据库研发,基于操作系统内核技术构建数据库高性能高可用等核心竞争力; 3、负责数据库内核相关领域的新技术探索。 岗位要求: 1、计算机相关专业，本科及以上学历:熟练掌握C/C++/JAVA语言; 2、熟悉Linux操作系统、数据库应用，熟悉代码优化的规则与技巧; 3、拥有数据库领域编码经验，熟悉SQL和存储引擎的优先。

岗位职责： 1、设计并实施灵活可扩展的支持数据建模、数据治理、数据质量、数据分析和优化的支持企业和产业数字化的数据架构； 2、设计并实施基于支持企业和产业数字化的数据架构并灵活集成统计、运筹和机器学习算法的数据平台； 2、负责数据平台的研发和迭代升级，持续提升平台稳定性，优化改进分布式存储、计算系统性能； 4、推动新型分布式高性能数据存储、计算、传输和访问技术在企业和产业数字化的落地应用。 任职要求： 1、硕士及以上学历，计算机基础扎实。熟悉计算机网络、Linux操作系统、分布式存储、算法和系统相关知识； 2、熟练掌握java、Scala、Go、C++编程语言的一种或多种，具备良好Coding技能和优雅的代码规范； 3、有过Apache开源生态分布式系统经验者优先，学习了解过Spark/Flink/Presto/Impala/Hadoop/HBase/Cassandra/GraphDB一种或多种引擎，有源码阅读或修改者优先； 4、强烈的上进心和求知欲，较强的学习能力和沟通能力，具备良好的团队合作精神。 加分项： 1、计算机领域相关的编程大赛获奖、专业期刊发表文章或者有发明专利等； 2、具备数据云平台、计算存储平台、可视化开发平台经验； 3、具备专业领域的计算机知识和技能： Alluxio/Hive/Hbase/RocksDB/Kafka/JanusGraph/GraphQL等。 4、对知识图谱、数据搜索、分布式算法、关系型数据库内核和优化、非关系型数据库内核和优化、云计算等技术有一定研究者优先。

岗位职责： 设计、实现并优化MatrixDB超融合时序数据库~ 1.负责分布式时序数据库查询优化器的设计与研发； 2.负责分布式时序数据库执行引擎的设计，研发与性能优化； 3.负责分布式时序数据库存储引擎的设计，研发与性能优化； 任职要求： 1.精通系统编程或者网络编程，理解计算机基础原理，包括编译原理、操作系统、数据结构和算法等； 2.精通或者热爱数据库内核这一最具挑战的软件开发领域，愿意在这一领域投入至少5年以上精力深耕； 3.精通某一种语言（C、golang、Java等均可），理解其语言本质； *加分项：有数据库内核开发经验者优先，熟悉Greenplum、PostgreSQL者优先~熟悉HDFS, Kudu, RocksDB存储引擎原理、学习过CMU15-445 , MIT 6.824优先

岗位职责： 1. 使用SQL等数据抓取工具从各种数据源中提取数据，并进行数据清洗和整理。 2. 运用统计学和数据分析方法对数据进行分析，发现趋势、模式和关联性。 3. 利用数据可视化工具（如Tableau、Power BI等）创建仪表盘、报告和可视化图表，以向利益相关者传达数据洞察。 4. 协助团队成员进行数据分析项目，提供支持和建议。 5. 监测和评估数据质量，确保数据的准确性和完整性。 6. 跟踪行业趋势和竞争对手的数据，提供市场洞察和建议。 岗位要求： 1. 2-3年相关工作经历。 2. 熟练掌握SQL等数据抓取工具，能够编写和优化复杂的查询语句。 3. 具备数据清洗和整理的技能，能够处理大量数据并确保数据的准确性。 4. 熟悉统计学和数据分析方法，能够运用这些方法解决实际问题。 5. 熟练使用数据可视化工具，能够将数据转化为易于理解和传达的可视化图表和报告。 6. 对商业和旅游行业有浓厚的兴趣，了解相关行业的趋势和挑战。 7. 具备良好的沟通和团队合作能力，能够与不同部门和利益相关者进行有效的合作。 8. 具备解决问题和分析能力，能够快速理解和解决复杂的数据相关问题。

岗位职责： 1、梳理和解读业务，提供数据层面的问题解决方案； 2、协助进行数据提取.清洗.转换等处理工作，搭建自动化的数据生产线 3、参与数据处理框架的开发和数据处理平台的建设； 4、协助开发和维护独立的数据处理工具 岗位要求： 1.熟悉Python基本语法，熟练使用AI工具，具有独立项目开发经验以及具有大模型经验 2.工作年限3-5年 3.熟练掌握scrapy框架，tensorflow，pytroch等框架，了解多线程、多进程、网络通信编程相关知识，有分布式爬虫架构，数据挖掘经验； 4.掌握网页抓取原理及技术，了解基于Cookie的登录原理，熟悉基于正则表达式、XPath、CSS等网页信息抽取技术； 5.熟悉各种反爬机制，掌握Selenium，APP破解技术优先； 6.做过数据处理、ETL等相关工作优先； 7.对大数据相关技术感兴趣。 学历要求：**公办本科及以上，985与211大学优先录用。学信网可查，有***书

岗位职责: 1、负责棋牌产品的设计研发和优化工作，并对产品功能进行测试、验收，保证产品质量； 2、了解棋牌市场动态，持续跟踪分析市场上的竞品，总结出产品和竞品的差异之处，寻找产品提升和优化空间； 3、分析上线产品的运营数据，从数据中挖掘信息，提出产品改进意见，不断完善在线产品、持续改善用户体验； 4、利用微信社交优势并挖掘更多来量渠道提升产品DAU； 岗位要求: 1、5年以上互联网产品或策划岗经验，有完整的项目经验，对棋牌游戏有一定的了解； 2、具备一定的数据分析能力，能够敏锐的抓取产品运作中的关键数据并提出改进意见； 3、自驱性强，工作积极主动，有良好的团队协作意识，定期总结，注重自我提升； 4、逻辑清晰，具备良好的语言沟通和表达能力，有成功项目经验者优先。

岗位职责: 1、负责棋牌产品的设计研发和优化工作，并对产品功能进行测试、验收，保证产品质量； 2、了解棋牌市场动态，持续跟踪分析市场上的竞品，总结出产品和竞品的差异之处，寻找产品提升和优化空间； 3、分析上线产品的运营数据，从数据中挖掘信息，提出产品改进意见，不断完善在线产品、持续改善用户体验； 4、利用微信社交优势并挖掘更多来量渠道提升产品DAU； 岗位要求: 1、5年以上互联网产品或策划岗经验，有完整的项目经验，对棋牌游戏有一定的了解； 2、具备一定的数据分析能力，能够敏锐的抓取产品运作中的关键数据并提出改进意见； 3、自驱性强，工作积极主动，有良好的团队协作意识，定期总结，注重自我提升； 4、逻辑清晰，具备良好的语言沟通和表达能力，有成功项目经验者优先。

■岗位职责 负责爬虫软件设计开发及系统维护工作； 根据业务需求完成数据采集与爬取、解析处理、入库及备份数据日常工作； 负责信息抽取、数据清洗等研发和优化工作，对数据结果进行解释和汇报，向相关部门提供数据分析技术支持； 负责python相关系统的开发、维护和优化。 ■岗位条件 （1）学历：普通高招大学本科及以上学历。 （2）年龄：原则上本科生不超过28周岁，硕士研究生不超过30岁，博士研究生不超过32岁，特别优秀者可适当放宽。 （3）专业：计算机科学与技术、软件工程、网络工程、信息与计算科学、信息安全、电子与计算机工程、信息与通信工程、网络空间安全、数据科学与大数据技术、人工智能等相关专业。 （4）基础能力： 熟练掌握Python编程语言及其主流框架和第三方库； 熟练使用爬虫相关技术，如scrapy、pyspider、appium、puppeteer等； 掌握Pyhton的Web框架Django、Flask等，并且有使用过其中一个框架开发； 具有扎实的数据结构和算法基础，深入理解面向对象编程思想及常用设计模式； 熟悉缓存、多线程、消息队列等相关技术； 具备较高的编程素养、良好的编码习惯。 （5）放宽及优先条件： 具有符合本岗位特殊才能的，学历和年龄可适当放宽； 具有互联网政务服务相关工作经验，或具有“大厂”工作经验者，学历和年龄可适当放宽，并优先考虑； 具有算法开发相关经验的优先； 具有Js逆向经验、App数据抓取经验者优先； 其他符合放宽或优先条件的。

职位职责： 1、全面统筹搜索网页解析项目的相关产品运营工作，能够基于解析相关业务目标制定运营策略与执行计划，推动解析成果高效支撑业务场景； 2、与算法团队、产品团队等密切协作，清晰传递业务需求，积极提供有针对性的解析相关策略和建议； 3、能对解析侧相关数据的应用效果进行了解与分析，通过下游尺度变化、模型指标波动等明确业务评估优化方向； 4、能够针对性完善当前网页解析项目的运营流程与标准，包括需求对接、进度跟进、成果验收等环节，提高跨团队协作效率。 职位要求： 1、本科及以上学历，2年及以上互联网运营相关工作经验，至少1年网页解析运营或搜索方向运营经验优先； 2、熟悉大模型训练的相关逻辑，能熟练使用市面上大模型相关应用，有一定AI理解优先； 3、创新能力比较强，对于不断探索新的AI技术和应用场景有强烈意愿和主观能动性； 4、擅长需求分析与资源协调，具备优秀的沟通协调能力，能将业务目标拆解为可执行的运营动作并推动落地； 5、有网页抓取、网页解析或搜索类产品运营经验者优先。

职位职责： 1、参与GUI大模型相关训练集、评测数据的标准制定、标注、评估工作，独立完成Agent等自动化标注&评测工具的搭建，协助产品、算法快速提升模型能力； 2、与业务方、产品、算法团队紧密协作，深度探索并构建全、半自动化机标注流程的数据处理策略，通过不断尝试创新技术方案，优化标注流程效率与质量； 3、基于数据处理策略确认数据理想态，综合运用PE、搜索、知识库、代码等手段，探索前沿技术在机标工作流中的应用，构建完整且高效的机标工作流，显著助力业务提效； 4、针对部分涉及数据抓取、数据处理、工具开发的项目，联动业务方共同探索并制定创新性技术方案，完成技术开发工作，推动项目落地； 5、基于各业务发展动态、数据特性，积极探索行业前沿技术，打造通用提效产品与工具，严格确保工具的准确率与覆盖率，为业务发展提供坚实技术支撑。 职位要求： 1、本科及以上学历，计算机科学、统计学等专业背景优先； 2、至少熟练掌握一种编程语言，具备快速学习新技术的能力优先； 3、有开发工作经验、工程化经验（重点掌握Python数据处理、Sql等数据库工作、Hadoop/Spark等集群环境），熟悉分布式系统原理与实践； 4、具备敏锐的产品思维，密切关注并深入了解生成式AI大模型前沿技术，尤其是VLM多模态模型等，具备优秀的内容理解和推理分析能力，能将前沿技术转化为实际业务价值； 5、具备较强的自驱力，工作细心且责任心强，具备出色的团队沟通、协作能力与推动能力，能够在跨部门协作中有效整合资源，推进技术方案落地实施； 6、有GUI项目产品研发经验优先。

【岗位职责】 1.负责公司跨境电商网站/Shopify的开发、搭建、改版、优化和维护。负责开发和维护不同国家的站点。 2.与设计师、网站运营、需求方紧密协作，实现Web界面，包括前端页面搭建、交互动效实现、Shopify themes模版的二次开发、Shopify第三方插件研究和二次开发。 3.提高网页速度、稳定性、兼容性，通过技术提升购物流程和用户体验。优化底层代码和网站运行数据。 4.根据业务需要进行网站程序的其他开发。 【任职要求】 1.计算机相关专业，本科及以上，扎实代码功底。 2.电商网站/品牌网站独立开发经验，熟悉Shopify平台生态和搭建，熟悉网站UI。 3.熟练掌握liquid优先，熟悉HTML语言，及其他常见的网站开发语言。了解技术架构的设计与优化。 4.对用户线上购物习惯有深度理解，尤其是欧美、亚太地区。 5.有英语基础，了解google抓取逻辑优先。请附上开发作品集。