-
职位职责: 1、负责字节跳动所有产品线UG方向的数据流和相关数据服务; 2、面向超大规模数据问题,每天处理千亿增量的用户数据; 3、负责流式数据的实时传递,清洗,转换,计算,并对外提供查询服务; 4、参与数据治理工作,提升数据易用性及数据质量; 5、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。 职位要求: 1、熟悉Linux操作系统及开发环境; 2、扎实的计算机软件基础知识:数据结构,操作系统等; 3、熟悉 C/C++、Java、Python 等任意一门编程语言; 4、对数据敏感,认真细致,善于从数据中发现疑点; 具备以下条件者优先: 1、研究过开源项目; 2、参加过 ACM 或者其他类型的软件开发大赛; 3、熟悉大数据处理工具/框架中的一项或多项,包括但不限于Hadoop, Mapreduce, Hive, Storm, Spark, Druid, kafka, hbase,ES等。
-
岗位职责 : 1、数据仓库和数据处理:负责大数据平台的数据仓库、数据治理和数据模型的设计与开发工作。进行日常数据报表开发,理解业务需求,发挥数据价值。 2、数据服务开发:负责离线和实时数据服务的设计、开发、性能调优和效果优化。构建和维护数据管道,处理ETL过程,确保数据质量和准确性。 3、技术研究和应用:参与相关项目的数据需求的实现,设计和编码工作。参与开发过程中相关技术的研究和验证。 4、平台运维和质量管理:负责大数据平台的数据及相关的应用开发、调优及维护。完成日常数据质量的监控,参与大数据平台的日常运维工作。 5、针对数据一致性、准确性、及时性,制定数据管理与治理机制,提升数据易用性、可用性及稳定性; 任职要求 : 1、本科及以上学历,计算机相关专业,3-5年以上数据开发经验; 2、具备至少一个完整的大数据平台和BI系统实施经验,熟知平台建设各环节工作,包括数据采集、数据落地、仓库建设、数据平台搭建、数据应用产品开发 3、熟悉基于推荐系统的数据仓库建设方法论,有数仓模型设计及ETL开发经验;有数据仓库分层架构设定经验者优先; 4、熟悉Hadoop生态相关技术,如Hive、HDFS、Impala、Spark、Presto、Flink、Hudi、Elasticsearch、HBase、Druid、Kylin等,有基于分布式数据存储与计算平台应用开发经验,有较为系统的海量数据性能处理经验; 5、熟悉java、scala、python等语言,熟悉微服务,分布式架构,熟悉springcloud,springboot等技术开发; 6、熟悉数据仓库原理,有离线数仓、实时计算、数据挖掘、ETL、用户画像、数据可视化等设计与开发经验; 7、熟悉MySQL、PostgreSQL、NoSQL等数据库中至少一种数据中心建设方案,可以进行产品的独立部署、高可用架构和性能优化,熟悉开源社区解决方案; 8、熟悉阿里云大数据组件E-MapReduce、Dataworks、MaxCompute和国际AWS的EMR相关数据产品等,市场常见BI产品(superset、FineBI、神策数据)等相关组件者优先; 9、较强的学习能力和技术钻研能力、有自我驱动意识,对数据采集、数据治理、数据开发、数据分析、数据建模、算法等有深刻认识和实战经验。 期待您的加入哟,我们为您准备丰厚福利待遇: 【法定福利】:公司按国家规定购买五险一金+商业保险(员工本人及子女商业保险)+带薪年假; 【节日关怀】:节日福利礼品,以及节日礼金; 【公司福利】: 机场及高铁的贵宾服务(龙腾卡权益)+年度员工健康体检+平安360服务(在线问诊、VIP挂号及重疾紧急入院服务)+年度2次免费洁牙服务 公司提供咖啡、零食、下午茶 员工活动、旅游及团建,不定期举办聚餐、唱K、电竞赛、篮球赛、拓展、旅游、生日Party等 【学习与培训】:助力职业发展与提升,内外训双引擎发力助你高速发展 【晋升机会】:公司设立良好的晋升机制和广阔的发展空间。
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
工作地点杭州之江实验室新园区 岗位职责: 1.基于机器学习方法实现微弱信号探测与分离,研究新型阵列式、分布式传感测量大数据的处理、分析和可视化技术; 2.基于人工智能算法,提取时域、频域等高质量的目标特征信息; 3.利用多维度信息,使用深度学习、贝叶斯统计等方法,对目标进行分类与识别,建立具备自主学习能力的智能目标识别系统。 职责要求: 1.精密测量、信号处理、数学、计算机、大气物理、海洋物理相关专业,获得博士学位; 2.熟练掌握Matlab、Python或C语言; 3.熟悉Pytorch或其他深度学习框架; 4.熟练掌握信号处理基本概念及信号分析方法,具备使用人工智能技术进行信号智能分析的能力; 5.具备良好的论文阅读能力与论文复现能力; 6. 具备声学相关经验,精密测量、数据挖掘等方面经验值者优先; 7、 极强的工作责任心,良好的团队协作精神,优秀的表达和沟通能力,乐于挑战,抗压力强。
-
工作地点杭州之江实验室新园区 岗位职责: 1.基于机器学习方法实现微弱信号探测与分离,研究新型阵列式、分布式传感测量大数据的处理、分析和可视化技术; 2.基于人工智能算法,提取时域、频域等高质量的目标特征信息; 3.利用多维度信息,使用深度学习、贝叶斯统计等方法,对目标进行分类与识别,建立具备自主学习能力的智能目标识别系统。 职责要求: 1.精密测量、信号处理、数学、计算机、大气物理、海洋物理相关专业,获得博士学位; 2.熟练掌握Matlab、Python或C语言; 3.熟悉Pytorch或其他深度学习框架; 4.熟练掌握信号处理基本概念及信号分析方法,具备使用人工智能技术进行信号智能分析的能力; 5.具备良好的论文阅读能力与论文复现能力; 6. 具备声学相关经验,精密测量、数据挖掘等方面经验值者优先; 7、 极强的工作责任心,良好的团队协作精神,优秀的表达和沟通能力,乐于挑战,抗压力强。
-
职责描述: 1、负责公司大数据平台的运维保障工作,保障平台的正常运行和相应数据服务的稳定高效; 2、对接数据开发侧团队,主动优化和完善服务巡检、监控工具、脚本等,减少人工操作提高运维效率;负责数据平台的故障处置、推动性能优化。如平台产品技术问题,提交给平台产品技术组进行后台处理,并及时反馈. 3、负责数据平台二线运维支撑保障,响应运维/服务台一线请求:处置生产事件,跟踪问题处理; 4、定期组织团队人员开展大数据平台的技术知识积累和移交; 5、负责设计日常运维相关的自动化工具或系统,并完成相应需求收集和需求管理 ; 任职要求: 1. 具有1年以上金融行业数据类项目运维经验,熟悉保险业务操作与管理。具有大数据平台相关技术进行数据仓库、数据中台开发、维护、优化等项目经验的人员,或长期在类似的运维项目上承担运维工作优先; 2. 具备较强的数据开发分析能力,熟练掌握SQL等技能,熟练掌握大数据平台、UNIX、LUNIX和中间件的技能。有java或Python开发基础优先; 3. 具备较强的数据分析,问题分析,逻辑思维能力,团队协作能力,有良好的沟通能力和责任感,能够承担工作压力,独立分析和解决问题者优先; 4. 强烈的自驱力和责任感,面对复杂业务问题,可以从业务和技术多角度推进,最终达成目标。
-
岗位要求: -重点本科以上学历,1-3年工作经验,校招不受限 -熟悉java/c++,java语言优先,有良好的算法和数据结构基础 -熟悉jvm和java应用调试技术,有java后端服务优化经验加分 -熟悉linux,有大型开源项目研究和应用加分 -使用过hadoop/spark相关大数据技术、有底层研究经验加分 -优秀的分析和解决问题能力,良好的团队协作精神,有责任心 加分项: -有大数据全栈经验(hive/hbase/kylin/kafka/storm) -了解cuda/cpu、tensorflow/caffe等 岗位职责: -负责hadoop/spark/hive/hbase等内核研发 -研究大数据相关前沿技术,包括机器学习和深度学习等 -负责大数据相关项目的软件分析、设计和开发工作 -负责底层应用架构调整和系统调优 公司地址: 北京海淀区科学院南路2号院3号楼 搜狐媒体大厦 如果你对我们的职位感兴趣,请尽快发简历到 alaleiwang @sohu-inc.com 我们会尽快安排面试!
-
工作职责: 1、负责集团基于大数据技术的数据平台开发、数仓建设、数据治理、数据统计分析等开发工作; 2、负责数据挖掘领域的分析研究,包括数据挖掘算法的分析研究,特定场景的数据挖掘模型的需求分析、建模及实验模拟工作; 3、研究前沿技术,了解项目需求,制定解决方案,解决实际应用场景中的业务问题,优化离线/实时大数据计算任务的性能。 任职资格: 1、本科及以上学历,计算机、软件技术、数据挖掘、统计学、应用数据等相关专业; 2、至少3年以上大数据开发/数据存储/数据平台/分析挖掘相关经验; 3、熟悉Linux操作系统,掌握Shell/Python/Perl至少一种脚本语言; 4、理解主流大数据处理架构和相关技术,会使用Hadoop、Spark等平台,Hive 、Impala 、Azkaban 、Kafka、Sqoop、 Flume、Zookeeper相关组件和开源系统; 5、熟悉SQL语言,包括MySQL、Oracle等关系型数据库;Redis 、MongoDB、HBase等NOSQL 数据库;了解数据仓库技术,能够使用常用的ETL工具; 6、熟悉Lucene、ElasticSearch等 检索技术; 7、具有优秀的口头和书面表达能力,思维活跃、关注和了解技术发展的最新动态,踏实肯干、有责任心,能适应高强度工作,沟通协作能力较好、学习能力强。
-
岗位职责: 1.支持Hadoop集群底座的运维故障分析、解决、性能优化;大数据集相关组件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维; 2.开发数据采集、清洗、分析、挖掘及可视化功能,需熟悉ES、milvus、pgsql等。 3.熟悉国产数据库,包括doris等; 4.配合开展HDFS存储、Hive元数据治理优化,建立并完善存储治理方案; 5.配合开展Hive、Spark作业优化,对业务侧提出优化建议。如:作业小文件问题、数据倾斜治理方案等; 6.提出集群优化建设方案,配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。 任职要求: 1.本科及以上学历,通信/计算机等相关专业,具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力; 2.熟悉Hadoop、Hive、Hbase、Spark等开源项目,理解组件架构及原理; 3.对大数据运维开发有浓厚兴趣,熟悉Apache Hadoop部署、性能调优; 4.能阅读/理解Hadoop等相关开源组件源码; 5.对HQL、SparkSQL等有较深入的研究,能解决实际业务性能问题; 6.熟练掌握LDAP、Kerberos等安全认证体系; 7.熟练掌握Linux命令与工具进行问题定位,熟悉常规的互联网技术架构; 8.具备一定的Java开发能力; 9.有信控平台开发经验者优先录取。
-
Wind大数据主要涵盖大数据技术在金融行业的应用,对主流大数据业务和技术都有研究和应用,涉及的技术包括Hadoop/Spark/HBase/Hive/Sqoop/Kafka/Flink/ClickHouse等。目前我们已经搭建万得金融大数据中心,建设基于大数据技术的数据仓库,开发各种数据挖掘应用项目。我们欢迎对技术有高追求,具有工匠精神的人才加入。 1、负责研究各类大数据技术和产品,能够引入并实施,包括Hadoop、Flink生态圈的各种主流技术研究与应用等; 2、负责大数据集群管理和维护工作,不断提升系统的稳定性和效率,为公司的业务提供大数据底层平台的支持和保证; 3、设计并实现对BI分析、数据产品开发、算法开发的系统性支持; 4、研究未来数据模型和计算框架的创新与落地,包括但不限于以下领域:大规模数据实时计算、研发模式敏捷化、数据计算框架轻量化、数据模型组织方式业务化等方面,参与制定并实践团队的技术发展路线; 5、建立良好的公司内外的业界技术影响力;参与培养未来数据人才;有效辅导团队,提升数据研发能力。 职位要求: 1、本科及以上学历,数学、计算机、软件工程类、通信类、电子信息、自动化或相关专业,3年以上工作经验; 2、掌握Hadoop、Kafka、Hive、Flink、HBase、ClickHouse、Zookeeper、Oozie、CDH等技术的使用; 3、熟练掌握Java开发,熟悉SpringBoot、SpringCloud等开发框架,有JVM调优经验 4、有大数据和分布式系统开发背景; 5、对用户画像、用户标签、用户行为分析等技术熟悉且有实战经验; 6、有较强的业务分析能力和问题定位能力; 7、性格开朗,勇于挑战;良好的人际关系,对技术追求工匠精神。 有以下经验者优先: 1)熟悉CDH集群调度,有集群搭建部署及管理维护经验优先 2)有Flink实时流处理、实时数仓开发经验优先 3)Java技术功底扎实,对多线程、高并发有深入实战经验
-
岗位职责: 1. 负责大数据体系全栈技术架构优化,组件调优,并根据业务需求持续优化平台性能、稳定性和可靠性。 2.把握大数据相关技术的演进发展趋势,负责新技术专项课题研究,大数据产品相关全栈技术的架构设计、技术选型等。 3. 负责大数据应用设计和研发,解决实时和离线计算流程中性能、功能等多方面的挑战,打造高性能、高可用、可扩展的系统,支撑多项目多场景的通用接入; 岗位要求: 1、 ***本科及以上学历,计算机相关专业; 2、 精通大数据及数据仓库原理,5年以上大数据平台研发经验或架构经验; 3、掌握Hadoop生态圈的主流技术及产品,精通Flink/Spark/HDFS/HBase/Hive/ES/Kafka/ClickHouse等大数据组件的原理和开发调优; 4、 精通Java/Scala开发语言,熟悉Redis/MongoDB/MySql/Neo4j数据库开发优先; 5、 有开源框架贡献记录或者源码阅读经验者优先; 6. 对最新的大数据相关技术趋势有敏锐的洞察力,具备与时俱进的学习研究能力。对湖仓一体、大数据云原生、储算分离、数据编织、知识计算、分布式协同计算、高性能跨源查询等方面有一定的了解和研究基础。 7、 有很强责任心、团队精神和持续研究学习的能力,能够接受工作挑战。
-
说明:公司的数据量PB级别,非常有挑战,机遇难得。 岗位职责: 1.负责大数据主流技术组件的基准测试以及与业务结合的性能测试。 2.负责主流实时、离线大数据架构体系研究及分享。 3.负责或参与大数据项目底层业务需求的分析、沟通、确认及实现。 4.负责或参与大数据项目底层的架构设计、设计评审、代码实现和评审。 5.参与项目上线后的性能监控、分析、调优等工作,保障系统的正常运行。 岗位要求: 1、计算机或相关专业,本科以上学历,1年或1年以上java开发经验。 2、熟悉JAVA编程,熟悉多线程开发、分布式开发,具备较扎实的编程基础和良好编程习惯。 3、熟悉Linux,熟悉Shell命令操作,执行安装部署程序及简单运维。 4、熟悉HaDoop生态,能熟练使用JAVA进行MapReduce、Spark等技术开发,熟悉分布式性能调优者优先考虑。 5、具备主人翁精神和团队精神,沟通协调表达较好,有上进心,能承受一定压力。 6、优秀java开发经验者或优秀的毕业生可考虑培养。
-
岗位职责: 1.负责为大数据技术解决方案、项目、产品提供医学专业支持,包括医学资料的查找、整理、归纳,以及临床研究解决方案的医学专业评估和输入; 2.负责为大数据技术解决方案或项目,进行数据挖掘和分析策略的医学规则和医学逻辑的拆解和整理,确保数据挖掘和分析的科学性; 3.跟踪和掌握国内外研究动态,针对疾病领域,主动发现、挖掘和设计大数据研究课题,包括流行病学、药物经济学、临床研究等研究方向,并与商务运营、大数据科研服务顾问一起与专家合作实施和发表; 4.独立或协助大数据科研服务顾问拜访各领域临床专家,了解最新临床研究需求和动态,并反馈给商务运营和大数据科研服务顾问,参与项目或解决方案的设计制定. 任职要求: 1.学历/专业:预防医学或流行病学专业,硕士以上学历; 2.经验:从事流行病学研究及相关工作2年以上,临床科研型学历背景且有临床工作经验者、或者为企业提供医学服务的专业公司工作经验者优先;优秀的应届毕业生亦可; 3.专业技能:熟悉临床常见疾病的诊疗流程;对疾病的诊疗有较深的认识和见解。对医疗大数据领域有一定的认知,有较强的研究或科研思维; 4.英文阅读能力:良好的英文文档阅读能力; 5.其它能力要求:有责任心和自驱力,能独立、主动开展工作;客户为先的思维,善于独立思考,有较强的创新和学习能力;具备较强的抗压能力、沟通谈判能力和团队协作能力;文化适应能力较强.
-
岗位职责: 1.负责大数据相关项目的架构设计; 2.负责数据仓库的建设、模型设计及研发工作; 3.负责大数据离线及实时程序的设计.研发及调优工作; 4.负责完成数据治理工作落地要求; 5.负责大数据相关新技术的研究及本地化应用。" 任职要求: 1.具有5年以上大数据平台和相关产品设计研发经验; 2.精通Hadoop、HDFS分布式存储系统原理; 3.精通Hive,精通HQL、SQL,并具有一定的调优能力; 4.熟悉Kafka/Kylin/Elasticsearch/Flume等主流工具; 5.精通数据仓库的体系架构理论,具有数据仓库模型设计和数据治理实战经验; 6.了解数据治理相关领域,能够牵头数据标准制定。"
-
职责描述: 1. 负责分布式大数据平台架构建设、数据建模和数据应用后端开发。 2. 负责大数据相关组件OLAP引擎、实时计算,文件存储等相关研究和开发。 3. 负责大数据系统及组件的性能、效率、稳定性分析与优化。 任职要求: 1. 熟悉Hadoop/Kafka/Presto/Kudu等大数据技术和组件,有5-7年大数据组件的使用和二次开发经验。 2. 具备扎实的计算机基础,熟悉分布式系统开发,熟悉云原生技术。 3. 精通Java开发语言,具有良好的编程开发能力。 4. 对新技术敏感,有一定独立分析,技术研究能力,具有良好的团队合作精神。 5. 能够深刻理解业务,善于利用技术实现相关业务价值。 6. 具备一定云原生技术经验(kubernetes ,Docker)者优先


