大数据开发
1.3-1.4万元/月
更新 2025-12-17 08:59:15
浏览 619
职位详情
数据开发
3-5年
要求数据开发经验 · ETL开发经验 · 其他 · Spark · 数据平台开发经验
核心技术与技能栈
1.数据管道设计与开发
精通汉得HDSP数据服务平台,熟悉其数据集成、数据开发、任务调度等核心模块。
熟练掌握ApacheDoris的架构原理,精通其数据模型(聚合模型、唯一模型、重复模型)、表结构设计(分区、分桶、RollUp物化视图)。
熟悉至少一种主流ETL/ELT工具,如DataX、SeaTunnel、Kettle、SparkSQL等,并能与HDSP进行结合使用。
2.数据集成与同步:
具备多种数据源(如Oracle、MySQL、SQLServer等关系型数据库)的接入和数据处理能力。
精通基于HDSP和Doris的离线数据管道架构设计,能够处理T+1的数据同步场景。
3.数据处理与开发:
熟练掌握SQL,具备优秀的SQL性能调优能力。
具备使用Doris进行复杂数据清洗、转换、聚合的开发经验者优先。
4.数据建模理论:
深入理解数据仓库分层理论(如ODS、DWD、DWS、ADS),并能基于业务场景进行合理的模型设计。
掌握维度建模技术,熟练运用星型模型、雪花模型,熟悉事实表、维度表、缓慢变化维等概念。
5.Doris专项技能:
精通Doris作为OLAP引擎的查询特性和优化点,能根据业务查询模式设计高效的数据模型和物化视图。
具备Doris集群规划能力,包括节点规划、分库分表策略、数据备份与恢复方案。
6.数据治理与质量保障
熟悉数据治理核心领域,包括但不限于元数据管理、数据血缘、数据质量标准、数据安全。
有使用或参与建设数据治理平台的经验,能利用HDSP或其他工具进行数据资产目录、数据标准的落地。
1.数据管道设计与开发
精通汉得HDSP数据服务平台,熟悉其数据集成、数据开发、任务调度等核心模块。
熟练掌握ApacheDoris的架构原理,精通其数据模型(聚合模型、唯一模型、重复模型)、表结构设计(分区、分桶、RollUp物化视图)。
熟悉至少一种主流ETL/ELT工具,如DataX、SeaTunnel、Kettle、SparkSQL等,并能与HDSP进行结合使用。
2.数据集成与同步:
具备多种数据源(如Oracle、MySQL、SQLServer等关系型数据库)的接入和数据处理能力。
精通基于HDSP和Doris的离线数据管道架构设计,能够处理T+1的数据同步场景。
3.数据处理与开发:
熟练掌握SQL,具备优秀的SQL性能调优能力。
具备使用Doris进行复杂数据清洗、转换、聚合的开发经验者优先。
4.数据建模理论:
深入理解数据仓库分层理论(如ODS、DWD、DWS、ADS),并能基于业务场景进行合理的模型设计。
掌握维度建模技术,熟练运用星型模型、雪花模型,熟悉事实表、维度表、缓慢变化维等概念。
5.Doris专项技能:
精通Doris作为OLAP引擎的查询特性和优化点,能根据业务查询模式设计高效的数据模型和物化视图。
具备Doris集群规划能力,包括节点规划、分库分表策略、数据备份与恢复方案。
6.数据治理与质量保障
熟悉数据治理核心领域,包括但不限于元数据管理、数据血缘、数据质量标准、数据安全。
有使用或参与建设数据治理平台的经验,能利用HDSP或其他工具进行数据资产目录、数据标准的落地。
相似职位
很抱歉,暂无相似职位!