大数据开发工程师

职责描述：
1.负责数据仓库的ETL流程开发，涵盖离线、准实时及实时数据任务的构建与维护；
2.参与公司数据平台的整体设计与开发，包括OLAP查询引擎及相关产品和平台化功能的研发；
3.主导数据仓库与数据湖的架构设计与管理，持续优化数据存储结构与查询效率；
4.关注并引入前沿的数据处理技术与工具，推动数据开发流程优化与处理性能提升；

任职要求：
1.计算机相关专业背景，具备5年以上数据仓库开发与实施经验，熟悉主流大数据技术栈；
2.熟悉Mysql、Hbase、Hive、Doris、ClickHouse、ES等存储系统的架构特点，能结合业务场景合理选择技术方案；
3.精通Hadoop、Spark、Flink、Kafka等大数据框架，具备海量数据处理实战能力；熟练使用DataWorks、kettle等ETL工具；
4.具备离线数仓（湖）与实时数仓（湖）的架构设计能力，并有成功落地的实际项目经验（必需）；
5.熟悉Iceberg框架，具备实际开发与应用经验；
6.精通至少一门编程语言，如Java、Python；