大数据开发工程师(中化信息)
1.9-2万元/月
更新 2025-12-24 14:34:12
浏览 485
职位详情
数据开发
5-10年
Java · erp · 要求数据开发经验 · BI报表开发经验 · 实时数仓开发经验 · Spark · 数据平台开发经验 · 数据仓库开发经验 · Flink
岗位职责
数据集成
•负责从SAP/Oracle-EBS/用友/金蝶等主流ERP系统中抽取数据,使用Sqoop、KafkaConnect、GoldenGate等工具实现高效同步。
•主导ODS层与DWH层建设,完成采购、库存、生产、财务、成本等关键业务域的数据建模及ETL流程开发(基于Spark/Hive/Flink)。
数据治理与质量
•制定物料、客户、供应商、科目、成本中心等主数据管理规范,设计并实施数据清洗、去重与补录逻辑;
•构建数据质量监控体系,实现异常数据自动预警与闭环处理机制。
实时与准实时数据服务
•搭建“订单-库存-物流-资金”端到端实时数据链路,支撑T+0/T+1时效的业务分析需求;
•通过SpringBoot封装API或微服务,为SRM、MES、CRM、BI报表系统提供稳定高效的数据接口(集成Presto/ClickHouse)。
性能调优与成本治理
•针对月结、年结等高负载场景下的SQL与任务进行执行计划分析与性能优化,确保批处理作业在小时级SLA内完成;
•应用SparkAQE、Z-Order排序、Alluxio缓存等技术手段,整体降低30%以上的计算资源消耗与存储开销。
新技术研究
•探索ERP系统与AI技术融合场景(如大模型驱动的智能报账、预测性库存补货),完成技术验证(PoC)并推进成果落地应用
数据集成
•负责从SAP/Oracle-EBS/用友/金蝶等主流ERP系统中抽取数据,使用Sqoop、KafkaConnect、GoldenGate等工具实现高效同步。
•主导ODS层与DWH层建设,完成采购、库存、生产、财务、成本等关键业务域的数据建模及ETL流程开发(基于Spark/Hive/Flink)。
数据治理与质量
•制定物料、客户、供应商、科目、成本中心等主数据管理规范,设计并实施数据清洗、去重与补录逻辑;
•构建数据质量监控体系,实现异常数据自动预警与闭环处理机制。
实时与准实时数据服务
•搭建“订单-库存-物流-资金”端到端实时数据链路,支撑T+0/T+1时效的业务分析需求;
•通过SpringBoot封装API或微服务,为SRM、MES、CRM、BI报表系统提供稳定高效的数据接口(集成Presto/ClickHouse)。
性能调优与成本治理
•针对月结、年结等高负载场景下的SQL与任务进行执行计划分析与性能优化,确保批处理作业在小时级SLA内完成;
•应用SparkAQE、Z-Order排序、Alluxio缓存等技术手段,整体降低30%以上的计算资源消耗与存储开销。
新技术研究
•探索ERP系统与AI技术融合场景(如大模型驱动的智能报账、预测性库存补货),完成技术验证(PoC)并推进成果落地应用
相似职位
很抱歉,暂无相似职位!