大数据开发工程师(中化信息)
1.9-2万元/月
更新 2025-12-24 14:23:55
浏览 807
职位详情
数据开发
5-10年
Java · erp · 要求数据开发经验 · BI报表开发经验 · 实时数仓开发经验 · Spark · 数据平台开发经验 · 数据仓库开发经验 · Flink
岗位职责
数据集成
•负责SAP、Oracle-EBS、用友、金蝶等主流ERP系统数据的抽取工作,采用Sqoop、KafkaConnect、GoldenGate等工具实现高效同步。
•构建ODS与DWH分层体系,完成采购、库存、生产、财务、成本等关键业务模块的数据建模及ETL开发,技术栈覆盖Spark、Hive、Flink。
数据治理与质量
•制定物料、客户、供应商、会计科目、成本中心等主数据管理规范,设计并实施数据清洗、去重与补录逻辑;
•建立数据质量监控可视化平台,支持异常数据自动预警与闭环处理机制。
实时与准实时数据服务
•搭建“订单-库存-物流-资金”端到端实时数据链路,支撑T+0/T+1时效的业务分析需求;
•通过SpringBoot结合Presto、ClickHouse等引擎,封装标准化API与微服务接口,为SRM、MES、CRM及BI报表系统提供稳定数据支撑。
性能调优与成本治理
•针对月结、年结等高负载场景下的SQL语句与调度任务进行执行计划分析与性能优化,确保批处理作业在小时级SLA内完成;
•应用SparkAQE、Z-Order排序、Alluxio缓存等技术手段,整体降低30%以上的计算资源消耗与存储开销。
新技术研究
•探索ERP系统与AI技术融合方向,开展大模型在智能报账、预测性库存补货等场景的PoC验证,并推动成果落地应用
数据集成
•负责SAP、Oracle-EBS、用友、金蝶等主流ERP系统数据的抽取工作,采用Sqoop、KafkaConnect、GoldenGate等工具实现高效同步。
•构建ODS与DWH分层体系,完成采购、库存、生产、财务、成本等关键业务模块的数据建模及ETL开发,技术栈覆盖Spark、Hive、Flink。
数据治理与质量
•制定物料、客户、供应商、会计科目、成本中心等主数据管理规范,设计并实施数据清洗、去重与补录逻辑;
•建立数据质量监控可视化平台,支持异常数据自动预警与闭环处理机制。
实时与准实时数据服务
•搭建“订单-库存-物流-资金”端到端实时数据链路,支撑T+0/T+1时效的业务分析需求;
•通过SpringBoot结合Presto、ClickHouse等引擎,封装标准化API与微服务接口,为SRM、MES、CRM及BI报表系统提供稳定数据支撑。
性能调优与成本治理
•针对月结、年结等高负载场景下的SQL语句与调度任务进行执行计划分析与性能优化,确保批处理作业在小时级SLA内完成;
•应用SparkAQE、Z-Order排序、Alluxio缓存等技术手段,整体降低30%以上的计算资源消耗与存储开销。
新技术研究
•探索ERP系统与AI技术融合方向,开展大模型在智能报账、预测性库存补货等场景的PoC验证,并推动成果落地应用
相似职位
很抱歉,暂无相似职位!