数据开发工程师

岗位职责:
1、负责集市平台相关运营指标、用户行为特征的数据开发与加工工作
2、设计、开发并测试用于从历史数据系统及生产数据库中提取数据的程序
3、设计、开发并测试在数据进入BI系统前进行转换、校验与清洗的处理程序
4、设计、开发并测试将源系统初始数据与日常增量数据导入BI系统的加载程序
5、确保所设计的ETL流程符合系统性能与业务目标要求
6、明确需保留历史记录的数据字段及其存续周期
7、协助完成物理模型的设计与优化

任职要求:
具备银行数据平台、数据仓库或数据集市类项目经验，从业年限不少于3年
专业技能‌：熟练使用SQL、Python等常用编程语言，掌握分布式数据库高斯DB及Linux操作系统
技术框架‌：熟悉Hadoop、Hive、HBase、Spark、Kafka等主流大数据技术栈
数据建模与处理‌：具备数据建模与数据处理能力，可完成数据质量检查、分析处理及报表输出
问题解决能力‌：能高效排查并解决ETL过程中涉及的数据抽取、清洗、整合等技术问题
业务理解‌：深入理解业务需求，持续推动业务产品在数据采集与挖掘方面的优化
数据安全与运维‌：能够制定并落地执行数据建模、处理、运维及安全相关的架构规范