- 工作内容:
1、负责内部数据生产工作,编写大数据作业脚本,高质量完成数据需求。
2、迭代及维护数据采集、清洗、转换和加载流程,提高数据生产效率。
3、参与湖仓建设,监控系统性能,进行系统优化。
岗位要求:
1、计算机相关专业本科及以上学历,1年以上Python开发经验及湖仓工作经验。
2、熟练掌握Python语言,了解Python的常用框架和库;熟悉shell语言。
3、了解大数据生态,如mapreduce、spark等。
4、具备良好的数据结构和算法基础,能够编写高效、可维护的代码。
5、熟练使用Git等版本控制工具,具备良好的代码管理习惯。
6、有iceberg及doris经验者优先。
|