岗位要求: 1、负责设计爬虫架构以及优化爬虫策略,提升抓取的效率和质量。 2、根据业务需求,爬取大型电商类平台信息并进行提取和分析,为业务部门提供数据支持。 3、负责现有爬虫的完善和维护工作,提升爬虫系统稳定性。 4、对爬虫系统及数据进行定期的检查,处理常见问题,保证爬取工作的高效开展。