岗位职责:
1、负责网页信息和APP数据爬取、清洗、消重等工作；
2、负责舆情数据（比如微博、头条、小程序、网站等）爬取，丰富公司的数据体系；
3、参与爬虫核心算法和策略优化，熟悉采集系统的调度策略；
4、设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作，提升抓取效率；

任职资格:
1、计算机、网络相关专业，有扎实的算法和数据结构能力；
2、至少熟练掌握python、java、golang等至少一种开发语言；
3、掌握http协议，熟悉html、dom、xpath等常见的数据抽取技术；
4、熟悉爬虫原理，熟悉常见的反爬虫技术；