职位描述

工作职责:

1、负责公司的分布式数据采集平台设计和搭建，提供业务数据支持；

2、优化数据采集性能，实时监控数据采集进度和预警，保证数据采集的速度和稳定性，提供解决方案；

3、研究和破解各种反爬策略，具备基本加密算法逆向能力；

任职资格:

1、计算机及相关专业本科或以上学历，掌握Python/Java/C中任意一种编程语言；

2、精通网页抓取原理，有能力从结构化和非结构化的数据中提取信息；

3、熟悉至少一种开源爬虫框架，了解各组件工作流；

4、有能力分析反爬措施并提供解决方案；

5、熟悉多进程、分布式工作架构，有能力开发系统化的解决方案；

6、有js逆向、app逆向经验可优先考虑。