职位描述

工作职责：
1.对指定的网站进行网页抓取、数据提取、破解反爬策略；
2.爬取到的信息在前端进行分类汇总，直观的归纳出同一种商品在不同网站上的时时价格；
3.开发和设计分布式网络爬虫系统，进行信息的抓取和分析工作；
4.研究优化爬虫算法，提升爬虫系统的稳定性、可扩展性；
5.独立解决实际开发过程中碰到的各类产品数据需求和接口问题。

任职要求：
1.全日制专科及以上学历，计算机相关专业，5年以上相关工作经验；
2.精通 Python 语言，精通常见开源爬虫框架；
3.熟悉抓包工具，精通网页抓取原理及技术，精通正则表达式，熟练从结构化和非结构化的数据中获取信息；
4.精通 selenium 网页自动化抓取技术；
5.熟悉破解网站验证码、绕过机器人检测等技术；
6.熟悉JS debugger、JS解密逆向
7.web安全产品有破解方案者优先
8.具备优秀的逻辑思维能力，对解决挑战性问题充满热情，善于分析问题/解决问题；
9.此项目为长期项目，第一阶段是爬取展示，第二阶段会把展示的结果运用到我们自己网站的后台;