1、 负责对多平台数据源（WEB/APP/H5/小程序/公众号等）进行爬虫设计、开发与维护，以及相应信息的抽取、清洗、消重、匹配和结构化处理，保证数据质量与采集效率
2、 攻克解决各类反爬问题，如JS 混淆逆向、字体加密、验证码等
3、 有效地与业务、一线人员、产品经理进行沟通，进行迭代开发
4、 负责参与设计分布式爬虫系统，爬虫管理平台，参与爬虫系统存储，传输，调度，监控的设计与研发
5、 负责带领爬虫团队高效的完成指定需求任务
任职资格：
1、 3年以上大规模网页爬虫经验，2年以上Python开发经验，掌握多线程/协程编程，熟练使用过一种以上Python后端框架
2、 熟悉Linux平台，熟练掌握shell多线程编程
3、 熟练掌握爬虫底层框架，例如scrapy、scrapy-redis、feapder、pyspider，熟悉爬虫系统、分布式爬虫设计原理
4、 熟悉Fiddler, Charles, Wireshark、Mitmproxy、HTTP debugger、BurpSuite, TCPDump等网络协议分析工具
5、 熟悉TCP/IP，HTTP/HTTPS等相关网络协议，以及数据抓包、分析
6、 精通web hook技术、内存漫游等调式方式
7、 精通JavaScript逆向，能够快速处理常见的反爬虫，熟悉常用的应对方案，可以应对一二线反爬虫产品
8、 熟练使用MySQL、MongoDB、redis等，了解infludb
9、 熟悉ClickHouse、hadoop生态圈、Hive、Elasticsearch、kafka、RabbitMQ等大数据相关技术；
加分项：
1、 熟练App抓取方案
2、 熟悉Xposed、frida框架和熟练常见移动端Hook技术，有Xposed模块编写经验
3、 掌握Android逆向静态分析、动态调试, 掌握Apktool、dex2jar、JD-GUI、IDA, JEB等工具
4、 熟悉AST语法树