【职责描述】
1.开展分布式爬虫系统的设计与开发
2.主导或参与爬虫算法、反反爬机制及代理IP调度策略的研究与实际应用，提升数据采集的时效性与成功率
3.对获取的数据进行清洗、结构化处理与存储，并持续迭代优化数据处理平台
4.参与或负责爬虫自动化系统的构建与长期优化

【任职要求】
1.掌握主流爬虫技术架构，具备反爬虫机制分析与应对能力，两年以上相关领域工作经验
2.具备大型电商平台、直播平台、社交网络或本地生活类平台数据采集经验，有逆向工程实践者优先
3.精通Scrapy-Redis、Redis、MongoDB、Mysql、Git等工具链
4.熟悉Linux操作系统下的开发流程，熟练使用Python进行项目开发
5.掌握Selenium、Pyppeteer等浏览器自动化工具
6.具备JS逆向、安卓端逆向能力，可实现环境补全与RPCHOOK操作
7.能独立编写frida、xposedhook插件
8.两年及以上相关行业开发经验