岗位职责:
1、负责医疗器械数据链路上各个网站的数据采集与增量维护;
2、负责爬虫系统框架的设计与开发,负责开发高性能抓取架构,支持业务发展;
3、爬虫核心算法的策略优化,需针对平台反爬规则、加密反编译的研究;
4、数据库调取、入库、维护等工作;
5、解决项目开发需求,及Bug修正,对问题进行协调沟通。
任职要求
1、 计算机相关专业毕业优先;
2、2年以上爬虫、app逆向和js rpc等经验;
3、精通python、fiddler、 js、html、css;
4、精通网页抓取原理和相关技术,正则表达式, xpath,css selector 的使用;
6、熟悉常见的爬虫框架比如scrapy、pyspider和feapder
7、熟悉常见的加密、解密算法,对于风控策略有一定的应对经验;
8、熟悉 Mysql等主流数据库管理系统;
9、熟悉git,具有良好编程习惯;
10、中共党员优先。