职位描述: 岗位职责:
1.负责设计和开发爬虫系统,管理分布式爬虫服务器,开发任务调度引擎;
2.负责爬虫核心算法的策略优化,提升爬虫抓取效率和质量;
3.设计爬虫策略和防屏蔽规则,解决封账号、封IP、验证码等难点攻克;
4.根据开发需求,完成基于PYTHON的模块开发;
5.参与数据分析功能研发。
岗位要求:
1.本科及以上学历,计算机等相关专业,3年及以上工作经验;
2.精通Python语言,至少2年Python相关的开发经验;
3.熟悉爬虫原理,熟悉常见的反爬虫技术,有爬虫系统设计开发经验;
4.有扎实的算法和数据结构能力及熟悉常用的Python 数据处理框架;
5.熟悉反爬策略的应对,能够解决封账号、封IP采集等问题;
6.熟悉Linux系统环境和Mysql、edis等数据库;
7.良好的沟通理解能力,抗压能力,学习能力。你将得到什么?【大神带队】【无责底薪+高于业内平均水平的提成+年终奖+公平晋升】【双休】【国家法定节假日休假】【深造基金】【六险一金】【节日礼金】【定期体检】【员工旅游】【全勤奖】等公司正处于高速发展期,“筑巢引凤,也为凤筑巢”,我们正在寻求认同我们文化价值观,愿意携手长期合作发展的优秀伙伴,一起共享资源和优势,联盟合作,追求共同的品牌理想,共享利益和发展!我们的光彩由你们来点亮,我们荣辱与共,共同跨越!