好獵頭網-中高級人才獵頭網站!服務熱線:400-9910-288 好獵頭   |   登錄 注冊

爬蟲架構師崗位職責、要求

添加時間:2019-06-27 10:59:29
瀏覽次數: 0
爬蟲架構師職位要求
1.全日制本科及以上,5年以上python/java開發經驗,3年以上數據抓取工作經驗;
2.精通使用分布式基本知識,設計與開發爬蟲系統架構;
3.精通使用爬蟲相關技術,如:python, scrapy, selenium, xpath, 正則表達式 但不限于以上技術等,有app研發背景或app爬蟲開發經驗佳,有逆向經驗尤佳;
4.精通高并發、高性能的分布式系統的設計及應用,熟悉常用數據存儲,各種數據處理技術優先; 
5.能夠解決封賬號、封IP采集等問題,解決網頁抓取、信息抽取等問題,構建完善的網絡信息收集平臺;
6.熟悉Linux常用命令,獨立完成日常部署更新等;
7.具備較強的團隊協作精神,工作責任心強,良好的溝通、理解、執行能力。

爬蟲架構師崗位職責
1.參與消費大數據的建設,專注于垂直領域數據爬取,進行多平臺信息的抓取和分析; 
2.對爬蟲系統的架構設計與開發; 
3.深刻理解爬蟲系統架構,能對系統架構提出自己的見解和優化方案;
4.實現數據提取、清洗、結構化、入庫、統計分析等需求; 
5.建立爬蟲監測體系,及時分析及解決爬蟲在運行過程中出現的缺陷;
6.研究優化算法,提升爬蟲系統的穩定性、可擴展性; 
7.設計爬蟲策略和防屏蔽規則,提升網頁抓取的效率和質量; 
8.能獨立解決實際開發過程碰到的各類問題。

微信掃一掃
分享到朋友圈

pc蛋蛋信誉q群