網絡爬蟲工程師

  薪資:10001-15000元/月

 
職位: 網絡爬蟲工程師
工作地點: 上海-虹口
學歷: 不限
招聘人數: 2

崗位職責:

1) 負責網絡爬蟲系統的搭建和相關開發工作;

2) 與網絡爬蟲需求部門和人員合作,一起研討技術實現方案;

3) 負責爬取靜態網頁和動態網頁的數據;

4) 分析爬取的網頁結構,解析提取出對應數據;

5) 能夠快速有效的清洗、去重數據;

6) 不斷探索並總結網絡爬蟲的開發模式和規範。

任職要求:

1) 掌握JAVA、Python編程語言;

2) 精通HTML,熟悉網頁前端技術如JavaScript,Ajax等;

3) 熟悉常用的開源工具如Lucene、Nutch、Heritrix、larbin、HtmlParse、Scrapy等;

4) 熟練使用正則表達式;精通網頁抓取原理及技術,從結構化的和非結構化的數據中獲取信息;

5) 熟悉Mysql數據庫的使用,熟悉Nosql數據庫如MongoDB等;

6) 較強的領悟能力和溝通能力,有很好的團隊合作精神;

7) 具備Web挖掘等搜索引擎相關知識,有從事網絡爬蟲、網頁去重、網頁信息抽取工作經驗者優先。3年以上工作經歷,特別優秀者可不限,本科及以上學歷。