問 我是計算機專業的畢業生，目前處于求職狀態(tai)，想問(wen)一下爬蟲工程師的工作內容(rong)是什么？

答(da) 1.編寫大(da)(da)規(gui)模(mo)分(fen)布式網(wang)絡爬(pa)蟲（多線程、分(fen)布式調度、協議處(chu)理(li)）； 2.能用(yong)(yong)系(xi)統解決動(dong)態網(wang)頁(ye)內容抓取、深度網(wang)頁(ye)內容抓取的關鍵技術(shu)； 3.采用(yong)(yong)機器(qi)學習，信息檢(jian)索，大(da)(da)規(gui)模(mo)數據挖掘(jue)等工作。 4.爬(pa)蟲核心算法(fa)和(he)策略優(you)化,熟悉采集系(xi)統的調度策略，分(fen)析(xi)爬(pa)蟲系(xi)統瓶頸(jing)設計實現相應策略和(he)算法(fa)，提(ti)升爬(pa)蟲的抓取效(xiao)率(lv)和(he)質量(liang)。