Web Scrapping with XPath

在编写爬虫采集网页数据时,XPath是款不可多得的工具。
无论页面结构长相多么古怪,总是可以通过XPath来解决。

CSS选择器搞不定的,一般都可以用XPath解决。
用下面这条XPath语句,就可以来采集本科类专业.

//div[@class="r_zyjs_T" and contains(., "本科类")]/following-sibling::ul[not(preceding-sibling::div[@class="r_zyjs_T" and contains(., "专科类")])]