结构化数据和非结构化数据的提取【Python篇】

总结一下Pyhon提供的可以提取结构化数据以及非结构化数据的主流库。

1.常见数据的分类:

依据响应分类(附带对应的常用的解析方法~):

结构化数据:
   ① json数据(高频出现)
        json模块
        jsonpath模块
    ②xml数据(低频出现)
        re 模块(正则语法)
        lxml模块(xpath语法)
非结构化数据:
	①html
   	    re模块(正则语法)
        lxml模块(xpath语法)
        beautifulsoup(xpath,正则,css选择器)
        pyquery(css选择器)

小知识点:

  • xml和html的区别
    html :超文本标记语言,为了更好的显示数据,侧重于显示数据;
    xml : 可扩展性标记语言,为了传输和存储数据,侧重点在于数据内容的本身。

2.爬虫世界数据的分类:

结构化数据:json,xml等
    处理方式:直接转化