python解析json文件并提取「python逐行读取json」

前言

前几天有粉丝在群里问了一个json文件处理的问题。

看上去他只需要follower和ddate这两个字段下的对应的值。

我们知道json是一种常见的数据传输形式，所以对于爬取数据的数据解析，json的相关操作是比较重要的，能够加快我们的数据提取效率。

关于这个问题，倒不是很难，群里提出了三个方法，第一个是才哥说的pd处理或者正则表达式，第二个是小编自己提出的json处理，第三个是【成都-IT技术支持-小王】提出的jsonpath，总之方法很多，这里给出4个处理方法，希望下次粉丝们再遇到类似问题的时候，有章可循。

这个方法可以看看，通过匹配的方法进行提取，代码如下所示：

import reimport jsonfile = open("漫画.txt", "r", encoding="utf-8")content = file.readlineddate_result1 = re.findall(""ddate":"(d -d -d )"", content)ddate_result2 = re.findall(""ddate":"(.*?)"", content)follower_result1 = re.findall(""follower":(d ),"", content)print(ddate_result1)print(ddate_result2)print(follower_result1)

运行之后，可以得到结果：

关于ddate，follower获取的方法肯定还有很多其他写法，这里只是抛砖引玉，欢迎大家多多尝试。

关于jsonpath的用法，之前在这篇文章中有提及，感兴趣的小伙伴也可以去看看：数据提取之JSON与JsonPATH。

下面是【成都-IT技术支持-小王】大佬给的代码：

from jsonpath import jsonpathimport json"""follower和ddate"""with open("漫画.txt", encoding="utf-8") as file:file_json = json.loads(file.readline)follower = jsonpath(file_json, "$..follower")ddate = jsonpath(file_json, "$..ddate")print(follower)print(ddate)

代码运行之后，就会得到想要的数据，如下图所示：

这个..就和xpath里面的//一样，子孙节点，$是根节点。

这个是另外一个用法了，小号【皮皮】提供的，直接上代码。

import jsonimport jsonpath# obj = json.load(open("罗翔.json", "r", encoding="utf-8")) # 注意，这里是文件的形式，不能直接放一个文件名的字符串file = open("漫画.txt", "r", encoding="utf-8") # 注意，这里是文件的形式，不能直接放一个文件名的字符串obj = json.loads(file.readline)follower = jsonpath.jsonpath(obj, "$..follower") # 文件对象 jsonpath语法ddate = jsonpath.jsonpath(obj, "$..ddate") # 文件对象 jsonpath语法print(follower)print(ddate)

代码运行之后，也可以得到预期的结果。

当然了，如果你的文件本来就是json文件，也可以直接读取，代码类似：

import jsonimport jsonpathobj = json.load(open("罗翔.json", "r", encoding="utf-8")) # 注意，这里是文件的形式，不能直接放一个文件名的字符串# file = open("罗翔.json", "r", encoding="utf-8") # 注意，这里是文件的形式，不能直接放一个文件名的字符串# obj = json.loads(file.readline)follower = jsonpath.jsonpath(obj, "$..follower") # 文件对象 jsonpath语法ddate = jsonpath.jsonpath(obj, "$..ddate") # 文件对象 jsonpath语法print(follower)print(ddate)

运行之后，也可以得到预期的结果：

这个是群里【深圳-Hua Bro】华博提供的，代码如下：

import jsonimport jsonpathwith open("罗翔.txt", "r", encoding="UTF-8") as fr:file_json = eval(fr.read.replace("nu200b", "")) # 读取的str转为字典follower = jsonpath.jsonpath(file_json, "$..follower") # 文件对象 jsonpath语法ddate = jsonpath.jsonpath(file_json, "$..ddate") # 文件对象 jsonpath语法print(follower)print(ddate)

方法大同小异，运行之后，也可以拿到预取的目标数据，如下图所示。