摄影:产品经理回锅肉当我们采购数据集时,有时候供应商会以JSON Lines的形式交付给我们。这种格式,本质上是文本格式,它每一行是一个JSON。例如,供应商给我们了一个文件小红书全量笔记.json文件,我们可以使用如下Python代码来一行一行读取:123456importjsonwithopen('小红书全量笔记.json')asf:forlineinf:info = json.loads(line)note = info['note']print('笔记内容为:', note)这个格式的好处在于,每一次只需要把少量内容读取到内存中。即便这个文件有1TB,我们也可以使用一个4GB内存的电脑来处理。今天出了一个乌龙事件,某数据供应商在给我数据的时候,说的是以JSON Lines格式给我。但我拿过来解压缩以后一看,100GB的文件,里面只有1行,如下图所示:也就是说,他用的是一个超大JSON直接导出给我,并没有使用JSON Lines格式。正常情况下,如果我要直接解析这个数据,需要我的电脑内存超过100GB。这个大JSON大概格式是这样的:1[{"question":"xxx111","answer":"aaa","crawled_time":"2025-05-01 12:13:14"},{"
...
继续阅读
(160)