任意复杂度的 JSON 数据转换为多个结构化的 Pandas DataFrame 表格

以下是一个 完整、结构清晰、可运行的 Python 工具,用于将任意复杂度的 JSON 数据转换为多个结构化的 Pandas DataFrame 表格。该工具支持嵌套对象、嵌套数组,并通过主键和外键建立表之间的关联关系。

if __name__ == "__main__":# 示例 JSON 数据json_data = {"name": "Alice","age": 28,"address": {"city": "Chicago","zip": "60601"},"hobbies": [{"name": "Reading", "level": "Intermediate"},{"name": "Cooking", "level": "Advanced"}]}# 初始化转换器converter = JsonToTablesConverter()# 执行转换converter.flatten(json_data)# 获取生成的 DataFramedfs = converter.to_dataframes()# 打印结果for table_name, df in dfs.items():print(f"Table: {table_name}")print(df)print()
import pandas as pd
from collections import defaultdictclass JsonToTablesConverter:def __init__(self):self.tables = defaultdict(list)  # 存储所有表的记录self.id_counter = 0              # 主键生成器def generate_id(self):"""生成自增主键"""self.id_counter += 1return self.id_counterdef flatten(self, data, table_name="root", parent_id=None):"""递归处理 JSON 数据,生成结构化表:param data: JSON 数据(字典或列表):param table_name: 当前处理的表名:param parent_id: 父表主键(用于外键引用):return: 返回当前结构的主键 ID"""if isinstance(data, dict):# 当前表的主键current_id = self.generate_id()record = {f"{table_name}_id": current_id}# 如果有父表,添加外键if parent_id is not None:record["parent_id"] = parent_id# 遍历字典中的每个字段for key, value in data.items():if isinstance(value, dict):# 嵌套对象:递归处理,返回子表主键child_id = self.flatten(value, f"{table_name}_{key}", current_id)record[f"{key}_id"] = child_idelif isinstance(value, list):# 嵌套数组:递归处理每个元素for item in value:self.flatten(item, f"{table_name}_{key}", current_id)else:# 基本类型字段:直接作为当前表的列record[key] = value# 将当前记录添加到对应表中self.tables[table_name].append(record)return current_idelif isinstance(data, list):# 处理数组中的每个元素for item in data:self.flatten(item, table_name, parent_id)def to_dataframes(self):"""将收集的表数据转换为 Pandas DataFrame:return: 字典形式的 {表名: DataFrame}"""return {name: pd.DataFrame(records) for name, records in self.tables.items()}def reset(self):"""重置状态,用于多次转换"""self.tables.clear()self.id_counter = 0

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/79891.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【SSL部署与优化​】​​HTTP/2与HTTPS的协同效应

HTTP/2与HTTPS的协同效应:为何HTTP/2强制要求TLS 1.2? HTTP/2是HTTP协议的现代升级版,旨在通过多路复用、头部压缩等技术提升性能。然而,HTTP/2的设计与部署与HTTPS(TLS加密)紧密相关,甚至强制…

爬虫请求频率应控制在多少合适?

爬虫请求频率的控制是一个非常重要的问题,它不仅关系到爬虫的效率,还涉及到对目标网站服务器的影响以及避免被封禁的风险。合理的请求频率需要根据多个因素来综合考虑,以下是一些具体的指导原则和建议: 一、目标网站的政策 查看网…

使用Visual Studio将C#程序发布为.exe文件

说明 .exe 是可执行文件(Executable File)的扩展名。这类文件包含计算机可以直接运行的机器代码指令,通常由编程语言(如 C、C、C#、Python 等)编译或打包生成。可以用于执行自动化操作(执行脚本或批处理操…

分布式1(cap base理论 锁 事务 幂等性 rpc)

目录 分布式系统介绍 一、定义与概念 二、分布式系统的特点 三、分布式系统面临的挑战 四、分布式系统的常见应用场景 CAP 定理 BASE 理论 BASE理论是如何保证最终一致性的 分布式锁的常见使用场景有哪些? 1. 防止多节点重复操作 2. 资源互斥访问 3. 分…

常见相机焦段的分类及其应用

相机焦段是指镜头的焦距范围,决定了拍摄时的视角、画面范围和透视效果。不同焦段适合不同的拍摄场景和主题,以下是常见焦段的分类及其应用: 一、焦段的核心概念 焦距:镜头光学中心到成像传感器的距离(单位&#xff1a…

H5S 视频监控AWS S3 对象存储

本文介绍一下如何使用S3对象存储作为H5S 存储空间进行录像存储 然后创建一个对象存储,本文以minio 为例(实际项目亲测天翼云): 首先安装 s3fs 如果是redhat系列,使用如下命令 sudo yum install epel-release sudo yum install s3fs-fuse …

算法第十八天|530. 二叉搜索树的最小绝对差、501.二叉搜索树中的众数、236. 二叉树的最近公共祖先

530. 二叉搜索树的最小绝对差 题目 思路与解法 第一想法: 一个二叉搜索树的最小绝对差,从根结点看,它的结点与它的最小差值一定出现在 左子树的最右结点(左子树最大值)和右子树的最左结点(右子树的最小值…

Nginx 动静分离在 ZKmall 开源商城静态资源管理中的深度优化

在 B2C 电商高并发场景下,静态资源(图片、CSS、JavaScript 等)的高效管理直接影响页面加载速度与用户体验。ZKmall开源商城通过对 Nginx 动静分离技术的深度优化,将静态资源响应速度提升 65%,带宽成本降低 40%&#xf…

PostgREST:无需后端 快速构建RESTful API服务

在现代 Web 开发中,API 已成为连接前后端的核心桥梁,传统的做法是通过后端框架来构建API接口,然后由前后端人员进行联调。 PostgREST是基于无服务器的一种实现方案,允许开发者将PostgreSQL数据库直接暴露为RESTful API&#xff0…

MySQL——九、锁

分类 全局锁表级锁行级锁 全局锁 做全库的逻辑备份 flush tables with read lock; unlock tables;在InnoDB引擎中,我们可以在备份时加上参数–single-transaction参数来完成不加锁的一致性数据备份 mysqldump --single-transaction -uroot -p123456 itcast>…

基于 Kubernetes 部署容器平台kubesphere

一 前言: k8s 大家都已经非常熟悉了,网上流传着非常多的搭建部署文档,有kubeadmin的有二进制的,还有基于第三方的部署工具的,反正是各种部署方法都有,k8s部署技术热门可见一斑。但是不管哪种部署都需要了解…

RDD算子-行为算子

RDD 算子探秘:行为算子的深度解析与实战应用​ 在 Spark 的 RDD 编程模型中,转换算子负责构建数据处理的逻辑流程,但真正触发计算并产生最终结果的是行为算子(Action Operators)。与转换算子的惰性求值特性不同&#…

Oracle — PL-SQL

介绍 Oracle PL/SQL是专为Oracle数据库设计的过程化编程语言,深度融合SQL语句与结构化编程逻辑,旨在高效处理复杂数据操作与业务规则。其核心特征为“块结构”,程序由声明、执行、异常处理三部分组成,支持模块化开发,显…

高防ip支持哪些网络协议

高防IP通常支持多种网络协议,以提供全面的网络安全防护。以下是一些主要支持的网络协议及其相关说明: TCP协议(传输控制协议): TCP协议是最常见的传输协议,广泛应用于互联网通信。高防IP通过对TCP协议的防…

Flutter基础()

导航栏 appBar: AppBar() title: const Text(搜索) //标题 backgroundColor: Colors.blue //背景颜色 centerTitle: true //标题居中leading 属性 作用: 放置在应用栏左侧的控件,通常是一个图标按钮,用于导航或打开菜单。 AppBar(le…

ESP系列单片机选择指南:结合实际场景的最优选择方案

前言 在物联网(IoT)快速发展的今天,ESP系列单片机凭借其优异的无线连接能力和丰富的功能特性,已成为智能家居、智慧农业、工业自动化等领域的首选方案。本文将深入分析各款ESP芯片的特点,结合典型应用场景,帮助开发者做出最优选择…

搭建Caffeine+Redis多级缓存机制

本地缓存的简单实现方案有HashMap,CucurrentHashMap,成熟的本地缓存方案有Guava 与 Caffeine ,企业级应用推荐下面说下两者的区别 1. 核心异同对比 特性Guava CacheCaffeine诞生背景Google Guava 库的一部分(2011年)…

【Linux系统】第四节—详解yum+vim

hello 我是云边有个稻草人 Linux—本节课所属专栏—欢迎订阅—持续更新中~ 目录 画板—本节课知识点详解 一、软件包管理器 1.1 什么是软件包 1.2 Linux软件⽣态 1.3 yum具体操作 【查看软件包】 【安装软件】 【卸载软件】 【注意事项】 1.4 安装源 二、vim 2.1 …

EasyRTC嵌入式音视频通信SDK打造带屏IPC全场景实时通信解决方案

一、方案概述​ 在智能安防与物联网快速发展的背景下,带屏IPC(网络摄像机)不仅承担着视频采集与监控的基础功能,还逐渐向多样化交互与智能化方向演进。EasyRTC作为一款强大的实时通信框架,具备低延迟、高稳定性、跨平…

Linux下的c/c++开发之操作Redis数据库

C/C 操作 Redis 的常用库 在 C/C 开发中操作 Redis 有多种方式,最主流的选择是使用第三方客户端库。由于 Redis 官方本身是使用 C 编写的,提供的 API 非常适合 C/C 调用。常见的 Redis C/C 客户端库包括: hiredis:官方推荐的轻量…