Python 数据持久化|杨云帆的个人网站

在本文中，我们将介绍Python中如何保存对象（数据持久化）。对象保存是指将内存中的对象转换为可存储或传输的形式，并在需要时恢复为对象的过程。在实际开发中，对象保存很常见，它可以用于数据持久化，数据传输，或者在不同的系统之间共享对象。

Python提供了多种方式来实现对象保存，下面我们将介绍几种常用的方法。

Pickle 标准库

Pickle 是Python标准库中用于对象保存的模块。它可以将对象序列化为字节流，以便存储或传输，并且能够将字节流反序列化为原始对象。

Pickle的使用非常简单。我们可以使用pickle.dump(obj, file)将对象保存到文件中，使用pickle.load(file)从文件中加载对象。

下面是一个示例，我们定义了一个Person类，并创建了一个Person对象。然后我们将该对象保存到文件中，再从文件中读取并恢复为原始对象。

import pickle

class Person:
    def __init__(self, name, age):
        self.name = name
        self.age = age

person = Person("Alice", 25)

# 保存对象到文件
with open("person.pickle", "wb") as file:
    pickle.dump(person, file)

# 从文件中加载对象
with open("person.pickle", "rb") as file:
    loaded_person = pickle.load(file)

print(loaded_person.name)  # 输出：Alice
print(loaded_person.age)  # 输出：25

在上述示例中，我们使用了pickle.dump()将person对象保存到名为”person.pickle”的文件中。然后使用pickle.load()从文件中读取对象并赋值给loaded_person变量。最后打印loaded_person的属性，可以看到对象已成功保存和恢复。

需要注意的是，Pickle保存的是原始字节流，因此存储的文件是不可读的，只能由Python解析。此外，使用Pickle保存对象时，需要确保对象中的所有属性都是可序列化的，否则会出现错误。

JSON

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式。它以文本形式来表示结构化数据，并且易于阅读和理解。在Python中，可以通过内置的json模块来实现对象的JSON保存和加载。

JSON与Pickle相比，具有平台无关性，可以被多种编程语言解析和生成。然而，JSON只能保存一些基本的数据类型，例如整数、浮点数、字符串、布尔值、数组和字典等。

下面是一个示例，我们使用JSON保存和加载一个Person对象。

import json

class Person:
    def __init__(self, name, age):
        self.name = name
        self.age = age

person = Person("Alice", 25)

# 将对象保存为JSON字符串
person_json = json.dumps(person.__dict__)

# 将JSON字符串保存到文件
with open("person.json", "w") as file:
    file.write(person_json)

# 从文件中加载JSON字符串并转换为对象
with open("person.json", "r") as file:
    loaded_person_json = file.read()
    loaded_person_dict = json.loads(loaded_person_json)
    loaded_person = Person(**loaded_person_dict)

print(loaded_person.name)  # 输出：Alice
print(loaded_person.age)  # 输出：25

在上述示例中，我们通过调用json.dumps()将person对象转换为JSON字符串，并使用file.write()将JSON字符串保存到文件中。然后使用file.read()读取文件内容并调用json.loads()将JSON字符串转换为Python字典。最后，我们通过传递字典的关键字参数来创建新的Person对象。

需要注意的是，person.__dict__返回了一个包含person对象所有属性的字典，因此我们可以直接将其转换为JSON字符串。在加载时，我们也需要确保字典的键与对象的属性名称相匹配，以便生成正确的对象。

SQLite数据库

如果需要保存大量数据并进行高效查询，可以使用数据库来完成。在Python中，可以使用内置的sqlite3模块来操作SQLite数据库。

SQLite是一种嵌入式数据库引擎，它不需要单独的服务器进程，而是将整个数据库作为一个文件存储在磁盘上。SQLite支持标准的SQL语法，并提供了轻量级的事务支持。

下面是一个示例，我们使用SQLite将Person对象保存到数据库中，并通过SQL查询获取数据。

import sqlite3

class Person:
    def __init__(self, name, age):
        self.name = name
        self.age = age

person = Person("Alice", 25)

# 连接数据库并创建表格
conn = sqlite3.connect("person.db")
cursor = conn.cursor()
cursor.execute("CREATE TABLE IF NOT EXISTS persons (name TEXT, age INTEGER)")

# 将对象保存到数据库
cursor.execute("INSERT INTO persons VALUES (?, ?)", (person.name, person.age))
conn.commit()

# 从数据库中加载对象
cursor.execute("SELECT * FROM persons")
loaded_person_row = cursor.fetchone()
loaded_person = Person(*loaded_person_row)

print(loaded_person.name)  # 输出：Alice
print(loaded_person.age)  # 输出：25

# 关闭数据库连接
cursor.close()
conn.close()

在上述示例中，我们首先连接到名为”person.db”的SQLite数据库，并创建了一个名为”persons”的表格。然后使用cursor.execute()执行SQL语句来插入数据到表格中，并通过conn.commit()提交事务。接着，我们使用cursor.fetchone()获取表格中的一行数据，并通过解包赋值给loaded_person_row变量。最后，我们创建新的Person对象，通过解包loaded_person_row中的值来传递给构造函数。

CSV文件

如果想将对象保存为表格形式，可以使用CSV（逗号分隔值）文件。Python提供了csv模块，方便我们进行CSV文件的读写操作。

下面是一个示例，我们使用CSV文件来保存两个Person对象的信息，并通过CSV文件读取和加载数据。

import csv

class Person:
    def __init__(self, name, age):
        self.name = name
        self.age = age

persons = [
    Person("Alice", 25),
    Person("Bob", 30),
]

# 将对象保存到CSV文件
with open("persons.csv", "w", newline="") as file:
    writer = csv.writer(file)
    for person in persons:
        writer.writerow([person.name, person.age])

# 从CSV文件中加载对象
loaded_persons = []
with open("persons.csv", "r") as file:
    reader = csv.reader(file)
    for row in reader:
        loaded_persons.append(Person(row[0], int(row[1])))

for person in loaded_persons:
    print(person.name, person.age)

在上述示例中，我们使用了csv.writer将persons列表中的对象信息写入CSV文件中。每个对象的信息以一行的形式保存，并使用逗号进行分隔。在加载时，我们使用csv.reader从CSV文件中逐行读取数据，并通过构造函数创建Person对象。

需要注意的是，在保存和加载CSV文件时，需要确保对象属性与CSV文件中的列对应。在加载时，我们需要根据CSV文件的结构来正确提取数据。

YAML

YAML（YAML Ain’t Markup Language）是一种人类可读的数据序列化格式。它以简洁、清晰的结构来表示数据，并且支持复杂的数据类型，如列表、字典、甚至嵌套的数据结构。在Python中，可以使用pyyaml库来处理YAML文件。

下面是一个示例，我们使用YAML文件保存和加载一个Person对象。

import yaml

class Person:
    def __init__(self, name, age):
        self.name = name
        self.age = age

person = Person("Alice", 25)

# 将对象保存到YAML文件
with open("person.yaml", "w") as file:
    yaml.dump(person.__dict__, file)

# 从YAML文件中加载对象
with open("person.yaml", "r") as file:
    loaded_person_dict = yaml.load(file, Loader=yaml.SafeLoader)
    loaded_person = Person(**loaded_person_dict)

print(loaded_person.name)  # 输出：Alice
print(loaded_person.age)  # 输出：25

在上述示例中，我们通过yaml.dump()将person对象的字典形式保存到YAML文件中。然后使用yaml.load()从YAML文件中加载字典，并通过传递字典的关键字参数来创建新的Person对象。

需要注意的是，在加载YAML文件时，我们使用了yaml.SafeLoader作为加载器。这是为了防止潜在的安全漏洞，因为默认的加载器不是安全的。