模拟数据库python,python怎么连接数据库

admin

作者

CyberDB模拟数据库python，一个基于 Python 字典和列表的内存数据库。

概括

CyberDB 是一个轻量级的 Python 内存数据库。它旨在利用 Python 内置数据结构字典、列表作数据存储，通过 TCP 套接字高效通信，并提供了数据持久化。该数据库的亮点在于它使用了 Pythonic 的方式编程，你可以像使用字典和列表一样使用 CyberDB。

现在模拟数据库python我们把 CyberDB 带到能发挥其作用的地方，在生产环境中将 CyberDB 作为 Flask 的内存数据库，使用 Gunicorn 运行，并实现多进程间的通信。

这篇文章通过一个尽可能精简的 Flask 实例讲解，不会涉及复杂的 Web 知识。核心思路为 CyberDB + Gunicorn + Gevent + Flask（多进程 + 协程），启动一个 CyberDB 服务器，使用 Gunicorn 多进程运行 Flask 实例，每个进程的实例通过 Gevent 运行，进程中使用 CyberDB 客户端连接至内存数据库，由此实现对 CyberDB 数据库的高并发访问。

源码解析

文章使用 PyPy 运行，同样适用 CPython。

运行环境: Debian 10, Python 3.8.12, PyPy 7.3.7

此项目的目录结构

.├── app.py├── cyberdb_init.py├── cyberdb_serve.py├── requirements.txt└── venv

我们通过列举每个文件的内容顺序讲解 CyberDB 的核心操作。

文件 requirements.txtCyberDB>=0.7.1Flask==2.1.1gevent==21.12.0gunicorn==20.1.0

这是此项目的依赖。这篇文章不是 Python 基础教程，如果你不清楚，请查询相关文档创建虚拟环境 venv目录并安装requirements.txt中的依赖。

生成 venv目录并安装好依赖后，下面所有操作都在激活的虚拟环境中运行。

文件 cyberdb_init.py

功能模拟数据库python：初始化 CyberDB 的表结构，只在第一次运行时使用，后续不再使用。

import timeimport cyberdbdb = cyberdb.Server# 配置 CyberDB 服务端的地址、端口、密码。db.start(host='127.0.0.1', port=9980, password='123456')# 待服务端启动后，连接 CyberDB 服务端。time.sleep(3)client = cyberdb.connect(host='127.0.0.1', port=9980, password='123456')# 生成 proxy 对象。with client.get_proxy as proxy: # 创建类型为 CyberDict 的表 centre，并初始化内容。 proxy.create_cyberdict('centre') centre = proxy.get_cyberdict('centre') centre['content'] = 'Hello CyberDB!'# 将 CyberDB 保存至 data.cdb 。db.save_db('data.cdb')

在项目根目录执行

python cyberdb_init.py

以完成 CyberDB 数据库表的初始化。

它会在 CyberDB 中创建了一个名为 centre、类型为CyberDict的表；初始化content键的值为Hello CyberDB!；最后将 CyberDB 数据库保存至硬盘（在项目根目录生成了名为data.cdb的文件）。

文件 cyberdb_serve.py

功能模拟数据库python：运行 CyberDB 服务端。

import cyberdbdef main: # 后台运行 CyberDB 服务端，设置相关信息。 db = cyberdb.Server # 从硬盘读取 data.cdb 至 CyberDB。 db.load_db('data.cdb') # 每 300 秒备份一次数据库。 db.set_backup('data.cdb', cycle=300) db.run( host='127.0.0.1', # TCP 运行地址 port=9980, # TCP 监听端口 password='hWjYvVdqRC', # 数据库连接密码 max_con=10000, # 最大并发数 encrypt=True, # 加密通信 print_log=False # 不打印日志 )if __name__ == '__main__': main

在项目根目录执行

python cyberdb_serve.py

以运行 CyberDB 服务端。

此处设置了 encrypt=True，CyberDB 会将 TCP 通信内容使用 AES-256 算法加密。开启encrypt=True后，CyberDB 仅允许白名单中的 IP 通信，默认白名单为['127.0.0.1']（查看白名单设置 *** ）。一般，若只需在本地进程间通信，无需开启encrypt=True和设置白名单，只有远程通信时需要此操作。

文件 app.py

功能：运行 Flask 实例和 CyberDB 客户端。

import cyberdbfrom flask import Flask, g# 连接 CyberDB 并生成客户端实例。client = cyberdb.connect( host='127.0.0.1', port=9980, password='hWjYvVdqRC', # 服务端若加密，客户端必须加密，反之亦然。 encrypt=True, # 每个连接若超过900秒无操作，将舍弃该连接。 # 连接由连接池智能管理，无需关注细节。 time_out=900)# 创建 Flask 实例，此部分请参考 # Flask 文档 https://flask.palletsprojects.com/app = Flask(__name__)@app.before_requestdef before_request: # 每次请求执行前生成 proxy 对象。 g.proxy = client.get_proxy # 从连接池获取连接。 g.proxy.connect@app.get("/")def hello_world: # 从数据库获取 centre 表。 centre = g.proxy.get_cyberdict('centre') return { 'code': 1, 'content': centre['content'] }@app.teardown_requestdef teardown_request(error): # 每次请求执行后归还连接至连接池。 g.proxy.closeif __name__ == '__main__': app.run(host='127.0.0.1', port=8000)

该模块会在每次请求执行前（before_request()）使用client.get_proxy获取proxy对象，每个获取的proxy对象可以绑定一个 TCP 连接，此处使用proxy.connect从连接池获取连接。视图函数hello_world中，由proxy获取的对象centre，与proxy共用同一个连接，proxy的连接释放后，centre也会失去连接。在每次请求后（teardown_request()）使用proxy.close *** 释放proxy绑定的连接，归还至连接池。

cyberdb.connect的time_out参数表示连接池中每个连接的超时时间，此处每个连接超过 900 秒无操作将被舍弃。若不设置该参数，连接池的每个连接会维持到失效为止。

使用 Gunicorn 运行 Flask 实例

Gunicorn 是一个用于 UNIX 的 Python WSGI HTTP 服务器，通常在生产环境使用，可以利用多核 CPU 。

Gevent 是一个基于协程的 Python 网络库。Gevent 会更改 CyberDB 客户端的底层套接字通信，使之支持协程。

在项目根目录运行

gunicorn -w 4 -b 127.0.0.1:8000 -k gevent app:app

使用 4 进程、Gevent 启动 Flask 实例。

浏览器访问 127.0.0.1:8000，得到如下响应：

{"code":1,"content":"Hello CyberDB!"}

参考信息

CyberDB 源码: https://github.com/Cyberbolt/CyberDB

总结