数据库应该运行在 Docker 容器还是宿主机?
在生产环境运行 PostgreSQL、MySQL 或 Redis 容器是可行的。本文分析了容器化数据库的运维风险,重点讲解如何处理数据卷挂载、内存限制配置以及版本升级,避免因配置不当导致的数据丢失或性能瓶颈。
数据库应运行在 Docker 中还是宿主机上?
请将数据库运行在 Docker 中。对于部署在单台 VPS 上的应用栈,使用容器化的 PostgreSQL、MySQL、MongoDB 或 Redis 是生产环境的常规选择,关于此做法的争议通常偏离了重点。容器本质上是受命名空间(namespaces)和控制组(cgroups)限制的 Linux 进程,而非虚拟机,因此数据库与磁盘之间不存在虚拟化管理程序(hypervisor)。通过绑定挂载(bind mount)或本地命名卷(named volume),读写操作直接作用于宿主机文件系统,这与通过软件包管理器安装的效果一致。
真正的成本在于运维。以下四个因素决定了这种架构是稳健的方案还是缓慢的灾难:数据存储位置、目录所有权、大版本升级流程,以及是否进行过备份恢复测试。只要处理好这些环节,容器化方式本身只是一个技术细节。如果处理不当,容器反而会成为你归咎的对象。
对于服务器上的所有数据库,决策逻辑均相同。以下示例以 PostgreSQL、MySQL、MongoDB 和 Redis 为例,并在必要处说明了各产品的具体差异。
容器实际改变了什么
只要挂载了存储路径,容器就不会改变存储路径。内核、页缓存和文件系统均保持不变。
有一个真正的性能陷阱:不挂载任何卷。如果没有卷,数据目录会进入容器的可写层,这是一个叠加在镜像之上的覆盖文件系统(overlay filesystem)。该层的写入速度较慢,且容器删除时整个层也会被删除。这就是“今天早上我的数据库变空了”这类问题的来源。
真正改变的内容如下:
- 生命周期。
docker compose down会销毁容器。任何不在卷中的数据都会随之消失。 - 版本。镜像标签即版本。数据库容器内不存在能存活到下一次
docker compose pull的apt upgrade。 - 内存核算。cgroup 限制是内核强制执行的硬性边界,大多数数据库的默认配置不会自动适配该限制。MySQL 9.3 及更高版本会读取该限制以调整部分设置。MongoDB 会尝试为其 WiredTiger 缓存读取该限制,但其官方文档警告称在某些情况下可能失败。PostgreSQL 和 Redis 则完全不会读取。
- 用户。进程以容器内的数字用户 ID 运行,该 ID 在宿主机上可能不拥有任何权限。
数据存放位置决定一切
有两个可靠选项,还有一个常见错误。
- 命名卷:
pgdata:/var/lib/postgresql/data。Docker 会在/var/lib/docker/volumes/<project>_pgdata/_data创建目录,镜像的 entrypoint 会在首次运行时设置所有权。这是默认选择。 - bind mount:
/srv/appname/pg:/var/lib/postgresql/data。路径由您选择,因此权限问题也由您负责。 - 完全不挂载。参见上文。数据位于容器中。
完整的权衡取舍属于另一个主题,bind mount 与命名卷的比较对此有详细说明。对于数据库,简而言之:除非您有明确理由需要知道主机路径,否则应使用命名卷。如果确实使用 bind mount,请将其放在 /srv/appname/pg 这类稳定位置,而不要放在 git clean 可以访问的项目目录中。
请谨慎使用网络存储。不要将数据库数据目录放在 NFS(网络文件系统)或其他尚未测试其锁定和 fsync 行为的网络挂载上。PostgreSQL 对 NFS 规定了一项明确要求:挂载时必须使用 hard 选项;同时强烈建议在 NFS 服务器上使用 sync 导出选项,因为如果没有该选项,客户端上的 fsync 不保证能够到达服务器磁盘。数据库假设成功的 fsync 表示字节已写入稳定存储。当这一假设不成立时,数据损坏可能会在数周后才出现。
在卷丢失前固定卷名称
Compose 将卷命名为 <project>_<volume>,且项目名称默认为目录名。因此,卷的标识依赖于目录名,而人们经常会随意更改目录名。
将 /srv/app 移动到 /srv/app-old,或者重命名 compose 文件中的 pgdata 键,下一次执行 docker compose up -d 时就会创建一个全新的空卷。Postgres 会在其中初始化一个全新的集群。容器状态正常,应用启动,但所有数据表都消失了。好消息是,旧卷仍然以旧名称存在于磁盘上。
docker volume ls
docker volume inspect app_pgdata固定名称以防止此类情况发生。请显式设置项目名称和卷名称:
name: myapp
services:
db:
image: postgres:17
volumes:
- pgdata:/var/lib/postgresql/data
volumes:
pgdata:
name: myapp_pgdata如果现有的孤立卷中已包含数据,请在停止数据库后将其复制过去:
docker compose stop db
docker run --rm -v app_pgdata:/from -v myapp_pgdata:/to alpine sh -c 'cp -a /from/. /to/'
docker compose start db如果在数据库运行时进行复制,会导致正在写入的文件出现损坏。请务必先停止数据库。
数据目录由谁拥有
官方 Postgres、MySQL 和 MongoDB 镜像会以非特权数字用户 ID 运行服务器:默认标签使用 999,Postgres 的 -alpine 标签使用 70。容器以 root 启动时,entrypoint 会先将数据目录的所有权更改为该用户,然后降权运行。这就是为什么空的 bind mount 通常第一次就能正常工作。
只要在 compose 文件中设置 user:,就会立即失败,因为此时 entrypoint 已没有权限执行修复操作。Postgres 会直接报告:
initdb: error: could not change permissions of directory "/var/lib/postgresql/data": Operation not permitted如果数据目录已存在但权限模式不正确,错误消息会有所不同。这个错误值得识别,因为修复方法是 chmod,而不是 chown:
FATAL: data directory "/var/lib/postgresql/data" has invalid permissions
DETAIL: Permissions should be u=rwx (0700) or u=rwx,g=rx (0750).MongoDB 的 entrypoint 也会以相同方式修复所有权。因此,这个锁文件错误表示它无法完成该操作:通常是因为设置了 user:,或者挂载点拒绝 root 执行 chown:
Unable to create/open the lock file: /data/db/mongod.lock (Permission denied). Ensure the user executing mongod is the owner of the lock file and has the appropriate permissions.修复方法是将宿主机目录的所有权更改为数字 ID,而不是用户名:
sudo chown -R 999:999 /srv/appname/pg
sudo chmod 700 /srv/appname/pg
ls -ldn /srv/appname/pgls -ldn 会输出数字而不是名称,并且应显示 999 999。对于 Postgres -alpine 镜像,请改用 70:70,预期结果为 70 70。宿主机上名为 postgres 的账户与镜像内名为 postgres 的账户没有关联:内核比较的是数字,名称则分别在两侧独立解析。PUID 和 PGID 如何将宿主机用户映射到容器详细介绍了这种映射。在 rootless Docker 或启用用户命名空间重新映射时,数字还会再次变化。因此,应从运行中的容器读取用户 ID,不要直接假定为 999。
命名卷在首次运行时会让本节问题完全消失,因为 Docker 会创建空目录,并由 entrypoint 为其设置所有权。
升级:软件包升级与镜像标签变更
在主机上,apt upgrade 可将软件沿次要版本升级。发行版不会擅自将数据库升级到新的主版本;当您选择升级时,两套二进制文件可以同时安装,这正是 pg_upgrade 所需的条件。
在容器中,标签就是版本,因此升级只需修改一行。这使次要版本升级非常简单,但主版本升级仍需要按流程执行。
将 postgres:16 改为 postgres:17,运行 docker compose up -d,容器会立即退出:
PostgreSQL Database directory appears to contain a database; Skipping initialization
FATAL: database files are incompatible with server
DETAIL: The data directory was initialized by PostgreSQL version 16, which is not compatible with this version 17.不会有数据损坏。新版本的二进制文件拒绝读取旧的磁盘目录布局,因为该布局会在主版本之间变化。将标签改回 postgres:16 后,容器会再次启动。这种回滚能力是容器在升级方面真正提供的优势。
受支持的路径是导出并恢复。PostgreSQL 更推荐使用较新的客户端执行导出,因此应从新镜像中运行命令,连接 compose 网络上仍在运行的旧服务器:
docker run --rm --network myapp_default -e PGPASSWORD="$POSTGRES_PASSWORD" \
postgres:17 pg_dumpall -h db -U postgres > /srv/backups/all.sql
ls -lh /srv/backups/all.sql
tail -n 2 /srv/backups/all.sql该文件至少应有几十 KB,并以一行 PostgreSQL database cluster dump complete 结尾。只有几百字节的文件表示导出失败;否则您将无谓地删除数据卷。确认这一点后,才执行:
docker compose down
docker volume rm myapp_pgdata
# edit the compose file: image: postgres:17
docker compose up -d db
docker compose exec -T db psql -U postgres -f /dev/stdin < /srv/backups/all.sql还应为 postgres:18 处的另一项变更做好准备。从 18 开始,官方镜像会将数据存放在 /var/lib/postgresql 下的版本化目录中(18 使用 /var/lib/postgresql/18/docker),并将数据卷声明为 /var/lib/postgresql。如果数据卷仍挂载到 /var/lib/postgresql/data,容器会退出,并显示以 Error: in 18+, these Docker images are configured to store database data 开头的错误。迁移到 18 或更高版本时,将挂载路径改为 pgdata:/var/lib/postgresql。本文中的 /var/lib/postgresql/data 路径适用于 17 及更早版本。
其他数据库引擎有所不同:
- MySQL 8 会在启动时升级自身的数据字典,因此次要版本标签变更通常只需重启。在不同发布系列之间升级前,请先阅读发行说明;无论哪种情况,都应先执行导出。
- MariaDB 要求服务器以新版本启动后执行
mariadb-upgrade。 - MongoDB 必须一次只升级一个主版本。每完成一步,都要先设置功能兼容性版本,然后再继续。跳过版本会导致
mongod拒绝启动,并在日志中记录包含featureCompatibilityVersion名称的UPGRADE PROBLEM行。从 MongoDB 7.0 开始,该命令需要显式确认标志:db.adminCommand({ setFeatureCompatibilityVersion: "8.0", confirm: true })。 - Redis 可以正常加载较旧的快照文件,但无法加载较新的快照文件。因此,升级只需重启,而降级可能无法加载数据。
一般规则是:容器让降级变得简单,但不会让升级变得更简单。
为什么我的数据库容器会以 137 状态码退出?
因为内核的内存溢出(OOM)杀手终止了它。137 等于 128 加上信号 9。
docker compose ps --all
docker inspect myapp-db-1 | grep -i oomkilled
journalctl -k | tail -n 20docker compose ps --all 显示 Exited (137)。如果没有 --all,Compose 只会列出正在运行的容器,因此死掉的数据库会直接从输出中消失。inspect 命令的输出显示 "OOMKilled": true,且内核日志中会有匹配的条目:
Memory cgroup out of memory: Killed process 4711 (postgres) total-vm:2170416kBOOMKilled 仅告知你 OOM 杀手终止了容器内的一个进程。Memory cgroup out of memory 前缀表明这是容器自身的限制导致的。宿主机层面的内存不足会记录 Out of memory: Killed process,此时修复方案应针对宿主机,而非容器。
其机制往往令人意外。在容器内部,free 和 /proc/meminfo 依然报告宿主机的总内存,而 cgroup 限制不会改变该数值。PostgreSQL 不会据此调整任何参数:shared_buffers 默认为 128MB,任何更大的值都是由你或调优指南设定的。MySQL 的 innodb_buffer_pool_size 同样默认为 128M。当设置基于系统报告的内存大小时,问题就会出现。PostgreSQL 官方建议将系统内存的 25% 作为 shared_buffers 的初始值,因此在拥有 16 GB 内存的宿主机上设置 2 GB 限制时,该规则会计算出 4 GB,导致数据库在宿主机尚未承压时就被 cgroup 杀掉。目前部分引擎已开始读取容器限制:MySQL 9.3 及更高版本会读取,MongoDB 在能检测到时也会将其用于 WiredTiger 缓存。但它们并非所有参数都基于此调整,且 MongoDB 文档指出检测可能失败。因此,仅设置内存限制是不够的。你必须明确告知数据库它拥有多少资源:
- PostgreSQL:设置
shared_buffers,并注意work_mem。work_mem适用于每个排序或哈希操作,且每个连接可能同时运行多个此类操作,因此一个较大的值乘以 50 个连接,通常就是容器在负载下崩溃而非启动时崩溃的原因。 - MySQL 和 MariaDB:设置
innodb_buffer_pool_size,其默认值为 128M。在 9.3 之前的 MySQL 版本中,不要在容器内开启innodb_dedicated_server,因为它会根据机器内存(即宿主机内存)来调整缓冲池大小。从 9.3 版本开始,MySQL 会读取容器限制并据此调整innodb_dedicated_server,但显式指定缓冲池大小仍是更可控的选择。 - MongoDB:显式设置 WiredTiger 缓存大小。MongoDB 在能检测到时会使用容器限制(
hostInfo将其报告为memLimitMB),但其官方文档警告称在某些情况下可能失败,并建议将--wiredTigerCacheSizeGB或--wiredTigerCacheSizePct设置为低于容器内存的值。 - Redis:
maxmemory默认为无限制,因此 Redis 会持续增长直到被 cgroup 终止。请将maxmemory设置在容器限制之下,并选择合适的maxmemory-policy。
Postgres 也会从自身层面报告该事件,你会在日志中发现以下成对出现的行:
LOG: server process (PID 123) was terminated by signal 9: Killed
LOG: terminating any other active sessions due to crash of another server process一个后端进程被杀会导致所有其他后端进程重启,因为共享内存可能已不一致。这对你的应用而言是一场连接风暴,而非静默事件。在 Docker Compose 中设置内存限制 涵盖了相关语法以及 mem_limit 与 deploy.resources 形式之间的区别。
这些问题并不会在宿主机上消失,只是发生了转移。如果没有 cgroup,数据库会与宿主机上的其他进程竞争资源,宿主机 OOM 杀手会根据评分选择受害者,这其中可能包括 sshd。相比于导致你无法登录的宿主机 OOM,使用限制让数据库可预测地崩溃更容易运维。
备份:内部转储,外部备份
不要通过复制数据目录来备份正在运行的数据库。在服务器写入数据时进行文件级复制会导致数据损坏(torn copy),且只有在恢复时才会发现。
有两种可靠的方法:在数据库运行时使用其自带工具进行转储并备份转储文件,或者停止容器后对卷进行冷备份。
docker compose exec -T db pg_dump -U postgres -Fc appdb > /srv/backups/appdb.dump
docker compose exec -T db mysqldump -u root -p"$MYSQL_ROOT_PASSWORD" --single-transaction --all-databases > /srv/backups/mysql.sql
docker compose exec -T db mongodump --archive --gzip --db appdb > /srv/backups/appdb.archive.gz
docker compose exec -T redis redis-cli BGSAVE-T 至关重要。若缺少该参数,docker compose exec 可能会将终端附加到命令上,而终端层会在输出流中添加回车符。这会导致文本转储在恢复时出现异常错误,二进制转储则直接损坏。这种错误在备份时静默发生,却会在一个月后导致严重后果。
--single-transaction 可为 mysqldump 提供 InnoDB 表的一致性快照,且无需锁定整个服务器。
上述命令每次仅生成一个文件。它们并非备份系统:不具备保留策略、异地副本或验证机制。请将转储目录交给具备上述功能的工具处理,例如 使用 restic 从 VPS 备份。备份 /srv/backups,而不是 /var/lib/docker/volumes。
随后执行恢复操作,因为从未验证过的备份等于没有备份:
docker compose exec -T db createdb -U postgres restore_test
docker compose exec -T db pg_restore -U postgres -d restore_test < /srv/backups/appdb.dump
docker compose exec -T db psql -U postgres -d restore_test -c '\dt'\dt 应列出应用程序的表。如果结果为空或出现 Did not find any relations.,说明转储文件并非你预期的内容。操作完成后,请删除 restore_test。
删除所有内容的命令
docker compose down -v。
直接运行 down 会移除容器和网络。而 -v 还会移除 compose 文件中声明的所有命名卷,以及挂载到这些容器上的所有匿名卷。此操作不会提示确认,也无法撤销。这是自托管数据库被销毁的最常见方式,通常发生在排查无关问题时,因为论坛建议运行该命令。
以下四点可以减小影响范围:
- 将数据库卷声明为
external: true。Compose 不会移除其不拥有的卷,因此-v无法触及该卷。请使用docker volume create myapp_pgdata创建一次即可。 - 日常重启请使用
docker compose stop和docker compose start。Compose 中 down 与 stop 的区别 详细说明了各自的移除范围。 - 将数据转储文件保存在 Compose 管理的卷之外的主机路径中。
- 切勿将故障排查建议中提到的
-v直接粘贴到包含重要数据的栈中。
不要公开数据库端口
以下配置会将数据库暴露在公网:
ports:
- "5432:5432"它会绑定到所有网络接口。Docker 通过在防火墙的 input 规则生效前重写数据包目标地址来发布端口,而 ufw 的规则位于 input 链中,因此 ufw deny 5432 不起任何作用。为什么 Docker 发布端口会绕过 ufw 展示了数据包的链遍历过程。
同一 compose 项目中的应用可以通过服务名称在 compose 网络内访问数据库,因此无需发布端口。请删除该配置块。如果需要从宿主机访问,请仅绑定到回环地址:
ports:
- "127.0.0.1:5432:5432"检查实际的监听状态:
sudo ss -ltnp | grep 5432127.0.0.1:5432 是预期的结果。0.0.0.0:5432 意味着任何人都可以尝试破解你的密码。
在哪里运行什么
在一台 VPS 上运行一个应用。 使用容器。配置一个名称固定的命名卷,不映射端口,设置内存限制并匹配数据库配置,通过每晚备份到宿主机路径供 restic 收集。从 VPS 上干净的 Docker 安装 开始,并将整个栈保存在一个可提交的 compose 文件中。这样做的好处显而易见:数据库版本在 git 中成为可审查的一行代码。
在一台宿主机上运行多个服务。 使用容器,每个应用对应一个数据库,而不是所有应用共享一个数据库服务器。共享服务器会将所有应用的升级周期耦合在一起,一旦出现失控查询,会导致所有应用中断。为每个容器设置独立的内存限制,以便将异常查询限制在产生该查询的应用内。多个小型 Postgres 实例会多占用一点磁盘空间,但能显著降低协调成本。
数据库是核心产品。 使用供应商提供的软件包仓库在宿主机上运行,或者购买托管服务。pg_upgrade 需要同时安装两个主要版本的二进制文件,软件包管理可以实现这一点,而单版本镜像则无法做到。当数据库独占机器和磁盘时,复制和基于 WAL(预写日志)归档的即时恢复会更容易实现。对于那些会在凌晨 03:00 触发报警的系统,请选择最稳妥的方案。
应用规模较小。 考虑完全不使用服务器数据库。对于单台 VPS 上的单写 Web 应用,通常更适合使用 生产环境中的 SQLite,此时备份只需处理一个文件,升级路径也仅涉及库版本更新。
FAQ
在 Docker 中运行生产数据库是否安全?
对于单服务器应用栈,这样做是安全的。容器本质上是一个由 namespace 和 cgroup 隔离的 Linux 进程。挂载卷后,数据库会写入主机上的同一文件系统;如果直接通过软件包安装数据库,也会使用该文件系统。风险主要在运维,而不在性能:未固定名称的卷、归属错误用户 ID 的绑定挂载、从未测试过的恢复流程,以及 docker compose down -v。解决这4个问题后,容器运行数据库没有问题。当数据库是主要工作负载,并且需要 pg_upgrade、复制或时间点恢复时,再改用主机安装。
数据库数据应使用绑定挂载还是命名卷?
除非有明确理由必须知道主机路径,否则使用命名卷。Docker 会创建目录,镜像的 entrypoint 会在首次启动时设置所有权,因此不会出现权限问题。使用显式的 name: 固定卷,或将其标记为 external: true;否则,重命名项目目录会静默创建一个新的空卷,数据库也会变为空数据库。如果将主机目录的所有权改为镜像运行时使用的数字用户 ID,绑定挂载也可以正常使用。官方 Postgres、MySQL 和 MongoDB 镜像的默认标签使用 999;Postgres 的 -alpine 标签使用 70。使用 ls -ldn 验证,因为 ls -l 显示的是主机为该数字配置的名称,而该名称在容器内没有意义。
docker compose down -v 会删除什么?
它会像普通的 down 一样删除容器和网络;-v 还会删除该 compose 文件中声明的所有命名卷,以及附加到这些容器的所有匿名卷。这包括数据库。命令不会提示确认,也无法恢复。标记为 external: true 的卷不会被删除,这也是应将数据库卷标记为 external 的主要原因。日常重启应改用 docker compose stop 和 docker compose start。
如何在 Docker 中将 PostgreSQL 升级到新的主版本?
执行转储和恢复。将 postgres:16 改为 postgres:17 后重启,会出现 FATAL: database files are incompatible with server,其中的 DETAIL 行会列出两个版本。这是因为新版本的二进制文件无法读取旧版本的 catalog 布局。数据没有损坏:改回旧标签后,服务即可启动。使用新版本的客户端连接正在运行的旧容器,执行 pg_dumpall,并确认文件以 PostgreSQL database cluster dump complete 结尾。然后在空卷上启动新标签,并导入该转储。从 postgres:18 开始,应将该卷挂载到 /var/lib/postgresql,而不是 /var/lib/postgresql/data。同一主版本内的次版本升级只需拉取镜像并重启。
为什么我的数据库容器以代码 137 退出?
137 等于 128 加信号 9,说明某个进程直接终止了它。运行 docker inspect <container> | grep -i oomkilled;值为 true 表示 OOM killer 终止了容器中的进程,通常是因为容器达到了自身的 cgroup 内存限制。常见原因是按照主机内存而不是容器内存设置数据库参数:容器内的工具仍会报告主机的总内存,因此按 16 GB 设置的缓冲区最终会在 2 GB 的内存限制内运行。设置 shared_buffers 和 work_mem,或设置 innodb_buffer_pool_size,使其适配为容器配置的内存限制。检查 journalctl -k 中匹配的 Memory cgroup out of memory 行,以确认内核选择了哪个进程,并确认原因是容器的内存限制,而不是主机范围的 Out of memory kill。