浅析Facebook对MySQL数据库的深层优化
发布时间：2021-12-22 11:51:41 所属栏目：搜索优化 来源：互联网
导读：Facebook拥有世界上最大的MySQL数据库集群，其中包含了成千上万台服务器，这些服务器分布在跨越两个大洲的多个数据中心里。 通过几乎将所有的任务全部自动化，这个集群只有一只非常小的MySQL DBA团队来进行管理，集群甚至可以自己运行。而实现这种自动化的
|
Facebook拥有世界上最大的MySQL数据库集群，其中包含了成千上万台服务器，这些服务器分布在跨越两个大洲的多个数据中心里。 通过几乎将所有的任务全部自动化，这个集群只有一只非常小的MySQL DBA团队来进行管理，集群甚至可以自己运行。而实现这种自动化的核心组件之一就是所谓的MPS系统，即“MySQL Pool Scanner”。 MPS是一个大部分用Python写的复杂状态机。它能够代替DBA执行很多例行任务，并且可以让我们以很少或是不施加人为干预就能执行批量维护工作。 单一数据库结点 在Facebook数以千计的数据库服务器中，每一个都能存储一定数量的MySQL实例。一个实例是一个单独的MySQL进程，以其自身的数据集监听着一个单独的端口。简单来说，我们假设在图表和示例中每个服务器正好有两个实例。 整个数据集分割为无数的shard，并且每个实例都拥有一组这样的shard，每个都在其自身的数据库Schema里。一个Facebook用户的信息在其创建的时候会分配给一个shard，这样每个shard就会包含有成千上万用户的相关数据。 每个实例在驻留于不同服务器上的其他实例上都有几个副本，而这些服务器通常是在不同数据中心里的。这样做主要是为了实现两个目的： 高可用性：如果一台服务器宕机了，我们在其他地方还有可用数据来提供服务。 性能：不同的地理位置拥有它们自己的副本，这样便可以使读取服务本地化。 这里是一个简单的replica set示意，它的每个服务器都只有一个实例，并且其他实例为空（我们称这些是spares）： 一个服务器本质上是实例容器，所以现实中的情况可以会变得更为复杂。 这里MPS依赖于两个重要的“building block”操作： 1. 创建一个副本/放置服务器 第一个building block操作是在一台不同的主机上创建一个实例的副本。我们使用Xtrabackup的修改版本来执行大多数复制操作。如果我们在复制成功完成后移除实例，替代过程也是同样的操作。 首先，系统为此操作分配一个空闲实例。我们选择其中一个从实例或主实例并复制其数据到新分配的空闲实例。下表显示了这一替代操作，它在复制完成后将实例移除： 2. 升级主实例 第二个building block操作是将一个不同的实例升级为一个replica set的主实例。 在升级过程中，我们首先选择一个目标，停止写入到replica set，将从实例改为从新的主实例进行复制，并恢复写入。在下图中演示了一个删除操作，即在升级成功完成之后旧实例会被丢弃。为简单起见，下面的replica set只包含三个实例： “问题”是附属于实例的一个属性。如果一台主机上所有的实例都有此问题，那么我们就会认为它是附属于服务器本身的。另外一种考虑问题的方式类似于标签。MPS会通过一个决策矩阵来协助有某个特定问题的实例做出决策。它基本上是一个个元组之间的映射（状态，问题）——（行动，状态）。 通过具体例子理解起来会更容易一些： （生产，低空闲）——（替换，空闲解除分配）：用有限空间在生产中替代一个实例，同时将其迁移至一台不同的服务器。 （空闲解除分配，旧内核）——（迁移，重塑）：如果一个实例在此状态发生迁移，它就不会有生产数据，那么为什么不对它进行重塑呢？ （生产，主实例位于撤退位置）——（升级，生产）：我们应该把主实例升级至正确的位置，并将此实例置于生产状态。 MPS中不同的状态和“问题”使得我们可以创建一个灵活、可维护的基础设施，用来管理服务器的整个生命周期。 MPS所解决的常见问题 在一个大型数据中心中，每天都会有几十个甚至上百个的服务器故障发生。下面介绍一些不需要人工干预，MPS就能自行处理的日常故障： 检测到损坏的从实例并将其禁用，直到它们在后台被替换。 损坏的主实例降级，这样正常运行的副本便会取代它们并在后台进行替换。 服务器上由于增长而耗尽空间的实例会被迁移至未充分使用的服务器。 当数据中心中存在成千上万台服务器的时候，升级新内核、改变分区大小或是升级控制器固件的维护工作会变得非常复杂。而对于像是迁移某些框架或是为工程团队分配测试服务器这些本地化操作也面临同样的问题。以下是一个运维人员可以通过单一命令让MPS执行的常见维护操作： 将任意数量的数据库服务器下架并移出生产环境。大多数这样的操作可以在24小时内完成。 在特定并发下重塑上万台机器（例如执行内核升级）。MPS会替代每台机器然后发送给Windex。 为一个新项目或测试分配任意数量的空闲空间。例如想要200台服务器来运行测试？完全没问题。 在一个新数据中心的特定并发下，为整个Facebook数据集创建副本。 用MPS将基础任务自动化，这样可以对我们所管理的服务器进行更好的规划，而且还能解放MySQL数据库团队来让他们从事更具挑战的工作。 （编辑：温州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
