详解新硬件环境下日志模块的设计与演进

　　如上图，这个方法就是完全去掉了集中式的log buffer，每个事务自己维护一个私有的日志缓冲区，这样的话就把log buffer上的一些锁、临界区等资源竞争完全给去除掉了。系统可以选择在事务提交时刻将日志记录批量移动到非易失性内存或者在填充完日志记录以后马上移动到非易失性内存。这两种日志持久化策略分别对应:flush-on-commit以及flush-on-insert。在当前的CPU体系架构下，需要使用cflush以及mfence等指令将高速缓存的数据一并写入。Flush-on-commit可以将日志持久化的代价均摊。

　　这是惠普实验室的研究人员针对非易失性内存而设计的日志管理器。如上图，Redo空间按照页面进行划分, undo空间按照事务进行划分;事务日志可以按照页面为划分并行写入，这对于以页面为单位进行重放日志的系统模型十分友好，加速系统恢复速度。在TPC-C测试基准下，性能提升1.2-1.6倍。

　　最后介绍卡耐基梅隆的数据库研究小组提出的新理论实践，Write-Behind Logging(WBL)。目前几乎所有的数据库都是使用Write-Ahead Logging方法。这种方法带来的一大弊端是软件运行时开销以及系统恢复时间较长。WBL运行时只需追踪脏页，无需构造redo日志。事务提交时刻先写脏页，然后写日志。事务的日志协议不用再去构造After-image，直接就写上事务提交的时间区间(Cp,Cd)就行了。小于CP这个时间点的事务都已经提交了，而落在这个时间区间(Cp，Cd)里面的事务，就是还没有提交的，也即是活跃事务区间。在事务恢复的时候，系统知道这个时间区间的事务没有提交，对其它事务不可见，无需undo操作。系统也没有必要去进行Redo操作，因为提交数据都已经持久化。系统崩溃恢复时，需要一趟扫描日志，建立崩溃时候的时间区间(检点可以减少需要扫描的日志量)。从实验上看，WBL可以达到即时恢复的效果，同时性能提升约30%。

　　最后一种做法是统一数据块与日志块，采用log is database的理念。数据块可以在多种状态下转换，减少系统IO，提升性能。由于时间关系不仔细展开，可以参考相应的参考文献。

　　总的来说，我们传统的ARIES算法是面向磁盘而设计的，在大并发情况下日志模块容易成为系统瓶颈。因此可见软件的设计需要适配底层硬件的发展，才能更好地获取底层硬件的能力。目前优化集中式日志管理器主要有三种方式：一种是缩短临界区，另一种是并行化写日志操作，另外，就是针对新硬件场景开辟新的理论实践。

　　四、总结

　　综上，计算机硬件的发展为我们数据库理论的创新打开了新的一扇大门。以前我们认为数据库理论发展进入了封闭期，基本上没有什么可以突破的了，但是现在，特别是非易失性内存出来以后，还有AI的飞速发展(从某种意义上说，AI的飞速发展其实也是得益于新硬件)，我们发现数据库系统理论又有了新的方向，新的进展，这对于我们数据库内核开发人员来说，是一个很激动人心的现象。

　　在多核与内存计算时代下，系统设计人员应当将更多的精力放在系统扩展性以及数据访问的局部性上。而非易失性内存的出现使得系统设计人员可以将注意力完全地从I/O上移除，专注系统扩展性设计。

　　引用狄更斯的名言，“这是最坏的时代，也是最好的时代” 。各种不同应用领域的出现，对数据库的要求更高了，同时机遇与挑战并存，这对我们而言也是最好的时代。

　　关于DTCC

　　第九届中国数据库大会以“数领先机?智赢未来”为主题，设定2大主会场及22个技术专场，邀请来自国内外互联网、金融、教育等行业百余位技术专家，共同探讨Oracle、MySQL、NoSQL、大数据、机器学习、区块链、数据可视化等领域的前瞻性热点话题与技术。

　　（更多精彩报道，请戳：http://www.it168.com/redian/dtcc2018/）

（编辑：温州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!