TDSQL-基于压缩数据直接计算技术,定义新型数据库处理 | SIGMOD 2022入 ...
发布网友
发布时间：2024-10-16 13:11
共1个回答
热心网友
时间：2024-11-05 06:22
研究的创新点在于，CompressDB集成到文件系统层，使得现有的数据库系统无需改动即可使用，同时通过将算子操作下推到存储层，实现直接在存储系统中执行数据查询和操作，避免了大数据转移至内存带来的性能损耗。实验证明，CompressDB能支持多种类型的数据库系统，如SQLite、LevelDB、MongoDB和ClickHouse，并在单机和分布式环境下展现出40%的吞吐量提升和44%的延迟缩短，同时实现1.81倍的压缩比。
研究的动机是解决现代大数据系统中指数级增长的数据量和存储空间需求之间的矛盾，以及支持在压缩数据上直接执行更新、插入和删除操作的需求。现有的压缩技术在只读查询处理上表现出色，但完整的大数据系统需要支持数据的读取和写入。CompressDB通过基于规则的压缩技术，限制DAG（有向无环图）的深度，实现了在存储层对压缩数据进行随机更新，同时保持了数据的实时压缩和操作能力。系统设计中，CompressDB由数据结构模块、压缩模块和运算模块组成，支持数据库系统通过数据结构模块进行操作。通过数据结构和算法设计，CompressDB无需解压即可高效处理数据。
CompressDB的性能验证在SQLite、LevelDB、MongoDB和ClickHouse等数据库系统上进行，分别在单机和分布式环境下使用不同尺寸、结构和内容的真实数据集进行评估。实验结果显示，CompressDB能平均带来40%的吞吐量提升、44%的延迟缩短和1.81倍的压缩比，证明了其有效性和性能优势。
研究的主要贡献在于直接在压缩数据上开发高效的数据操作能力，支持数据查询和数据操作，以及开发CompressDB作为集成在文件系统中的存储引擎，能够无缝支持各种数据库系统而无需修改数据库代码。通过将数据算子操作下推到存储系统，CompressDB避免了内存和磁盘之间不必要的数据移动，提高了压缩数据的处理效率。
研究面向同时支持数据查询和数据操作的大数据管理系统领域，提供了一种存储效率和数据查询、操作效率提升的解决方案。CompressDB可以帮助现有的数据库系统提升存储量、查询性能和操作效率，满足大数据时代的性能需求。
为帮助广大数据库爱好者深入了解论文内容，特邀请中国人民大学副教授、博士生导师、腾讯犀牛鸟基金获得者张峰老师在直播间进行深度解读，时间定于6月21日15:00，欢迎广大数据库爱好者参与学习。
