摘 要： 实际工程中采集和处理的数据量特别大，这对传统数据库技术提出巨大挑战。针对传统关系型数据库存储速度慢、对硬件要求高的缺点，提出一种以NoSQL数据库为基础的大数据处理方法，打破了传统数据库的关系模型，数据以一种自由的方式存储，而不依赖固定的表结构。该方法主要是将经验模态分解并与NoSQL数据库技术相结合，应用于大型结构件的变形监测中，构建出一个基于NoSQL数据库系统的大型结构件变形监测系统。仿真结果表明，该方法可以实现大型结构件变形监测数据的实时处理，在计算收敛性、算法稳定性和处理速度上都优于传统数据库技术。
关键词： NoSQL数据库； 经验模态分解； 关系模型； 变形监测； 大型结构件
中图分类号：TP392 文献标志码：A 文章编号：1006-8228（2014）07-07-03
Abstract： In engineering practice， the large amount of data acquisition and processing has challenged traditional database technology. To deal with the disadvantages of low storing speed and high hardware requirement of traditional relational database， a large data processing method based on NoSQL database is presented. The traditional relational model database is broken and data is stored in a free manner， while do not rely on fixed table structure. This method is mainly the empirical mode decomposition and NoSQL database technologies combine applied deformation monitoring of large structural parts to construct a large-scale structure deformation monitoring system based on NoSQL database system. Simulation results show that the proposed NoSQL database based on the large data processing method can achieve real-time processing of large structural deformation monitoring data and it is better than the traditional database technology on the convergence and stability of the algorithm and processing speed.
Key words： NoSQL database； empirical mode decomposition； relationship model； deformation monitoring； Large-Scale structure
0 引言
计算机技术和网络技术的快速发展以及硬件的不断升级和更新换代，使得数据呈现爆炸式增长，向海量数据和大数据迈进。越来越多的数据属于非结构化数据，如图片、声音和视频等文件[1]。
面对海量数据的存储和处理要求，传统的关系型数据库已无法满足用户需求，甚至制约着海量数据的存储和处理。本文基于这种形势研究NoSQL数据库在大型结构件变形监测数据存储和处理中的应用。
1 大型结构件变形监测
工程建筑中，桥梁、地铁隧道等大型结构件在经济发展中有重要作用，因此通过实时监测大型结构件的实际状态和环境状况，实时监测和诊断结构性能，及时发现结构损伤，对比理论值和实际检测值，有助于识别和预计可能出现的灾害，及时发现灾害隐患并进行处理[2-3]。
2 变形监测技术
由于GPS测量技术具有高精度的三维定位能力，同时可以实现实时连续观测，因此GPS为监测大型结构件的动态和静态变形提供了非常有效的手段。GPS测量技术不但精度高，而且不受天气条件影响，可以实现全天候观测测量，自动计算和记录，因此GPS技术被广泛地应用于大型结构件的监测。图1为某大桥的GPS连续监测系统框图[4]。
GPS监测到的数据，需要进行实时处理和诊断，做到及时识别和判断，其中涉及到大量的数据存储和计算处理，由于NoSQL数据库克服了传统关系型数据库的缺点，具有存储速度快和硬件限制要求低的优点[5]，本文将经验模态分解技术和NoSQL数据库结合起来，进行大型结构件变形监测数据的存储和处理研究。
5 结束语
本文以NoSQL数据库为基础，结合EMD分解技术，实现了大型结构件实时监测数据的存储和处理。仿真结果表明，本文算法在收敛性、稳定性和处理速度上都优于传统的EMD技术，从而验证了NoSQL数据库技术可以克服传统的关系型数据库的缺点，具有处理速度快，对硬件限制要求低的优点，因此NoSQL数据库技术可以同其他技术相结合，应用于海量数据处理和大数据处理领域，提高速度和存储量。
参考文献：
[1] 吕明育，李小勇.NoSQL数据库与关系数据库的比较分析[J].微型电脑应用，2011.10：61-64
[2] 李莉莎.关于NOSQL的思考[J].中国传媒科技，2010.4：42-43
[3] 陈敏敏.基于MongoDB云存储平台的论坛信息抽取与存储研究[D].上海交通大学，2011.
[4] Feng Youle，Zhu Liuzhang. Analysis and Improvement of CEPH Dynamic Metadata Management[J].Electronic Technology，2010.47（9）：1-3
[5] Zhu Wei-ping， Chen Huan， Li Ming-xin.Using MongoDB toImplement Textbook Management System instead of MySQL[R]. Proceedings of 2011 IEEE 3rd International Conference on Communication Software and Networks（ICCSN 2011） VOL02，2011.
[6] Karen Egiazarian， Alessandro Foi， and Vladimir Katkovnik， Compressed sensing image reconstruction via recursive spatially adaptive filtering. （Preprint， 2007）.
[7] Marco Duarte， Mark Davenport， Dharmpal Takhar， Jason Laska，Ting Sun， Kevin Kelly， and Richard Baraniuk，Single-pixel imaging via compressive sampling. IEEE Signal Processing Magazine，2008.25（2）：83-91
[8] Michael Wakin， Jason Laska， Marco Duarte， Dror Baron， Shriram Sarvotham， Dharmpal Takhar， Kevin Kelly， and Richard Baraniuk，An architecture for compressive imaging. Int. Conf. on Image Processing （ICIP）， Atlanta， Georgia， October 2006.
[9] Herodotou H，Borisov N.Babu S.Query optimization techniques forpartitioned tables[c]//Proc of the 2011 ACM SIGMOD Int Conf on Management of Data.New York：ACM，2011：49-60
[10] shvachko K， Kuang H，Radia S，et a1. The Hadoop distributed file system[c]//Proc of the Symp on Mass Storage Systems and Technologies.Piscataway，NJ：IEEE，2010：1-10