大型数据库设计方法

大型数据库设计方法（精选十篇）

大型数据库设计方法 篇1

关键词：Oracle数据库,数据库迁移,数据对接,多池组链逻辑

Oracle数据库作为世界上最流行的数据库管理系统, 正被各大中小企业所运用。在大型企业中, 经常会遇到网络扩建需要进行数据库迁移的问题。传统大型Oracle数据库迁移方法存在数据丢失、多池组链逻辑混乱、数据对接难的问题。提出了针对性解决方法, 采用数据特征绑定设计, 对迁移数据进行特征拼接连绑定, 解决数据库迁移过程中丢失的问题;采用逻辑组格化算法, 对迁移数据进行逻辑上组化处理, 方便迁移后数据的对接;最后, 采用特征检索对接法对数据进行智能检索特征、对接, 完成大型Oracle数据库迁移。通过实验证明, 提出的方法个项数据优于传统迁移方法。

1 大型Oracle数据库迁移优化方法研究

1.1 数据特征绑定技术设计

针对传统大型Oracle数据库迁移方法存在的数据丢失问题, 采用提出的数据特征绑定技术进行解决。数据特征绑定技术基于大型Oracle数据库中数据贮存交互规则与数据交互池之间的排列关系而优化改进设计。数据特征绑定技术可在Oracle数据库迁移过程中在数据库底部植入一串临时特征代码, 根据数据库等的信息类别, 性质属性新型特征赋予, 被赋予的数据将得到临时只读权限, 任何外界指令、操作都无法修改或删除数据, 大大减小数据迁移过程中数据丢失概率。

1.2 逻辑组格化算法

设计方法中针对传统方法存在的迁移算法逻辑问题, 采用逻辑组格化算法进行解决。逻辑组格化算法设计思想来源于传统数据库迁移方法中将数据库内容分为若干数据组块的思想。逻辑组格化算法延续了数据组块的分序方式, 不同于传统方法在于逻辑组格化算法将组序内数据重新按照赋予的特征进行重组排列, 极大地提升了数据特征代码执行权限。同时, 有降低了因迁移逻辑错误造成的数据断裂问题。逻辑组格化算法表达式如下所示。

1.3 特征检索对接法

大型Oracle数据库迁移中最关键的一步就是迁移后的数据对接。传统数据库迁移后数据对接方法存在对接形式繁杂、数据乱序的问题。针对这一问题, 设计采用特征检索对接法, 对经过特征赋予处理的数据库内数据进行组序化检索, 根据自身底层配套特征检索代码分析, 快速多统一特征的数据进行底层数据链拼接。同时, 对拼接完成的数据库组块底层临时特征代码执行失效时限激活, 回复数据原有权限, 完成大型Oracle数据库迁移。

2 实验与结论

针对大型Oracle数据库迁移优化方法的设计进行仿真实验测试。测试采用对比方式, 对传统大型Oracle数据库迁移方法与提出的大型Oracle数据库迁移优化方法进行对比测试, 并对结果数据进行分析, 得出结论。

测试环境配置为:CPU i3 4230主频3.0Hz, 内存2G, windows 7专业版操作系统。具体测试参数如表1所示。

上述表1对比数据充分证明提出的大型Oracle数据库迁移优化方法的设计优于传统方法。

3 结束语

针对传统大型Oracle数据库迁移方法存在的问题进行深入分析, 并对问题存在根源提出了大型Oracle数据库迁移优化方法的设计。通过仿真实验测试证明, 提出的大型Oracle数据库迁移优化方法的设计各项测试数据都优于传统大型Oracle数据库迁移方法, 满足设计改进要求。为大型Oracle数据库迁移应用领域未来发展提供新的思路。

参考文献

[1]孙钟安.大型数据库ORACLE数据库的优化设计思考[J].电脑知识与技术, 2014, 2 (20) :4644-4645.

[2]洪健.大型ORACLE数据库系统的优化设计研究[J].电子技术与软件工程, 2014, 32 (11) :209-210.

[3]李璐璐.Oracle数据库优化方法分析[J].硅谷, 2014, 25 (24) :31-32.

[4]张建业, 董俊伶.Oracle数据库优化设计[J].电子世界, 2014, 21 (16) :186-187.

[5]刘德松.大型ORACLE数据库系统的优化设计方案[J].电子技术与软件工程, 2016, 2 (13) :198-198.

[6]贺鹏程.基于Oracle的数据库性能优化研究[J].电子设计工程, 2016, 24 (9) :256-263.

[7]赖海铭.Linux上超大型Oracle9i数据库优化探索[J].福建电脑, 2014, 30 (03) :81-84.

[8]宋慧艳.Oracle数据库统计应用的结构设计与维护技巧[J].科技传播, 2014, 25 (03) :108-109.

[9]徐洪丽, 王志军.教学中java连接大型数据库Oracle几个关键问题研究[J].教育教学论坛, 2016, 2 (20) :189-190.

[10]万娟.Oracle数据库应用中出现的问题及其对策[J].现代经济信息, 2015, 15 (18) :256-263.

大型数据库设计方法 篇2

大量数据导出本身就带有风险，因为很大的数据量比如*G的文件根本不可能用

excel来打开，就算打开了也是无法查看的，

我们做一个简单的计算

excel 07之前每个标签最多有256*65536的数据量，好像最多也是256个标签，

也就是说最多可以存储65536*65536个字段的数据量，也差不多能满足一般的数据的存储，。(有点矛盾)

但是存了这么多数据的电子表格能打开吗?。。。

下面说说导出这么大量数据的解决方案，在另一个文章里提到的方式就不用再提了。

1、用csv导出

写一个导出数据的程序，把需要的数据导出，并把输出结果输出到csv文件，每个字段之间做好分隔符，

这样可以直接打开就是excel来打开的。

如果非要存到excel里，还有一种办法，

新建一个excel文件，选择一个标签， 然后在菜单栏里选择 数据->导入外部数据->外部数据

弹出文件选择框，选择csv文件，弹出 【文件导入向导】 选择 【分隔符号】下一步，

然后接下来的对话框里选择自己定义好的分隔符 比如【;】【###】等，选择后下面的

数据预览里就可以看到数据分割后的结果，选择完成，然后选择一个标签中的某个单元格就可以，

2、使用toad工具

toad支持主流的数据库，像oracle，mysql，mssql等，下载对应的软件安装。

新建一个查询窗口，写好sql语句后执行。

在查询结果里选中需要导出的数据，右键选中export 之类的菜单，具体步骤就不用细说了，

可以直接导出为excel，还有其他的一些文件格式。有时间再总结一下，本人电脑没装toad工具

所以不能一步一步的说怎么导出，但是确实可行的方法，而且我自己也测试过，而且导出时很灵活，

设定分隔符什么的，如果需要格式化数据，，那就在sql语句里直接格式化，都格式化成字符串格式，

这样导出时处理起来比较方便，比如oracle德 to_char，concat 之类的函数。反正需要根据自己的需要

灵活的应用就好了。

3、其他数据浏览工具

比如oracle的plsql ，写一个sql语句，得出结果之后把所有数据选中，直接复制，ctrl+c也可以。

新建一个excel文档，直接粘贴，一般都是已经分割好的，一个单元格一个字段的数据，excel可以识别一般的

分隔符，比如 ; 等分隔符，如果不行 就按照1中的办法，

大型数据库设计方法 篇3

[关键词]软件开发；数据库；实践

1.大型软件后台的数据库的设计理论

1.1数据库设计的重要性

对于大型软件来说，其后台的数据库的建立是非常重要的，是计算机软件的核心部分。数据库设计指的就是对于指定的环境而建立一个最优的数据库模式，从而满足顾客以及开发者的各种需求。每个软件的后台都需要有其自身的数据库的运行，对于新建立的大型的软件来说，它的数据库更是非常复杂。对于软件来说，数据库管理系统主要提供的就是数据组织、操纵、维护、控制以及保护等一系列服务的系统。数据库主要就是进行数值的计算，同时还可以保护数据的安全性、完整性。同时，其自身还可以对出现的故障进行自我的修复和监控，最终保证整个软件能够正常的运行。开发软件的时候，如果数据库的设计出现问题的话，极有可能在软件运行一段时间的话造成应用的程序崩溃，对于软件后期的维护非常不利而且复杂的。由此可见，大型软件的开发过程中，后台数据库的设计是非常重要的。

1.2数据库设计的定义与特点

数据库（Database Design）是指根据用户的需求，在某一具体的数据库管理系统上，设计数据库的结构和建立数据库的过程。数据库系统需要操作系统的支持。由于大型软件开发过程中数据库更是费海沧复杂，因此，对于数据库的设计不能一蹴而就，更是需要相关的工作人员有耐心，反复探寻，逐步求精，最终完善数据库的设计为大型软件的开发做铺垫。数据库的设计尤其自身的特点。首先，数库的设计主要就是将硬件、软件以及干件相结合，干件指的就是技术与管理的界面。因此，可以数据库设计主要是三分技术，七分管理，再加上十二分的基础数据组合而成。其次，数据库的设计是与应用系统设计相结合的。还有就是数据共享性高，冗余度小，容易扩充。数据库主要就是针对顾客的需求而设计的，因此，共享度极高。数据库中的数据具有独立性。数据库中的数据是独立于使用的数据程序的。

1.3数据库设计的原则方法

对于大型软件的开发而言，数据库的设计非常复杂，但也会遵循一定的原则。首先，就是需要遵循其命名的规范化。在数据库设计过程中，不同的产品对应不同的命名，在对该对象进行编程的时候，代码上都应该采用大小写的字幕形式来进行命名，同时命名的长度也有要求，不能超过三十个字符。其次，就是对游标的使用要谨慎使用。对于一些大的数据集合而言，如果设计的时候使用游标来进行遍历数据时极易导致程序进入到一种漫长的等待甚至死机的状态。如果必须要使用游标的时候，可以首先建立一个临时的表，在表格中输入制定的数据，然后进行游标操作，从而提高有标的性能。除此之外，索引的使用也是有原则的。索引可以快速、准确的访问表中的数据。一般的，数据库有两种索引，一种是簇索引，并一种就是非簇索引，不论使用哪一种索引的形式，都会提高效率，但是，在插入、更新等一系列操作的时候性能就会大大降低。因此，为了方便在各项的数据页中留下足够的自由空间，应该设置比较小的填充因子。

还有就是要选择合理的数据类型。在进行数据库设计的过程中，设计者们要根据软件开发的产品的规格以及要求来进行数据类型的选择，最终提高数据库的使用性能。除了以上的原则之外，还有很多，比如事务的使用、调整数据库的性能等等都需要设计者们明确的知道，最终完善数据库的设计。

2.大型软件后台数据库的实践

2.1数据库设计的步骤

在设计数据库的时候，首先要先进行分析，因为数据库的建立主要是为用户提供方便的，因此，要根据用户数据库系统的使用要求和各种约束条件等，形成用户需求规约。用户的需求主要分为信息需求，处理需求以及安全性和完整性的需求。在进行设计的时候，设计者们一定要考虑全面。首先是信息需求，要注意对系统中数据的类型进行描述，同时使得信息更加全面。其次就是处理需求，要满足数据处理功能，同时考虑场合、操作、频率等因素对数据的影响。最后就是安全性和完整性的要求。主要就是积极的与数据库用户进行联系，最终熟悉全部的数据资料，从而更好地设计出数据库。除此之外，要进行数据库的概念设计。数据库中的数据信息是非常庞大的，因此，需要对其中的信息进行分类、聚集和概括，从而建立出抽象的概念数据模型。其次是逻辑设计。它主要就是使得概念数据模型形成一种逻辑模式。还有就是物理设计。它主要就是对数据库的结构做出调整，然后选择出合理的路径对数据进行储存。接着就是验证设计。它主要是通过一些典型的应用任务来对数据库进行验证、修改，最终完善设计。最后就是运行和维护设计。数据库会随着使用时间的推移而出现一些问题，这个时候就需要对其进行调整与修改。

2.2基于Borland Delphi的数据库的简介

下面将简单介绍Borland Delphi该软件的数据库的运行机制。Borland Delphi常用的数据库工具有数据库工作平台（Database Desktop）、数据库引擎（BDE）、数据库资源管理器（Database Explorer）、数据字典（Data Dictionary）、SQL监视器（SQL Monitor）、Datapump 等工具。数据库工作平台（Database Desktop）是Borland Delphi提供数据库管理的的工具，它在建立数据库应用程序的过程中其中至关重要的作用。Borland Delphi通过数据库引擎（BDE）讲数据库应用程序和数据库进行联系，通过BDE来读取本地的数据库。接下来就是数据库资源管理器（Database Explorer）。它主要负责的就是查看以及修改数据库中的信息。其次就是数据字典（Data Dictionary），如果使用者在浏览版面选择Dictionary页面的时候，它就发挥作用，可以使用了。SQL监视器（SQL Monitor）只有C/S中的Delphi具有，它主要就是对BDE于数据库中的客户的动态链接间的所有操作进行监控，先运行监视器程序，然后就是根据选择的对象而显示相关的信息。Datapump工具主要负责的是Delphi数据库数据之间的转移的工作。

结语

在大型软件的开发过程中，数据库的设计是至关重要的，因此，不仅要加强数据库设计的理论要求，同时要加强其实践分析，才能更好地设计出完美的数据库，最终使得软件更好地运营。

参考文献

[1]仇学敏.分析软件开发中数据库设计理论的实践[J].制造业自动化，2012（34）.

[2]李金靖.浅析软件开发中的数据库设计的理论和实践[J].计算机光盘软件与应用，2013（15）.

[3]戴杰.浅议软件开发中数据库设计理论的实践[J].电子制作，2012（12）.

大型数据库设计方法 篇4

“十一五”期间,国家电网公司建立了总部和省市电力公司两级部署的电子招投标管理系统,实现了预期目标。“十二五”期间,为实现物资集约化管理的发展目标,打造了以ERP和电子商务平台为核心的物资集约化管理信息系统。其中电子商务平台采用总部一级部署架构,涉及的业务范围广,用户数量庞大,经过一段时间的运行,积累了海量数据[1],系统性能开始衰减,影响到了系统的使用效率。虽然可以通过增加内存等硬件资源在一定程度上改善系统的性能,但此方法成本较高。而通过对数据库进行优化, 可以在支出成本较小的前提下,大幅提升系统性能[2]。

1SQL优化

SQL优化的目的是减少系统资源消耗[3],一般遵循数据定位、执行、检查、分析、改写、再执行的流程进行。SQL优化的主要关注点是select语句,即利用最小的硬件资源消耗和最少的响应时间来定位数据位置。

在SQL编码方面,应准确利用索引,避免对大表进行全表扫描;合理利用临时表;避免使用过于复杂的SQL语句,利用一条SQL语句解决问题并不一定是最好的方法;在不影响业务的前提下,减小事务粒度[4]。

几种常见的SQL优化方法如下。

1)组合索引的列顺序尽量与查询条件的列顺序保持一致。

2)SQL查询时尽量使用确定的列名,减少使用 “*”号,如“select col1, col2, col3 from table”语句的性能要优于“select * from table”。通过数据库管理系统进行上述查询时,查询指定的列有可能使用索引快速全扫描来代替全表扫描;而使用“*”则会返回大量不需要的列到客户端,造成不必要的数据传输,从而影响网络的交互性能。

3)尽量减少嵌套子查询,大量复杂的嵌套查询可能导致低效的执行计划,且难以优化。对于有较多“or”运算的查询,可以考虑分为多个查询,用 “union”连接起来,此方式使用索引的几率更大,可以有效地提高响应效率。

4)在复杂的SQL查询中,分页语句应放置在最外层。

2索引优化

索引之于表数据如同目录之于书籍,索引是否被正常使用对数据库的性能有直接的影响。在数据库使用一段时间后,必须对已有索引进行全面检查, 删除不需要的索引,添加和重构索引十分必要[5]。

2.1添加索引

在对大的数据库表进行扫描时,首先要避免不必要的全表扫描(即在访问表时从磁盘上存储该表的起始位置开始逐记录读取数据,直到该表的高水位线),通常的做法是给大表添加索引,添加索引后即可通过访问索引的方式获得记录的物理位置,从而达到快速访问记录的目的[6]。如果一次查询只需返回表中的少量字段,那么在这些字段上建立索引, 通过访问索引获得记录可大大降低物理磁盘的读写次数,从而降低了整个查询的响应时间(在这种情况下,没有必要访问数据表,只访问索引即可实现查询)。在表中记录条数很多而每次查询返回的记录数较少的情况下,使用索引同样可以起到较好的效果,通常是根据查询的检索条件创建索引,进行SQL查询时可通过索引来快速获取目的记录集的物理地址,由于返回的记录数不多,因此这种方式造成的逻辑读很少,可以获得比较满意的访问响应时间。另外根据查询条件,能够使用联合索引时,应尽量选择联合索引,其效率要高于多个索引的组合。

2.2删除无用索引

系统中可能存在一些没有使用的索引,或一些索引的用法与其初始设计的意图不符,这些索引不仅会导致磁盘空间的浪费,也会降低数据操纵语言(Data Manipulation Language,DML)的效率。在高并发的环境中,无用索引还会导致硬解析的效率下降,从而影响数据库所能支持的并发用户数。因此,通常的做法是对数据库进行一段时间的监控(如1个月),然后根据监控结果删除部分不需要的无用索引。

2.3重构索引

在数据库中,索引只有删除和插入2种操作, 而针对索引的更新并非是真正意义上的更新操作, 如记录关键字的更新需要将旧记录的位置标记为删除,并在相应的叶子节点插入新的索引记录。删除标记并非真正地删除了索引块中的记录,索引块中被标记为删除的记录只有在相同索引条目插入到相同块的相同位置时才能重用,且即使相同的索引记录也不一定插入到被删除的空间中。在频繁的删除操作之后,索引关键字会不断增多,那么被标记为删除的索引条目就不可能被重用,索引的B-Tree不断增长,数据空间不断增大。索引不断增大可能会导致其高度增加,从而降低索引的访问效率;另一方面,大量索引块中的数据存储稀疏,在进行索引全扫描或范围扫描时,会比在数据紧凑的情况下扫描更多的数据块,从而影响访问性能。因此,对于DML操作频繁的表,索引的重构是十分必要的。

3数据库分区

3.1数据库分区技术

数据库分区是一种处理超大型表、索引等的技术。分区是一种“分而治之”的技术,通过将大表和索引分成可以管理的小块,从而避免将每个表作为一个大的、单独的对象进行管理,为大量数据提供了可伸缩的性能。通过将数据库操作分配给更小的存储单元,减少需要进行管理操作的时间,并通过增强的并行处理能力提高性能,屏蔽故障数据的分区,从而增加了可用性。

数据库分区具有以下优点。

1)增强可用性。如果某个数据表的某个分区出现故障,该表在其他分区的数据仍然可用。

2)维护方便。如果某个数据表的某个分区出现故障需要修复数据时,只修复该分区即可。

3)分级存储。根据数据访问的频繁程度,将访问频繁的数据放到I/O性能最快的存储上,如高端存储或闪存,将访问不频繁的数据放到低端存储上,从而达到充分利用系统I/O能力、提高数据库响应速度的目的。

4)改善性能。对分区对象进行查询时可以仅搜索自己关心的分区,从而提高检索速度。

3.2应用效果

为了更直观地说明分区的作用,就列表分区、范围分区进行了一组针对性的测试。数据库分区测试环境见表1所列,数据库分区测试结果见表2所列。

数据库分区测试说明如下:

1)测试中的2种分区方式均将数据划分为5个分区,每个分区的数据量大致相当;

2)测试SQL采用分页方式查询并排序,读取记录为15条;

3)在分区字段上具有全局索引,其他字段无索引,包括“order by”字段;

4)数据库采用默认配置,所有测试未采取任何优化;

5)每次测试前数据库均重启并清空缓存,所取数值均为第1次测试结果,避免了数据缓存。

根据上述测试结果,可以得出:数据库分区比未分区有更高的性能提升,列表分区性能高于范围分区,且数据量越大分区效果越明显。

4RAC节点优化

使用Oracle应用集群(Real Application Cluster, RAC)可有效避免单点故障对系统可用性的影响,多个节点同时提供服务可增强系统对外服务的能力, 利用多个节点的计算能力可提高数据库的处理吞吐能力。但对于RAC而言,要在多个节点之间维护同一份数据的完整性、一致性和事务性存在较大的开销,虽然Oracle通过Cache Fusion将节点间共享的开销降低,但如果2个节点频繁争抢相同的数据块, 那么系统的并发性就会受到较严重的影响,2个节点间的心跳开销也会持续增加,甚至影响到RAC节点的正常工作。因此,对于RAC环境部署的最佳实践, 应在不同的节点上部署不同的业务类型,将不同业务在节点间做垂直切分,避免多个节点同时争抢相同的数据块,有效降低内耗。

5将常用数据驻入内存

内存读取速度远远快于硬盘,若内存充足,应把常用或经常做全表扫描的小表及索引放到内存中, 利用内存的快速访问速度提高数据检索的速度。数据缓冲区高速缓存构成如图1所示。

一般2种情况可以考虑使用保留池,一种是在系统全局区(System Global Area,SGA)充足的情况下,可以考虑分配足够的保留池,将一些频繁访问的表置于保留池中,从而避免全表扫描导致的物理读取产生,提高关键表的访问效率;另一种情况则是在SGA有限的情况下,可以考虑精确地计算最核心表的大小,分配保留池空间将这部分表进行缓存,这样即使内存不是很充裕,也可以保证核心系统的查询访问效率。

需要注意的是,合理使用保留池可以有效降低对频繁访问的表的物理读取,但由于需要在SGA中分配空间,因此会导致对其他没有放置到保留池中的表的物理读取操作增加。另外,保留池的大小应超过池中所有表的总大小,否则可能会适得其反,在全表扫描时导致更多的物理读取操作。

6数据库参数优化

数据库参数优化是调优过程中最基本的工作, 对于不同的硬件服务器、操作系统、节点数量以及用途,数据库参数配置均存在差异,因此并没有统一的标准对其进行优化。但一般而言,数据库参数设置应遵循以下几个原则。

1)内存分配原则。对于并发连接较多的数据库,可能消耗的内存非常显著,如果在操作系统上预留的内存空间不足,可能会导致明显的内存Swap, 从而严重降低数据库和操作系统的性能,除非可以精确地 预估并发 连接数,否则SGA+ 程序全局 区 (Program Global Areas,PGA)不应超过操作系统内存的70%。

2)SGA分配原则。Oracle中的数据缓冲区(db_ block_buffers)、共享池(shared_pool_size)、日志缓冲池(log_buffer)、Java池(Java_pool_size)、大池 (Large_pool_sizeiba)等组件的内存总和应为系统可用内存的50%~55%。若SGA的分配预估困难, 可设置SGA_target参数,由Oracle在SGA中动态分配,稳定运行一段时间后,可以根据目前配置将各个组件的大小固定下来。

3)PGA设置原则。若查询的并发数量较多, 或者需要执行大量的Hash连接、排序操作,可以将PGA尽量设置大一些,以提高SQL的处理效率。

7结语

大型数据库设计方法 篇5

近年来，出现了一种新的软件开发方法学—敏捷方法学。这给数据库设计提出了一些新的、巨大的需 求。这些需求的一个中心就是进化设计。在一个敏捷项目中，需要假定我们并不能事先确定系统的需求。因此在项目的初期有一个详细设计阶段的想法是不现实的。系统的设计必须随着软件的变化而进化。敏捷 方法，尤其是极限编程(XP)，通过一些实践使这种进化设计成为可能。在数据库设计采用敏捷方法，反复迭代。许多人会怀疑敏捷方法能否用于有大型数据库组件的系统。但我们的确使用了许多敏捷和XP技巧，用 于解决基于大型数据库的项目中的进化与迭代问题。北京八维学校将介绍一些在数据库设计采用敏捷方法的实践。当然，这并不是说我们已经完全解决了数据库进 化的问题，但是我们想提供一些行之有效的方法。

敏捷编程的一个显著特点就是它面对变化的态度。对软件过程的一般解释是尽早理解需求，停止需求的变动，将这些需求作为设计的基础，停止设计的 变动，然后开始构筑体系。这就是瀑布方法--基于计划的生命周期。这种方法通过大量的前期工作来减少变化。一旦前期工作完成，需求变化会引起很大的问题。因此当 需求变化时，这样的方法就会有很大的问题，因此需求变动是这种过程的一个很大的问题。而敏捷编程却以另外一种方式来面对变化。拥抱变化，甚至允许在项目开发的后期发生变化。尽管变 化会被控制，但是这种态度会允许尽可能多的变化。变化部分来自于项目需求的不稳定，部分来自于要支 持变化的商业环境来面对竞争压力。为了做到这样，必须采取不同的设计态度。设计不仅仅是一个阶段—-在开始建筑之前就大部分完成的 一个阶段;设计是一个持续的过程，与编码、测试甚至发布相关。这是计划设计与进化设计的不同之处。敏捷方法的一个重要贡献是提出了在可控制方式下的进化设计。因此不是由于设计没有预先计划好，产生 了混乱。

大型数据库设计方法 篇6

当前, 我国的社会经济发展快速, 信息技术行业也得到发展与提高。因此ORACLE数据库技术也日益成熟, 并被广泛的运用到各个领域中去, 因为通过该数据库系统的处理与运用, 可以在很大的程度上减少人力、物力、财力的浪费。对于数据库的数据存取, 主要是分为四个不同的调整级别。下文将从多个方面介绍大型ORACLE数据库系统优化设计方案。

2 数据库优化自由结构OFA

OFA是一种提高ORACLE数据库逻辑配置和性能的优化结构, 对于数据库的逻辑配置和数据库的性能有着很大程度上的影响。数据库的逻辑设计必须要严格坚守与遵循这几条原则:将用同样的方式去使用的段类型规整并存储在一起;严格按照国家标准或者是相关的标准使用去设计系统;并要保存在用于列外的分离的区域;将数据与字典按照要求分离。

3 反规范化的优化策略

优化策略具体可以分为两种:一种是逻辑优化策略, 另一种是物理优化策略。其中物理优化又可以细分为两种:其一是索引代替法, 在运行过程中, 优良的索引可以极大的提高数据库的性能。因为索引能够保证不破环原有结构的基础下重新生成新型的机构, 借助物理优化的手段, 可以在保证原有的速度基础上提升整个系统的查询速度。其二是合理的安排磁盘阵。如果将经常使用和访问的数据库保存在特定的磁盘中, 就可以进一步实现系统性的有效提高。要对storage子句中参数要合理设置, 因为不正确的参数不仅会对其性能造成一定的影响, 还会对数据库构成一种威胁, 所以只有正确的设置参数, 才能够减少碎片的产生。另外, 对于纠正碎片所采取的方法是丢弃后重新组建碎片的对象, 在重新组建后进一步对第一区间的配置设置更多的空间。

同时, 在建立表的时候, 因为参数pctfre和pctused的不正确设置, 会导致数据块中的数据出现连接和行转移, 换言之, 本就同一行的数据却没有保存在同一数据块中。一旦在进行查询的时候遇到这些数据, 就会产生不必要的麻烦, 如磁头需要重新定位, 从而就会降低数据库执行的速度。对于这种情况, 在对表进行创建的时候, 就应该充分的考虑到将来某些数据可能出现的变化, 因此就要根据具体的数据进行参数设置, 防止数据库中出现连接与行转移。

根据以上的条件, 便可以实施反规范化, 因为反规范化会对原有的结构和组合产生破坏, 所以在操作的过程中, 必须要遵循特定的原则, 并且结合实际的需求来提高数据库系统的性能, 制定相应的保护与维修操作, 争取用最低的成本实现最大的效益, 提高整体系统的性能。

4 对于Oracle数据库性能调整与架构信息如下

大型ORACLE数据库设计原理图如图1。

通过对大型ORACLE数据库设计原理图进行分析, 可以知道对性能进行适当的调整可以使我们的系统得到优化, 对于这种方式的设计原理与优化, , 主要是针对系统整体的运行参数和系统的配置文件进行适当的修改。此外是程序方面, 我们可以根据我们的程序类型加入相应的并行操作从而对程序进行设计并优化。对于我们的共享池的操作主要针对尽可能缩短我们在对数据库的操作时间, 就能在一定程度上对数据库的共享池进行优化。日志缓冲区主要针对日志信息进行管理, 我们可以给予日志缓冲区开辟一片相对较大的区域与空间。

Oracle12c的发展方向主要是对关系模型的支持, 建立良好的运行环境, 完善系统的构成以及对应用的支持。总的来说, 随着数据库的技术以及管理数据库的大型软件、用户需求等变化, 使得数据库的系统在计算机系统中, 以及各种科研工作中都处于一个重要的发展地位。我国应该将发展的研究趋势与方向投入在各个应用的领域中去。

5 结束语

综上所述, 都表明了只有具体分析ORACLE数据库系统的结构与组织形式, 才能够制定出相应的优化策略, 并且要认识到结合其特点对于大型ORACLE数据库系统的优化具有实际的意义与价值。本文对大型ORACLE数据库系统的优化进行分析与探讨, 有利于今后进一步研究大型ORACLE数据库系统的优化, 也为大型ORACLE数据库系统提供了一定的理论支持。

摘要：随着信息技术的不断发展与进步, ORACLE数据库系统的结构也由简单转变为复杂, 由单一性转变为多面性。虽然Oracle数据库系统经过多年的发展功能不断完善、自动化管理水平不断提高, 但是其在提高使用性能以及灵活安装部署和扩大使用范围的同时, 仍旧存在着许多问题与不稳定的因素。所以, 本文将对此进行分析, 并且结合ORACLE数据库系统的自身结构, 从OFA自由结构、运行机制、硬件、OS周边环境等多种方面对大型ORACLE数据库系统的优化进行阐述, 并分析数据库系统技术发展趋势, 制定出具有针对性的优化策略。

关键词：大型,ORACLE数据库系统,优化设计方案

参考文献

[1]马薇, 娄雨.Oracle数据库容灾备份中的流复制技术研究[J].科技通报, 2012, 28 (2) :182-184.

[2]曲波, 邓旭东, 姜锋.Oracle Golden Gate数据同步机制研究与应用[J].微型电脑应用, 2014 (6) :55-58.

[3]尚晓娟, 姜福泉, 张帆, 等.基于Oracle SDO_PC的点云数据存储管理技术的应用研究[J].测绘通报.2015 (4) :57-60.

[4]王春梅, 陈学明.基于Oracle数据库电信CRM经营分析系统的性能优化[J].计算机与数字工程, 2015 (3) :418-422.

大型数据库设计方法 篇7

医院信息系统(Hospital Information System,简称HIS)在国际学术界已被认为是新兴的医学信息学(Medical Informatics)的重要分支[1]。伴随着计算机技术和网络技术的应用,我国医院信息化建设逐步发展起来,医院作为特殊的服务行业,随着医学科技快速发展和医疗设备不断更新,医院管理更加复杂和困难,对医院管理的科学性要求越来越高,仅靠管理者的个人经验和传统的手工管理模式,已经不能满足现代医院管理的需求,不能适应医院现代化发展的步伐[4]。

就目前而言,国内大型医院的信息化程度已经比较高,但是一些中小型医院主要停留在一个较低的信息化建设层面中。中小型医院由于资金、技术、人力等资源不足,严重制约了医院信息化的建设。为提高中小型医院管理水平,改善医疗服务质量,加速医学临床研究步伐,提高医院的竞争力,开发一套综合的医院信息系统已势在必行[5]。

2 系统需求分析

根据跟用户的沟通,HIS的基本目标就是减轻业务劳动强度,减少差错,科学管理药品,节省人力,提高医院的财、物管理水平增加经济效益,改善患者的就医环境,方便患者就医和查询,提高医院的服务效率、服务质量、医疗质量和管理水平[2]。根据用户需求及实际工作流程的分析,该系统业务流程图如图1所示。

根据对医院信息系统流程分析,该系统应具备以下四个核心模块:

1)门诊管理模块

在该功能体系中,主要包括门诊挂号,诊断,开药三个功能。

2)划价管理模块

该模块实现对所开药品进行划价、缴费等功能。

3)医药管理模块

该模块主要包括药品入库,药房发药,药品检验三个功能,实现医院药品入库登记,药品检验等功能。

4)住院部管理模块

该模块主要包括住院办理,出院办理,床铺管理三个功能,实现病人住院时登记,患者床铺分配,出院时床铺回收等具体功能。

根据功能描述,该系统功能模块图如图2所示。

3 系统体系结构设计

目前信息系统的体系结构主要有两种模式[1]:一种是客户机/服务器模式(Client/Server,C/S),另一种是浏览器/服务器模式(Brower/Server,B/S)。传统的C/S结构一般采用两层结构[1,4,5]:第一层是在客户机系统上结合了表示层与业务逻辑层;第二层是通过网络结合了数据库服务器。目前,C/S结构已经由两层结构向三层结构发展,三层结构将两层结构中的表示层和业务逻辑层分离开来,主要分为表示层、业务逻辑层和数据服务层。由于业务逻辑被提出到应用服务器,大大降低了客户端的负担,减少了代码冗余量,降低了程序业务逻辑的混杂程度,同时提高了系统的可扩展性和可维护性。所以又叫做瘦客户端的C/S模式。

根据医院的实际需要和医院具有的物理设施我们在设计时采用三层C/S模式,具体结构如图3所示。

4 数据库设计

根据医院信息系统对数据的需求,设计数据库的核心概念结构如图4所示。

概念结构是独立于实际数据模型的信息结构,必须将其转化为逻辑结构后才能进行数据库实现。根据核心ER图,使用相应的转化方法,生成该数据库核心的表如下:部门信息表、病人信息表、挂号信息表、病历信息表、划价单信息表、药品信息表、住院信息表。根据医院信息系统的需要,我们将数据库命名为hospital,在这个数据库上建立系统所需要的各类表。

由于医院信息庞杂,信息流量比较大,所以选择大型数据库管理系统Oracle作为后台数据库,能满足不断发展的医院信息系统对数据库系统实时性、安全性、数据存储量、信息来源多元化等要求。

5 系统使用的关键技术

在系统实现过程中,采用了ADO.NET技术实现数据源的连接和数据的检索、更新等操作;采用数据库端存储过程、函数等对象封装、实现业务逻辑,提高数据访问效率[3,4]。

1)ADO.NET技术

本系统采用ADO.NET提供对oracle数据库的访问和数据共享,用户应用程序可以使用ADO.NET来连接到这些数据源,并检索、操作和更新数据。

ADO.NET有两个核心组件:DataSet和.NET Framework数据提供程序,后者是一组包括Connection、Command、DataReader和DataAdapter 4个对象在内的组件,其组件结构如图5所示。

DataSet对象是ADO.NET的断开式结构的核心组件,实现独立于任何数据源的数据访问。Connection对象提供与数据源的连接,是操作数据库的基础,表示应用程序和数据源之间的惟一会话。Command对象能够访问用于返回数据、修改数据、运行存储过程以及发送或检索参数信息的数据库命令,实现对数据源的操作,如查询、插入、修改和删除等。DataReader对象从数据源中读取只进且只读的数据流。DataAdapter对象是DataSet对象和数据源之间关联的桥梁,用数据源填充DataSet并解析更新。采用ADO.NET组件的目的是为了从“数据操作”中分解出“数据访问”。

在该系统的实现中,采用dataset数据集,它代表着任意数量的关联表的每个表都包含了行和列的集合的本地副本,在数据库连接的情况下,调用桌面可执行程序处理和更新它的内容,使用关联的数据适配器把修改后的数据提交数据库。

2)存储过程的使用

数据库在信息系统中的应用集中在查询记录、添加记录、删除记录、修改记录的需要上,医院每天都会产生大量的信息数据,对于数据的操作,核心功能均采用存储过程或函数实现[3],因为存储过程有如下优点:

1)过程已经编译并且储存到数据库,可以直接调用,提高效率,并可以解决SQL注入等问题;

2)存储过程调用时只需要传递名字和参数,降低网络流量,提高传输效率;

3)可维护性高,更新存储过程通常比更改、测试以及重新部署程序需要更少的时间和精力。

6 结束语

本系统针对中小型医院的实际需求,采用三层C/S模式结构,借助于大型数据库技术oracle做后台,采用ADO.NET及存储过程等技术实现了一个安全高效、性能稳定的医院信息系统。为中小型医院信息系统的构建提供了一套有效的解决方案,该系统已在某医院中使用,深得用户好评。

参考文献

[1]朱旭东,迟彦.医院信息系统的多层体系结构[J].中国卫生经济,2009,28(5).

[2]陈金雄.医院信息系统发展及对存储和数据安全的新要求[J].重庆医学,2010,25(8).

[3]刘志敏.医院信息系统数据库中触发器的应用与维护[J].中国医疗设备,2009,38(13).

[4]李澄,张广明.医院管理信息系统的设计与实现[J].微计算机信息,2007,23(6).

大型数据库设计方法 篇8

螺纹旋风硬铣(Thread Hard Whirling)技术是高速硬加工技术与旋风铣削技术相结合的螺纹加工技术,该技术可以对硬度60HRC以上的滚珠丝杠和滚珠螺母实施硬铣削,以切代磨实现一体化加工、免去磨削和热处理工序,同时以干切削或少切削液实现绿色加工,是国外精密螺纹高效制造的主要工艺方法。目前,国内尚未针对此技术系统的数据库与模型库。

本文提出了基于web的切削数据库的解决方案,详细说明了该系统的基本功能和基本模块,并给出了切削数据库的数据模型。

1 数据库平台和界面开发工具的选择

切削数据库面向企业,采用C/S(客户端/服务器)模式架构软件。以刀具、工件材料或机床等作为查询入口条件,查询获取切削用量、切削液等,指导操作人员进行生产。

以SQL Server、Oracle为代表的关系型数据库是目前应用最广泛的数据库管理系统,也是基于网络的大中型业务首选数据库平台。综合考虑数据量、兼容性、易用性、与其他CAM/CAE/CAPP软件接口等因素,确定了以SQL Server 2000作为服务器数据库平台,构建大型螺纹旋风铣切削参数数据库系统,并利用Java语言实现数据库的运行。

2 大型螺纹旋风铣切削参数数据库的结构设计

数据库系统的设计包括需求分析、概念结构设计、逻辑结构设计、物理结构设计几个阶段。由于直接采用现成的数据库管理系统,可以不考虑其物理结构设计。

2.1 系统需求分析

旋风铣削参数库系统主要应用于工艺设计研发人员和生产现场操作人员,这就要求这个数据库系统能够根据不同用户需求和数据安全要求,对系统用户进行权限分配。数据库系统的功能模块和流程图如图1所示。根据生产实际需要,将用户分为一般用户、高级用户系统管理员三类,对不同的用户分配不同的权限,系统管理员建立各用户档案,并对用户档案进行维护,包括用户名、密码等。高级用户要进行旋风铣削参数的管理与维护,包括对工件材料、机床、夹具和刀具的基础数据进行增、删、改、查的基本操作,以保证机床数据的完整性。一般用户可根据查询条件得到旋风铣削参数,为其操作和工艺安排提供数据。

2.2 系统概念设计

数据库的概念设计的目标,就是用与数据库管理系统DBMS无关的概念数据模型,把数据库系统所需要处理的数据及其相互间的关系表示成用户和数据库设计者都能理解的全局数据模式。通常使用实体一联系模型(Entity Relationship Model,简称E-R模型)作为数据库概念设计的数据模型。建立实体一联系模型的关键在于正确划分实体属性和实体间的关系。可以确定的实体有工件材料、刀具、机床等,每个实体有很多属性。

旋风铣削加工数据库系统的E-R如图2所示。

根据理论要求和实际需要,将总体E-R模型转换为关系模型,最终确定数据库主要包括工件材料表、机床表、刀具参数表、加工参数表、切削液表。以工件材料表为例,其表头字段如表1所示。数据库中各表及彼此之间的总体关系如图3所示。

3 旋风铣削数据的采集

切削数据的采集是建立切削数据库系统的一项基础性工作,也是最重要的一项工作。切削参数库数据的丰富程度和准确程度,对于整个系统的实用性具有决定性影响。传统切削数据库系统的数据来源主要包括:1)实验室试验数据;2)车间生产经验数据;3)文献手册数据。实验室数据来自于针对具体加工条件而专门设计的切削试验,获得的数据比较科学有效,但采集难度较大。车间生产经验数据是操作人员加工经验的积累,比较符合生产实际,但离散性较大。文献手册数据比较系统和丰富,采集也比较容易,但可靠性一般。

本数据库系统除以上三种数据来源外,还包括对优化旋风铣削参数的数据输入。优化研究的系统模型如图4所示,以切削速度v、每齿圆周进给量af、头架转速n、跟刀架夹紧力F、刀具前角g为设计变量,利用遗传算法进行优化,得出以旋风铣表面完整性为优化目标的加工工艺参数优化值。

4 旋风铣削数据的查询

数据库中存有工件材料、刀具、机床和切削条件等数据。为了保证数据库系统的实用性,当输入机床、工件材料、所用刀具和切削要求等信息后,系统先从“旋风铣参数”表中检索本次加工条件是否已经存在过,若已经存在,可根据检索出的“加工标识”到“旋风铣参数”表中去找参数并显示;若不存在,则根据输入信息到优化模型中进行计算,获得新的“旋风铣参数”记录并将计算结果保存到“旋风铣参数”表中,最后显示输出参数。旋风铣削数据查询流程如图5所示。

5 结束语

本文根据我国大型螺纹旋风铣加工的现状和用户需求分析,针对大型螺纹旋风铣工艺,建立了大型螺纹旋风铣切削数据库系统,确定了切削数据查询流程,并开发了相应的应用程序。该系统可为用户提供优化的切削刀具、切削用量等加工信息,有利于提高生产效率、降低生产成本、增强企业竞争力。

摘要：本文根据我国大型螺纹旋风铣加工的现状和用户需求分析,针对大型螺纹旋风铣工艺,提出了基于web的切削数据库的解决方案,结合切削参数优化模型,说明了该系统的基本功能和基本模块,并给出了切削数据库的数据模型。

关键词：旋风铣,参数优化,切削数据库

参考文献

[1]任小平,刘战强,万熠,叶洪涛,庞继有.难加工材料切削数据库系统的研究与开发[J].工具技术,2009,40:39-41.

[2]昝林,成群林,郭玲,储祥冬,陆程城,汪通悦.高速加工数据库设计与功能实现[J].科技创新导报,2008(13):27-28.

大型数据中心节能设计实例分析 篇9

目前, 国内大型数据中心如雨后春笋般层出不穷, 数据中心面积越来越大, 从几百平方米到几千平方米, 甚至上万平方米的数据中心越建越多。如此大规模的数据中心对电力的需求也呈现出爆炸式增长的趋势, 因此, 节能成为大型数据中心在设计和运行时要考虑的首要问题之一。

据全球最具权威的IT研究与顾问咨询公司——Gartner (高德纳) 公司统计, 随着能耗和能源成本的节节攀升, 能源支出已成为全球70%数据中心的第二大运营支出项目, 仅次于人力成本。鉴于国内的人力成本较低, 国内数据中心的能源支出要远远超过人力成本。从各大数据中心对电力的需求来看, 数据中心已经成为重要的高耗能产业而非“无烟工业”, 建设绿色、节能的数据中心急需从概念走向实际。

2 数据中心节能的必要性

按照Tier3或Tier4的标准, 数据中心电力应按照1.0～1.6kW/m2的需求进行配置。很多国外数据中心的电力配置更高, 例如, 美国“圣地亚哥超级计算机中心 (SDSC) ”的数据中心按照1.42kW/m2配置电力;马里兰州毕士大 (Bethesda) 的“美国国家环境预报中心 (NCEP) ”的数据中心电力配置达到1.85kW/m2。目前国内新建数据中心的电力配置也基本满足Tier3或Tier4的要求。根据对国内数据中心的调查统计, 面积为1000m2的机房, 每年的用电量多在500～700万度左右, 因此节能十分重要。

随着数据中心的不断变大, 绿色节能数据中心已经由概念走向实际。衡量数据中心节能的指标通常用PUE (Power Usage Effectiveness) 值表示, 简单来说PUE=机房总耗电量/IT设备耗电量, PUE越低, 说明机房越节能。当PUE=1时, 说明机房所消耗的电量全部用来维持IT设备运行, 其他设备如空调、照明等没有消耗任何电力, 在理论上是最节能的机房。当然, 这在实际中是不可能的, 但追求更低的PUE值已经成为数据中心设计的首要目标。例如, 微软公司建在都柏林的数据中心是数据中心设计的里程碑, 其PUE值为1.25。据最新报道, Google公司现在已经有部分数据中心的PUE值降低到1.11。

而我国目前数据中心的PUE平均值基本在1.8～2.0, 中小规模机房的PUE值更高, 大都在2.5以上。这表明国内数据中心在前期规划及设计时没有充分考虑节能问题, 在数据中心选址、机房装修、空调制冷、UPS、照明等影响节能的因素上存在设计缺陷, 导致PUE值偏高。然而, 不切实际的追求过低的PUE值同样是不可取的, 过度追求更低的PUE值通常情况下都需在建设初期投入大量的资金, 这对国内的企业是个两难的选择。

3 绿色节能数据中心的设计理念

3.1 国外绿色节能数据中心简介

大型数据中心的建设应以安全、绿色、节能为首要目标, 从数据中心的选址、建筑结构、设备选型到机房装修、空调制冷方案都应充分考虑绿色节能的因素。

国外在这方面有很多案例值得借鉴, 例如惠普公司将数据中心建在靠近海边的温耶德, 将凉爽的海风进行预处理后直接送入机房作为免费冷源。温耶德数据中心是惠普公司能源使用效率最高的数据中心, 据估算满负荷运行时, 该数据中心的PUE值仅为1.16。此外雅虎公司的纽约数据中心、微软公司的都柏林数据中心等也都采用了冷空气作为免费冷源的制冷方式, 省去了空调制冷设备, 取得了非常低的PUE值, 提高了电能利用效率。

3.2 节能设计的理念

数据中心节能设计涵盖多个方面, 主要因素当然是空调制冷系统, 但UPS、机房装修、照明等因素同样影响着PUE值, 甚至变压器、母线等选型也影响着PUE值。对于UPS而言, 根据IT设备的实际负荷选择合理的UPS容量, 避免因UPS效率过低而产生较大的自身损耗。同时, 选择更加节能的高频机、优化UPS拓扑结构都可起到节能的效果。将IT设备专用变压器布置在靠近服务器机房的地方, 可减少母线长度, 节约母线的投资, 同时在运行时也减少了线损, 节约了电费。

在机房装修方面, 对墙、顶、地采用保温材料也可以取得很好的节能效果。尽量加大架空地板的高度, 使风口地板出风更加均匀, 提高精密空调制冷效率, 同样有利于机房节能。根据实验分析, 架空地板高度为1200mm比较理想, 考虑到其他因素, 一般建议取900mm～1000mm为宜。机房内最好采用冷热通道封闭设计, 并利用盲板封堵未安装服务器的机柜, 避免冷气流“短路”, 将极大地提高精密空调的制冷效率。

据美国采暖制冷与空调工程师学会 (ASHRAE) 技术委员会9.9 (简称TC9.9) 统计报告显示, 数据中心各部分用电量比例如图1所示。

从图1可以看出, 空调制冷占数据中心总电量的近三分之一, 是降低PUE值的关键指标。将外界冷空气进行过滤、加湿后直接送入机房, 进而取消空调设备, 固然是个很节能的方案, 但对国内的空气质量而言, 其用在空气过滤及加湿上的费用及人工费用恐怕要远高于电力费用, 不具有大规模的使用价值。

笔者近年来参与了多个数据中心的建设和运维工作, 其中用到了“自然冷却”这个技术, 取得了很好的节能效果。根据数据中心设计和运行时出现的问题, 谈一下笔者的心得, 供读者参考。

4 绿色节能数据中心的建设实例

4.1 项目背景

该项目位于北京地区, 数据中心建筑面积约2万平方米, 其中机房面积约1万平方米, 由若干个机房模块组成, 服务器机房的IT设备热负荷及环境热负荷达到1.4万千瓦。面对如此巨大的发热量, 采用传统的风冷式精密空调显然不适于本项目。在进行前期制冷方案论证时, 根据北京地区冬季时间长、气温低的特点, 决定采用空调冷水机组+板式换热器相结合的“自然冷却”制冷方案, 在机房内通过冷冻水型精密空调向IT服务器提供冷源。

采用冷冻水制冷方式比传统的风冷制冷方式更加节能, 这种系统在机房内采用低温冷冻水对IT设备降温, 再将机房内的热量输送到户外, 采取水蒸发的方式进行散热。由于采用了高效率的大型冷水机组及散热冷却塔, 再加上对水系统采取严密的控制措施, 可以使冷却效果得到更好的保证。

4.2 实施方案简介

“自然冷却”即“FREE-COOLING”技术是一个非常广泛的概念, 简单来说只要利用外界自然条件减少耗电制冷的技术都可称之为“自然冷却”。本项目中制冷系统在冬季和夏季采用不同的运行模式实现节能。在冬季及过渡季节, 当外界湿球温度小于4℃时, 采用FREE-COOLING运行模式, 即冷水机组停止运行, 经冷却塔散热后的冷却水和从精密空调来的冷冻水在板式换热器内进行热交换, 将机房内的热量带走, 此时冷却塔起到冷水机组的作用。在此过程中仅冷却塔的风扇、水泵及精密空调等设备在耗电, 而冷水机组完全没有耗电。在夏季及过渡季节, 当外界湿球温度高于4℃时, FREE-COOLING运行模式已无法满足数据中心制冷需求, 此时冷水机组开始制冷, 回到传统的空调压缩机制冷模式运行。

4.3 技术要点

4.3.1 数据中心制冷系统设计

作为数据中心的关键基础设施, 冷冻站的设计是最重要环节。本项目设置两个相对独立的制冷机房, 每个冷冻机房有两台3500kW (合1000RT) 的离心式冷水机组, 三用一备。冷冻水供回水温度设定为11℃/17℃。考虑前期负荷较小, 为避免离心式冷水机组在低负荷时发生“喘振”现象, 系统配置两台400RT的螺杆式冷水机组。板式换热器按冷冻水11℃/17℃, 冷却水9℃/14℃进行设计。

为实现制冷系统的不同运行模式, 冷冻水泵选择了两种不同扬程的变频水泵以适应FREE-COOLING运行模式和冷水机组制冷模式。

4.3.2 空调水系统设计

为避免空调水系统的单点故障, 空调冷冻水系统采用环状管网加按模块组设枝状管网的方式。各模块组内空调管网上的阀门配置原则应满足:当一组阀门发生故障时, 受影响的负荷不大于30%的模块负荷。冷却水主环管道设置在室外冷却塔下, 为平衡各管道的压降, 在所有回水主管设置平衡阀。

鉴于数据中心全年不间断运行的特点, 要求空调水系统也应具备全年不间断。因此设计空调水系统时必须充分考虑安全可靠性和可在线维护性。空调水系统一旦发生泄漏, 将造成毁灭性的事故, 需要采取特殊的措施加以防范, 在保证数据中心运行的同时, 实现安全更换阀门、管件等设备。

4.3.3 空调系统控制逻辑

在制定空调系统控制逻辑时, 首先基于冷水机组、水泵、冷却塔的能耗数据及北京地区的气象条件, 提出了合理的节能系统流程图, 并与假定冷水机组全年运行的能耗数据进行比较, 在理论上做出节能运行分析。

其次, 为了保证空调系统安全、节能运行, 本项目中控制逻辑分为夏季和冬季两种模式。在由冷水机组转换到自然冷却时, 为了避免冷水机组发生低温保护, 必须首先开启冷却水管道的旁通阀, 将冷却水水温提高, 以便顺利开启冷水机组。

冬季自然冷却时, 冷却塔处于低温环境, 而冷却塔又必须供应低于冷冻水温的冷却水 (比如6℃～8℃的冷却水) , 控制逻辑必须防止冷却塔结冰现象的发生。

控制逻辑还需采取必要的措施以应对极端情况, 如传感器失灵、断电重启等。在本项目中为了减少断电重启所需的时间, 本系统中所有电动阀门由UPS供电。

4.4 节能方案所取得的效果

根据实际运行经验, 本数据中心最迟从每年的12月中旬就可启用FREE-COOLING运行模式, 一直可持续到第二年的3月底至4月中旬, 每年至少可使用3.5～4个月的免费冷源, 节能效果非常显著。

表1是我国北方某数据中心的2010年7月份至12月份的用电量统计及相应的PUE值, 该数据中心所采用的空调制冷方案与本文数据中心所采用的方案完全相同。

从表1可知, 8月份IT设备的负荷比7月份有所增加, 因此8月份的PUE值比7月份略有降低。9、10月份平均气温低, 此时冷却水温度较低, 冷水机组效率得以提高, 因此9、10月份的PUE值比7、8月份PUE值明显偏低。因当年11、12月份的气温较低, 该系统已完全具备FREE-COOLING运行模式所需的条件, 冷水机组压缩机已停止工作不再耗电。因此, 此时虽然UPS的用电量在逐步加大, 但空调的用电量却比7、8、9、10月份的用电量还要低, PUE值从1.76降低到1.33, 节能效果非常明显。

4.5 尚需完善的环节

本项目中采用的冷却塔+板式换热器模式与冷水机组运行模式是并联的关系, 在同一时间只能有一种模式在运行, 两种模式不可同时运行, 即在冷却塔+板式换热器模式运行时冷机是无法运行的。然而, 更加节能的方式是冷却塔+板式换热器模式与冷水机组模式进行所谓的“串并联”运行。即在春、秋过渡季节, 当气温稍低, 但又不具备FREE-COOLING运行条件时, 可以采用冷却塔+板式换热器模式+冷水机组运行模式, 使冷水机组工作在部分负荷下, 即冷冻水首先通过冷却塔+板式换热器先进行降温, 降温后的冷冻水在冷机开启的情况下可以达到更进一步的节能, 这种空调制冷方案可以更充分地利用空气自然冷却, 在北方地区每年从10月初开始至次年的5月初, 每年有近7个月可以使用免费冷源, 节能效果非常明显。

5 对数据中心节能的简单思考

绿色数据中心已经不再是一个概念, 任何大型数据中心的设计必须优先考虑节能问题, 数据中心已经成为高耗能的产业。以北京亦庄经济技术开发区来看, 其辖区所建的几个数据中心的耗电量均排在前列。数据中心节能不仅是设计阶段的任务, 同时更是运行阶段的主要目标之一, 国际上有越来越多的数据中心设计和管理人员在讨论现有的数据中心运行温度是否太低, 认为应该设置到81华氏度 (27.2℃) , 甚至有人建议达到95华氏度 (35℃) 。据了解, 国外某些机房就是按照这个温度运行, 效果很好。据有关报道, 制冷参数变化1℃, 可能会产生5%～10%能耗变化。

大型数据库设计方法 篇10

物联网是物与物相连的互联网，是新一代信息技术的重要组成部分，在物联网平台下，采用射频识别（RFID），通过红外感应器、GPS定位系统、图像扫描器、数据感应器等信息传感设备，设定协议和通信端口，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理的一种网络。物联网通过电子设备数据传感器，对外界的原始特征数据进行数据采集，再通过网络层进行数据传输通信，发送到应用层实现面向对象的数据应用，达到远程控制和智能化处理的目的。可见，大型物联网由感知层、网络层和应用层三层体系构成。其中感知层实现原始数据采集，网络层实现数据通信，应用层实现功能应用。物联网的三层体系结构中都含有大量的电子设备信息，且各个电子设备的应用功能不同，需要对物联网中电子设备的相关数据进行有效挖掘和特征提取，发掘出有用特征为系统所用；因此研究大型物联网的电子设备海量数据挖掘算法在提高物联网的使用性能方面具有重要意义[1,2,3]。

传统方法中，对大型物联网的电子设备海量数据挖掘算法是建立在处理器集群平台基础上，通过数据传感器把电子设备信息数据在处理器集群平台中进行数据整合，然后用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式连在一起，实现数字处理集群，达到物联网中的电子设备数据挖掘的目的[4,5]。关于大型物联网中电子设备数据挖掘的算法研究，相关文献给出了对应的描述，并取得了一定的研究成果。其中文献[6]提出了一种针对物联网中大数据量高速分组业务电子设备信息挖掘算法，把各类电子设备数据分成多个小的分支进行，从而达到整体效率的提升，系统在大数据量是稳定可靠的，但应对大数据量随机变化时电子设备信息分类的能力欠缺。文献[7]提出了一种面向服务物联网中电子设备大数据信息流调度算法，采用遗传算法进行搜索时所具有并行性和在全局解空间中搜索的特点，系统搜索效率高，但系统网格的划分对系统结果影响大，且没有很好的网格划分标准，物联网中电子设备的差异性特征体现不明显，对物联网中的电子设备的海量信息大数据分类性能不好，且全局收敛性不好，易陷入局部收敛。可见，当前方法对大型物联网电子设备数据采用状态模式识别的数据采集算法，对具有差异性特征的电子设备数据挖掘无法分类识别，性能不好。针对上述问题，本文提出一种基于关联度主特征量提取的大型物联网电子设备的海量数据高效挖掘方法。仿真实验进行了性能验证，展示了本文算法的优越性。

1 问题描述及大型物联网中电子设备的数据采集模型

1.1 大型物联网中的电子设备海量数据挖掘问题描述

大型物联网的电子设备海量数据挖掘是设计一种有效的大型物联网电子设备数据监测仪为基础，系统的设计重点在数据挖掘算法设计和数据采集系统的改进上。物联网通过电子设备进行数据采集和信号处理，采用信号处理和数据通信方法把各种信息传感设备进行连接，实现对感知层的数据传感器的数据检测和过程控制。典型的物联网网络系统架构一般为三层体系，通常由感知层、网络层和应用层三层体系构成。其中感知层（Sensor Layer）是直接面向数据信息源的底层，采用数据传感器等电子设备实现对特定数据的采集和挖掘；网络层（Network Layer）是大型物联网系统的通信和数据传输层，采用Internet,GPRS,3G,WiFi网络实现数据通信；应用层是系统的顶层，实现整个物联网系统的应用和管理，包括数据应用、过程控制和远程监控等，通过面向对象的应用决策，实现系统最终功能的完成。大型物联网的电子设备信息数据的挖掘和传输以及应用过程示意图如图1所示。由图1可知，在大型物联网系统中，感知层实现原始数据采集；网络层实现数据通信；应用层实现功能应用。各层体系结构都含有大量的如传感器、通信设备和网络设备等电子设备，需要对大型物联网的电子设备进行有效挖掘，提取有用信息，提高物联网电子设备的应用性能。

1.2 当前的物联网中数据挖掘原理与存在的弊端

大型物联网中，应用层用户通常更加关心电子设备数据的信息采集和特征内容，需要对此进行有效挖掘，子设备海量数据存储于数据资源池，通过数据中心网络实现数据的调度和取回，大型物联网中的电子设备海量数据的存储结构描述如图2所示。

数据挖掘的原理如下：假设大型物联网中电子设备的终端数据信息采集样本为Dk(k=1,2,…,t），物联网环境下，电子设备把传感器采集的信息转换为数字信号，得到数据集合：

把大型物联网中的电子设备看成独立节点，节点中的信息是数据挖掘的载体。设大型物联网中电子设备节点i与节点j具有关联特征，电子设备节点i的数据聚类性能定义为：

式中：ω为可融合的系数，如果没有特殊要求，取0.5;uE为能够转换的数据量级；uN为不能转换成特征的数据量级。数据的聚类性能可以转换成Hamin距离，为了实现大型物联网中的电子设备数据的挖掘，根据计算得到的Hamin距离，定义模糊聚类中心，电子设备海量数据的模糊聚类中心由标准正态函数定量描述。大型物联网中的电子设备的缓存区域的模糊聚类中心是通过大量的定量值与确定度对定性量进行描述，它主要利用了正向和逆向搜索进行定性与定量概念的相互转换，采用了A/D采样方法，进行电子设备数据采集，得到大型物联网电子设备数据挖掘的目标约束函数表示为：

式中：xi∈Rn，代表大型物联网电子设备数据的状态矢量；Aj(L)为在约束条件L下的聚类结果。对式（3）目标约束函数进行求解，计算结果必须满足小于电子设备数据采集匹配偏差的约束条件，将符合条件的解与数据流的非线性特征进行匹配，匹配成功的数据即为电子设备的海量数据，实现对电子设备数据挖掘。但是，物联网的环境相对复杂，因此，在聚类过程中，很容易出现数据冗余融合或者干扰的问题，导致式（2）的聚类性能出现较大偏差，给后期的挖掘结果造成影响。本文提出一种改进的算法。

2 海量数据高效挖掘算法改进与实现

2.1 电子设备的关联度主特征量提取算法

通过第1节可以看出，在物联网环境下数据的挖掘中，最大的问题在于聚类过程的数据相似性干扰。在大型物联网系统中，各层体系结构都含有大量的如传感器、通信设备和网络设备等电子设备，传统方法对大型物联网电子设备数据采用状态模式识别的数据采集算法，对具有差异性特征的电子设备数据挖掘无法分类识别，性能不好。为了克服这种弊端，提出一种基于关联度主特征量提取的大型物联网电子设备的海量数据高效挖掘方法。对数据挖掘的过程进行约束建模如下：

式中：LQ表示电子设备的数据状态随物联网应用层的特征变化而产生的聚类变化率；UJ表示聚类的平均时间；UE是约束系数，一般为1。数据集为m，令f(u)作为聚类中心函数，在此函数中，只提取可约束条件相关的主要特征，成为主关联特征，用特征的差异度作为主关联特征的约束条件，运用第1节的方法，得到相似k距离邻居序列，联度主特征量提取的函数f(u)用如下公式进行描述：

在上述主特征提取的基础上，根据提取的关联主特征进行数据挖掘。

2.2 物联网中的数据挖掘与应用

在物联网中，由于大型物联网的数据之间的关联性是自反的和传递的，将上述的方法采用主特征量分割挖掘，设置物联网下电子设备数据挖掘的初始化值为0，利用如下公式能够对大型物联网电子设备数据在存储服务器上读取：

式中：Fk(v+1)为根据主特征的数据采集目标函数；D为描述设备种类的参数；K为数据采集种类的参数；U(v)为采集的住特征。对物联网环境下的海量数据区域划分成多个分片，得到电子设备数据挖掘性能衡量参数f(X)满足如下条件：

式中：X和Y代表物联网环境下的主特征，两者的差为约束条件；N为约束系数，特征数据并行化地存储到不同的物联网中间件中，实现对电子设备数据的预存和调度，基于上述模型，得到了电子设备海量数据挖掘的完整性边界条件为f(X)≤NX,f(Y)≤NY，实现了大型物联网中海量数据挖掘设计。

3 仿真实验与性能分析

为了测试本文算法在实现大型物联网电子设备海量数据挖掘中的性能，进行仿真实验。仿真实验硬件环境表述为：处理器IntelⓇCoreTM2 Duo CPU 2.94 GHz，内存为8 GB；操作系统为Windows 7；编程语言为Matlab 7语言。本实验采用Cloudsim平台来模拟大型物联网环境下的电子设备海量数据存储和数据采集系统，首先构建大型物联网的网络结构模型，大型物联网系统中，电子设备作为节点，均匀分布在网络结构中，电子设备数据采集的时间间隔为0.1 s，背景干扰的信噪比分布为：-5 d B,-10 dB,-11 d B和-15 dB。物联网的数据采集感知层电子设备参数设置和应用层及网络层的电子设备参数设置如表1所示。

在实验的过程中，设置控制参数α=2,β=6。首先进行大型物联网中的电子设备数据的采集，然后基于关联度主特征量提取，实现了大型物联网电子设备的海量数据高效挖掘。以大型物联网中的4组电子设备数据挖掘为例，得到数据挖掘结果如图3所示。

从图3可见，采用本文算法能有效实现对大型物联网中的海量数据的挖掘和特征提取，幅度平稳，数据的关联度差异明显，具有较好的分类识别和数据检测能力，为了测试性能，在不同数据范围下分析数据挖掘的时间执行开销，得到结果如图4所示，从图4可见，采用本文算法，具有较小的时间执行开销，提高了大型物联网电子设备数据挖掘的时效性。

4 结语

大型物联网的各层体系结构都含有大量的如传感器、通信设备和网络设备等电子设备，需要对大型物联网的电子设备进行有效挖掘，提取有用信息，提高物联网电子设备的应用性能。本文提出一种基于关联度主特征量提取的大型物联网电子设备的海量数据高效挖掘方法。分析本文的研究结果可见，采用本文算法能有效实现对大型物联网中的海量数据的挖掘和特征提取，幅度平稳，数据的关联度差异明显，具有较好的分类识别和数据检测能力。且系统运行效率提高，运行时间较短，系统能在1 s内处理几百万次查询和数据挖掘，因此该算法具有较强的实用性。

参考文献

[1]陈志,骆平,岳文静,等.一种能量感知的无线传感网拓扑控制算法[J].传感技术学报,2013,26(3):382-387.

[2]王辛果,张信明,陈国良.时延受限且能量高效的无线传感网络跨层路由[J].软件学报,2011,22(7):1626-1640.

[3]欧世峰,高颖,赵晓晖.自适应组合型盲源分离算法及其优化方案[J].电子与信息学报,2011,33(5):1243-1247.

[4]蔡昕烨,牛耘,黄志球,等.一种用于基因调控网络建模的CGP-WPSO混合算法[J].计算机科学,2012,39(9):180-182.

[5]邓异,梁燕,周勇.水声换能器基阵信号采集系统优化设计[J].物联网技术,2015,5(4):36-37.

[6]石鑫,周勇,甘新年,等.机载多源飞行数据资料的非线性检验[J].计算机与数字工程,2013,41(5):729-732.

[7]刘昊晨,梁红.线性调频信号参数估计和仿真研究[J].计算机仿真,2011,28(2):157-159.

[8]罗龙,虞红芳,罗寿西.基于多拓扑路由的无拥塞快速业务迁移算法[J].计算机应用,2015,35(7):1809-1814.

[9]孙超,杨春曦,范莎,等.能量高效的无线传感器网络分布式分簇一致性滤波算法[J].信息与控制,2015,44(3):379-384.