您是第位访问嘉宾!
当前位置: 首页 > 项目简介

基于Web技术构建中医药数据库群组共建平台

  • 发布者:admin 发布时间:2015-11-07 16:36:04.0

基于Web技术构建中医药数据库群组共建平台△
尹爱宁

    文摘:
   本文介绍了基于Web技术构建中医药数据库群组平台的基本体系结构、实现本平台的关键技术,并以科技部基础性工作为例,介绍了可以实现的主要功能,以及应用本平台所产生的效益。

当社会大系统中出现了巨大的信息流和与之相伴的宏大的数据流时,要求我们必须采用新的技术和手段来对这些数据进行收集、存储、加工、检索、分类、统计和传输等,于是数据库技术不可避免地产生了。而当我们再次面对网络技术与数据库技术迅速普及与融合时,在网络平台上构筑数据库群组的共建平台,成为当前数据库技术发展的潮流与趋势。
1.背景:
   众所周知,数据库系统并不是在计算机产生的同时就出现的,而是随着计算机技术的不断发展,在特定的历史时期、特定的需求环境下出现的。数据库系统的个体含义是指一个具体的数据库管理系统软件和用它建立起来的数据库;它的学科含义是指研究、开发、建立、维护和应用数据库系统所涉及的理论、方法、技术所构成的学科。在这一含义下,数据库系统是软件研究领域的一个重要分支,常称为数据库领域。中医药数据库是在数据库领域内注入了中医药专业学科的技术特点与学科内容。 数据库技术的发展支撑了中医药学数据库的建设,在我们建立中医药数据库的过程中,经历了单机数据存储、小型机局域网络、以及Web数据库平台的发展阶段。为什么发展Web数据库,除了计算机技术发展的本身外,更主要的是来自中医药数字化与信息化的需求。
   2000年初,我们已经感到来自国内外大型文献数据库的压力,《CMCC》、《生物医学期刊文献数据库》的数据资源是《中医药期刊文献数据库》的4倍。他们依托强大的学科体系建立了大型医学文献型数据库。不久,万方与清华同方、万维等又陆续在网上推出了全文期刊数据库。无论从数据量还是服务方式上,这些数据库领域的巨无霸都显示了超长的增长率。
  在生存与毁灭的压力下,中医药数据库的建设受到了国家科技部及领导的重视,获得了连续三年的数据库建设的基础性工作项目,建立中医药数据库主体数据库已经成为中医药行业信息化的关键。主体数据库的快速集成与多类型数据量的增加,成为中医药数据库发展的关键,也是中医药信息行业生存的前提。为适应中医药信息化、数字化的需求,中医药主体数据库群组必须向多类型、多结构、快速信息存储与高度集成方向发展,最终形成全方位的系统工程。在我们组织了全国十九家分中心参与数据加工与数据合成后,面临的问题是如何保障多中心每个成员单位在不同优劣硬件设备上,利用同样的软硬件环境、统一的加工界面、一致的加工方式,实现高速率的数据集成。于是,基于Web的数据库技术,成了保障科技部基础性工作完成的关键。构筑中医药主体数据库的加工平台,成为基础工程。
2.技术平台的设计:
    根据中医药主体数据库群的需求,共建平台需要充分发挥Web的易用性、实用性,满足多类型数据库(结构型、关系型、图像型以及数据仓库)的结构设计,将数据库技术与Web技术很好地融合在一起,使数据库系统成为Web的重要有机组成部分的数据库,能够实现数据库与网络技术的无缝有机结合。
为保证建库平台的实用性,我们采用成熟先进的Internet技术、数据库技术,提供一套较为完整的远程异地分布式中医中药信息采集、维护与管理功能,并且提供友好、快速和直观的信息检索界面,以及多角度多视点信息统计功能。
2.1系统体系结构:本结构保证了系统服务的扩展性,数据的安全性,工作的并行和协同性。
2.1.1面向Internet的、多层的、B/S结构的系统构架。采用浏览器的方式,支持分中心的灵活的、可扩展的数据采集,分层次的数据维护以及集中式的数据监控和加工管理。
2.1.2.安全可靠的集中式数据库架构设计。采用隔离缓冲的前后台数据库架构,提供了可靠的数据安全机制;集中式的数据架构设计大大降低了系统的运行维护和管理成本。
2.2系统实现的关键技术:
2.2.1.协同数据采集技术。采用CSCW技术,利用微软WEB服务器IIS的session会话功能,以及Oracle数据库强大的事务管理功能,实现了在Internet环境下,人机协同式的数据采集功能。支持中医、中药科技基础数据库群的十五个中心的数据采集远程协同工作的模式。
2.2.2数据库隔离缓冲技术。通过前台粗模型、无关联型数据库,在粗粒度,无关联的基础上,提供了数据容错能力,并且提供了数据的安全可靠机制,保证了后台结构化数据库的准确、一致和安全,同时也大大提升了前台录入人员的工作效率。
2.2.3多级化的、多角色的数据管理和审查机制,保证了数据内容的一致性与安全性。提供了图形化的数据管理功能、基于WEB的远程管理和审核功能,、数据采集进度的监控和管理功能以及多个角色的检查机制,并且在多个层次上对数据进行安全性检查。
2.2.4面向与中医药特点的,多视图,多角度数据库浏览导航系统,为信息检索者提供了快速,准确的信息检索浏览功能。这一功能,基于基础数据库的完全结构化的设计,把整个中医中药信息系统在数据库的结构上严格地关联起来,从而使得这种多视图,多角度的导航浏览得以实现。
2.2.5基于OLAP的中医药实验数据仓库的实现。使用Oracle数据库的数据仓库技术,也就是所谓的OLAP功能,提供快速多维的在线数据统计功能。
3.共建平台的主要功能:
3.1建立数据库:
在基础库中,我们首先开发了本地建库工具,之后又以此为基础,设计了一套以数据冗余换取容错性的表结构以及相配套的建库、转换工具,使基础库、实验库、数据仓库的远程建库成为可能,实现了数据的远程异地同步录入,实现了多用户群组(全国十九家分中心)进行统一格式与标准,完成不同数据库与不同类型数据加工。
本平台应用于中药基础数据库、中药药理实验数据仓库、中药化学实验数据库、中医药文献数据库的文献标引等数据加工。本平台上提供了加工数据库的规范标准表与词表,保证了数据加工的准确性。同量,平台支持各种类型数据的加工(文本、图像)。
3.2数据维护与数据质量控制:
考虑到人工录入可能发生的差错,我们提供了组合筛选和角色分类两种维护机制。使用组合筛选机制,我们可以方便的选出需要维护的数据进行检查、修改和审批,这在基础库、实验库与文献数据库中都已经实现;使用角色分级机制,我们可以为各个单位和人员分配不同的权限,实现人员分工明确、操作互不干扰、数据多级审查三大功能。
平台实现了数据质量控制分层次显示(分为初审(分中心审校员)、终审(项目负责人)、已倒入(专家));采用机控与人工干预相结合的质量控制流程,由计算机进行初始数据筛查,各级审校人员分别依次进行数据把关与审核。
3.3平台管理:
平台管理是对整个参与数据库建设的人员、数据、数据库表、数据加工与程序应用的综合系统性管理,涉及面广,管理模块多样化,我们采用远程与本地管理相结合的方法,建立了远程管理平台与本地管理应用工具。
3.3.1文档权限管理:
首先将文当操作权限规定为四类:查看、增加、修改、删除;再将所有文档按文件性质进行详细的分类,并根据加工人员所在单位、数据库文档隶属标段进行权限编码。这样所有文档都具备了独立的权限信息编码表,可对所有用户的文档操作权限灵活限制,实现了相同单位相同数据库的加工人员对于文档处理不同。
3.3.2模块权限管理:
对一些重要模块可分别设立操作权限,规定该模块只对哪些类别的用户或对哪些几个用户开放哪些权限;中药化学实验数据库与中药基础数据库利用相同的加工界面,但分别授予不同的权限。
3.3.3信息分组管理:
对于一些独立事件产生的管理信息、设计事件与子事件的管理模式,每一事件及其子事件均可设定独立的用户访问权限,规定只对哪些用户开放。这种功能分别用于专题组及分中心对于本单位的管理,分中心的管理人员享有分组管理该成员组的所有人员权限。
3.3.4个人权限管理:
我们设计了帐号权限机制, 便于对远程异地录入和审核的人员进行管理。每个录入人员用自己的帐号登陆,各人数据的可见情况保证了他们之间工作的互相独立和互不干扰;同时配合角色分类机制,各种角色的人员可以进入不同的界面,进行各自权限下的特定操作。使用帐号权限机制的还可以查看在线人员的情况和统计录入人员的工作量、数据加工时间与数据加工进度等,用于全面掌握工作进度并及时进行项目评估。
3.3.5加工人员在线管理:
   各专题组加工人员在线状态管理,为本单位领导进行考勤与数据系统的安全性提供了方便。从在线状态可以帮助防止“恶意”入库。
数据库加工:各类信息的加工操作都用Java Bean的模式封装到Web服务器后台,客户端仅实现信息的表示,增加信息安全性。
3.3.6数据管理:
为完成数据多种形式的存储,实现复杂数据仓库与结构关联型数据库存储的二次处理;建立了数据统计与数据倒入等管理工具,应用于数据仓库、结构型数据库管理。将前台加工数据便利导入细模型中,将多重数据库表中的数据有序的进行了关联。
3.3.7数据任务分配管理:
将每月需要完成的任务存储在平台上,加工人员及时了解任务量与性质。中医药文献数据库建立了标引期刊分配程序,实现每月工作任务量、工作任务分配时间等内容的在线提示。
3.4浏览:
为随时进行数据库应用需求测试,我们在加工平台上建立了数据游览功能,便于各分中心人员及时了解数据库的利用方法,同时最快的应用已经加工好的数据。
3.4.1中药基础数据库:基础库的功能在于它构建了一个容纳了大量中医药学知识和规则的知识库,可以作为日常查询用的百科全书,更能够作为我们以后数据挖掘的依据。出于实用性的考虑,我们为基础库设计了一个关联性很强的超链接式的导航界面,我们通过它查阅到一个主题所有有关的内容。实现了数据关联导航检索;根据不同的主题变更,全面准确地将中药数据进行归类查询。
3.4.2中药药理实验仓库:实验库的功能在于它收集和归类了大量的中医实验情况。按照数据仓库的特点,我们设计了一个简单的多因素查询界面,为了保证词汇的标准性,我们也挂接了标准词库,我们只需要提出我们所关心的因素,就能够从中得到大量中医实验的统计结果,为我们的研究提供一定的参考和启示。提供中药实验数据值的归类与数据统计排序;按照药理实验主要指标随意进行不同需求的数据统计排序;并可浏览实验全文数据;
3.4.3中医化学实验数据库:化学实验数据库的功能在于结构化与关联性相结合,实现了数据全面与精确查询检索、数据关联导航、数据统计排序功能,同时,准确的提供化学检测的加工步骤与数据值的关系,为数据挖掘打下了基础。
3.4.4其他数据库浏览功能:中医药信息关联导航检索平台:提供了不同类型的文献数据库与多种形式的结构型数据库的无缝性关联导航,按照专业需求,分设了相关主题,可以按照主题或者随时变更主题进行中医药信息平台上的所有数据库群的关联检索。文献多库融合检索平台:多库融合检索平台是将多个不同类型、不同结构、不同软件支持的本地及异地数据库置于一个统一的检索平台上,使您可以同时从各个不同的数据库中检索所需要的信息,也可以只选择其中的一个数据库进行查询。单表数据特殊需求查询:根据查询的需要,实现了多种类型的查询功能;期刊文献数据库实现了词表支撑的扩展检索;方剂与产品等数据库设计了包含方、类似方的子集方的检索与相似度排序,同时可以限定组方药味数量。
3.5网络交流:
3.5.1在线学习与共同提高:中医药文献数据库标引平台上,提供了中医药标引规则手册、增加主题词与入口词对应表的建议框;
3.5.2基础工作项目组建立工作组网页;设立了课题进展、工作评价、科技论文、技术规范文档与任务要求等专栏。
3.5.3利用网络提供的音频与视频手段,建立了网络教室与项目组交流讨论区,实现了面对面的工作交流。今年因SARS影响了正常的人员培训,我们利用网络实施了网络课堂教学,进行了对分中心加工人员的远程培训,保障了任务的顺利完成。
4.效益的分析:
基于Web技术的中医药主体数据库平台,其应用后产生的效益至少包括以下几个方面:
4.1开发一套管理软件,即可供所有参建单位用户使用,其软件总体投入成本和软件维护费用得到极大降低;
4.2所有应用均基于Web网站形式,无须本地计算机硬件设备的要求,易于满足分中心成员单位的参与;
4.3所有成员单位基于统一平台,实现无障碍的所有数据信息交流与共享,信息及时存储与获得更新;
4.4所有参建单位的数据加工采用统一格式,避免管理方式多种多样,节约大量的信息格式转换费用;
4.5所有信息创建录入的来源自然唯一,即保证数据信息的正确统一,又大幅减少重复劳动、节约信息采集费用;
4.6所有参建单位基于统一的信息质量控制平台进行项目管理,极大缩短参建各方的技术水平差距,提高整个项目的管理水平,同时降低对管理人员的素质要求;
    总之,基于Web技术的中医药数据共建平台的建立,实现了中医药数据库群的科技信息高度集成,二年内的数据扩充量是我们以前16年数据总量的4倍,数据加工人员也从原来的十余人,发展为近200人的队伍。工作效率提高了、数据时差缩小了、加工方式规范了,这些都为加入国家科技基础数据中心打下了基础。也为中医药行业数据库的建设,提供了一整套的系统工程与应用系统。

 

 

 

△国家科技部科技基础性工作-中医药科技信息数据库的建设与共享(2002DEN30042)课题组项目