摘 要：目前油气管道SCADA系统运行过程中，中心SCADA系统和场站通信设备的通讯中断，会造成中断期间的数据丢失，影响油气管道的安全生产运行。为此，提出了一种数据回填技术，给出了包括场站通信设备存储通讯中断期间数据、数据回填通讯、回填数据处理、回填数据存储等环节的数据回填技术的总体结构，分析了回填数据通信、回填数据时标处理、回填数据处理、回填数据应用等功能技术要求，并最终形成了数据回填通信设计方案，包括完整的服务端和客户端的功能设计、实现方法、交互流程以及扩展的通信协议报文，可以高效地实现回填数据的通信功能。实验验证结果表明：数据回填技术可以实现场站通信设备向中心SCADA系统的数据回填功能，能够满足系统的数据回填需求。结论认为：包含场站通信设备存储通信中断期间数据、数据回填通信、回填数据处理、回填数据存储等环节的数据回填技术，解决了因通讯中断而导致的数据完整性和连续性问题，提高了SCADA系统数据的完整性和系统的可用性。
关键词：数据回填 时标处理 数据通信 SCADA系统 油气管道
A data back filling technology in an oil and gas pipeline SCADA system
Abstract：During the operation of an oil and gas pipeline SCADA system，the communication interruption sometimes occurs between central SCADA system software and terminal communications equipments，which will lead to data loss during the blackout，and will eventually threaten the safety of pipeline operation．For this reason，this paper proposed a data backfilling technology as well as its general structure including data stored by terminal equipment during communication blackout，data backfilling communication，back filled data processing and storage，etc．，and analyzed the technical requirements of data backfilling communication，backfilled date timestamp processing，backfilled data processing，application of backfilled data，etc．On this basis，a design scheme was thus completed for the data backfilling communications，including a complete function design of the server and client，realization method，interaction process，and the extended communication protocol message，which effectively help achieve the function of data backfilling communication．The results validated by experiments show that this proposed data backfilling technique can not only realize the data backfilling from terminal communications equipment to the central SCADA system but meet the demand of system data backfilling．In conclusion，the data backfilling technique can solve the incompleteness and discontinuity of data due to the interruption of communication，and also improve data integrity and availability of the SCADA system．
Keywords：oil and gas pipeline，SCADA，data backfilling，timestamp processing，data communication
为适应管道大型化、网络化和输送介质多样化的发展方向，油气管道控制管理必须走集中化和智能化的发展道路[1]。油气管道SCADA系统必须保证管网的可靠、稳定和安全运行，这对数据采集和存储的完整性、实时性、安全性和可靠性都提出了更高的要求。
从目前油气管道SCADA系统实际运行的情况来看，中心SCADA系统软件和场站通信设备的通讯常会出现中断现象，中断期间的数据在中心的SCADA软件系统中没有记录，这种数据的不完整性给油气管道正常的生产运行带来了安全隐患。
本文参考文献[1-3]对SCADA系统在长输管线的应用进行了阐述和展望；本文参考文献[4-12]对SCADA系统技术进行了探讨；本文参考文献[l3—14]对相关标准进行了研究；本文参考文献[15-19]对工业控制领域的通信技术进行了研究。本文提出了一种数据回填技术，在通信网络巾断期间，场站通信设备(或站控系统)存储相关数据，通讯恢复正常后，中心SCADA系统软件对这些数据进行补采，以实现中心数据的完整性。数据回填技术可解决因通讯中断而导致的数据完整性和连续性问题。
1 功能概述
数据回填技术主要包括：场站通信设备存储通信中断期间数据、数据回填通信、回填数据处理、回填数据存储，总体结构如图l所示。通信中断期间，场站通信设备(或站控系统)需要对中断期间的数据进行本地存储，可以采用数据库、文件等方式存储。为方便中心SCADA系统回填，场站通信设备有必要对系统所有数据或通信数据全部进行存储。数据回填通信功能在通信恢复后进行数据回填，中心SCADA系统主动与场站建立链接并发送数据回填请求，场站给予数据响应。中心SCADA系统对回填的数据进行处理，包括告警、事件记录等。中心SCADA系统对回填数据采用与实时数据相同的数据存储方式，但要对回填数据的质量位打上回填标识，用于标注该数据是采用回填方式获得的。
2 主要功能
2．1 回填通信与实时通信之间的关系
中心SCADA系统和场站通信设备的通讯中断恢复后，中心SCADA系统软件对中断期间未传输的数据进行回填。回填的实现方式可以有以下几种：①通信恢复后，场站先进行数据补传，而后传输实时数据；②通信恢复后，进行实时数据传输，在实时数据传输的空闲时段进行中断数据补传；③通信恢复后，进行实时数据传输，同时创建新的链路补传中断数据。
回可填通信不能影响实时通信，这是一个基本原则。基于此原则，实现②和③是可用的。但如何做到对实时通信不影响或影响最小，要从实时数据的传输量等统计指标进行判断。
一般来说，数据回填过程中，中心SCADA系统和场站通信设备都需要对实时通信的情况进行监测，确保实时通信的质量。中心SCADA系统在实时通信数据量比较大的情况下，要延迟或停止对回填数据的请求；场站通信设备需要有优先传送实时数据的控制机制。
2．2 回填数据的时标处理
实时数据的时标处理采用“就近”原则，即数据的时标应采用离采集设备或装置(数据源)最近的时标，最好采用装置的时标。在没有装置时标的情况下，则应该采用场站通信没备发送数据的时标；在没有发送时标的情况下，则应该采用中心SCADA系统数据采集模块接收数据的时标时间。中心SCADA系统应该对数据时标打上标签，标明时标来源为场站还是中心。
回填数据的报文必须带时标传输，不带时标的报文无法适应数据的回填要求。回填数据的时标也最好采用装置的时标，在没有装置时标的情况下，则应该采用场站通信设备存储的数据时标。
2．3 回填数据的处理
回填数据处理包括对回填数据进行预处理、告警、计算、压缩、归档等处理模块。回填数据的处理不更新实时数据库，而是直接进行归档。
2．3．1回填数据预处理
回填数据预处理模块对回填数据进行判断，判断采集点数据是否产生告警，将告警数据交由告警模块处理。
判断采集点数据是否需要归档，将需要归档的数据交由归档模块压缩归档。
2．3．2回填数据告警处理
告警服务作为一种公共服务为各应用提供相应的告警处理功能。对于回填数据，告警服务应提供数值越限、遥信状态变化等告警判断功能，并提供告警的归档功能，以便历史分析和查询。从界面上需要用不同颜色区分回填数据告警与实时数据告警。
2．3．3回填数据计算处理
数据处理模块对回填数据提供数据计算功能，根据用户预定义公式对相关回填数据进行实时计算。
回填数据计算涉及的计算分量，应从历史数据库获取，回填数据计算涉及的计算结果，也需要更新历史数据库，并对计算结果进行相关标注。
2．3．4回填数据归档处理
数据处理模块对回填数据提供压缩归档功能，主要是针对数值型的数据进行选择性压缩，其他数据类型将不做压缩，直接归档。采用合理的压缩技术，可以在要求的数据精度下，恢复被压缩数据，既能保证系统处理归档数据的高效性，也能实现在同样的硬件条件下，存储更多的历史数据。
经过压缩后的回填数据暂存在缓存中，当缓存数据达到一定数量时，调用历史库接口批量写入历史库。归档数据应包含数据点名称、数据值、数据质量、时标。
2．4 回填数据的应用
在中心SCADA系统，回填数据与实时数据的区别仅仅在于数据处理的个别差别，比如回填数据无需也不能写入实时数据库。回填数据的应用与实时数据的应用基本一致，仅仅是在使用回填数据时要注明“回填”标志。
事故反演功能也可以充分利用回填的数据，在进行事故反演时，将最真实的现场情况展现给操作人员。
事故反演模块提取距离反演开始时间之前最近的数据断面，载入到反演快照表中，将之后的完整数据依次刷新到快照表中，直到快照表反映出反演开始时间数据断面。同时提取出反演开始时间和结束时间内的所有数据(包括回填数据)，对事故进行反演。通过回放通信中断期间的油气管道业务数据，直观地了解这段时间内的业务数据变化情况，可以对报警、事故、设备故障等做出初步诊断，以便于进行故障排查。
3 数据回填通信设计
回填数据通信有两种方式：计算机通信方式和文件传输方式。
计算机通信方式是目前主要的实时数据通信方式，应用该方式时通信两侧要保证通信测点名称的一致。计算机通信规约一般采用IEC60870-5-104规约。
笔者给出了一整套的解决方案，包括完整的服务端(场站端)、客户端(中心SCADA系统)的功能设计，实现方法以及交互流程，提供了扩展的通信协议用于传输服务端与客户端间的命令及数据报文。该设计完整地解决了油气管道SCADA系统中，因为调控中心与站场间的通信中断而导致的部分数据缺失问题，提高了整个系统数据的连续性和可用性。
3．1 数据回填通信服务端功能设计
场站端数据通信模块分别采用独立的进程实现数据回填存储和转发功能(数据回填存储程序和数据回填服务端程序)。
数据回填服务端程序负责监听指定的端口、接收数据回填客户端的请求并完成数据转发。数据回填服务端程序与数据回填客户端程序采用IEC 60870-5-104协议扩展功能完成数据传输任务。数据回填服务端程序用于转发的数据来源有两个，第一数据源是站控系统实时数据转发程序记录的报文日志，第二数据源是数据凹填存储程序记录的报文日志。数据回填服务端程序优先使用第一数据源提供的数据，当第一数据源无法提供所需数据时再使用第二数据源提供的数据。
数据回填存储程序用于记录实时数据变化情况，并将实时数据转换成能够用于数据回填转发的IEC 60870-5-104协议扩展功能要求的报文。数据回填存储程序记录的报文可以作为数据回填服务端程序的第二数据源来使用。
保存日志的命名规则为日期+链路名称的组合，如“20130101_测试站．log”，日志记录的格式如图2所示。
3．2 数据回填通信客户端功能设计
主站端数据回填采集支持两种触发方式：自动触发回填和人工触发回填。自动触发回填的发起者是SCADA系统数据检测模块，它负责判断需要数据回填的站场及数据回填的起始时间和结束时间，并将上述信息发送给数据采集子系统，再由数据采集子系统负责将数据采集上来。人工触发回填的发起者是操作员，操作员通过操作界面下发数据回填消息，该消息同样包含需要数据回填的站场及数据回填的起始时间和结束时间，再由数据采集子系统负责将数据采集上来。
数据回填触发时需要判断实时数据采集通信链路的连接状态，只有在链路连接正常时才可以触发数据回填。
主站端数据采集子系统接收数据回填消息，解析消息并根据消息的内容确定数据回填通道、数据回填起始时间、数据回填结束时间，再与场站通信设备建立连接并通过IEC 60870-5-104协议扩展功能采集需要回填的数据，将此数据标记为回填数据并按照与实时数据相同的流程发送给数据处理模块。主站端数据采集子系统有独立的进程(数据回填客户端程序)专门负责数据回填采集工作，该进程接收到数据回填消息后为每个需要数据回填的站场创建专用线程完成数据回填采集工作。为了减少对实时数据采集的影响，数据回填采集与实时数据采集分别采用不同的TCP连接。
3．3 通讯协议扩展
通讯协议扩展基于IEC 60870-5-104协议并在此基础上增加了数据回填功能。回填数据的传输全部采用带时标的数据格式。
服务端收到回填数据请求，用标准数据报文给予响应；如果没有相应的数据，则给出否认应答。
增加回填数据召唤功能，报文格式见表1。
3．4 通信交互流程
中心SCADA系统与场站通信设备之间的通信交互流程见图3。
一个典型通信过程的实例描述：
3．4．1建立回填数据传输管道
1)主站通信启动过程。由主站主动向子站提出建立回填数据传输管道的申请。
子站接受申请，建立与主站之间的回填数据传输管道。
2)子站通信启动过程。等待主站建立回填数据传输管道的申请。接受主站建立回填数据传输管道的申请后，建立与主站之间的回填数据传输管道。
3)回填数据传输管道重建。出现回填数据传输管道故障或异常断开现象，则断开主站和对应场站的回填数据传输管道，并重新建立回填数据传输管道。
3．4．2启动数据传输
主站发送启动报文。
子站响应启动报文。
3．4．3回填数据传输
主站召唤回填数据。
子站响应召唤。
子站上送回填数据。
子站结束回填数据上送。
3．4．4回填数据传输过程中的中断操作
在回填数据传输过程中，如果需要中断回填数据，可以通过人工发送中断请求，由客户端处理响应请求，停止此次回填数据。
3．4．5回填数据过程中的异常处理
在回填数据过程中，如果服务端没有所需时间段的同填数据，需向客户端返回没有该时间段数据的相应命令码。如果有所需全部的数据或部分数据，需将数据所在的时间段返回客户端。以便客户端做出相应操作。
4 实验验证
数据回填技术在实验室中得到了很好的验证，实现了数据的完整性。中心SCADA系统与站控系统的数据采集网络互连。图4为网络结构示意图。
中心SCADA系统数据通信服务器部署数据回填客户端程序，站控系统数据通信服务器部署数据回填服务端端程序。通信中断恢复后，中心SCADA系统启动连接，并发出数据回填请求；站控系统接收连接请求和数据回填请求，获取存储数据，发送到中心SCADA系统；中心SCADA系统对回填数据进行处理；回填数据传输完成后，通信过程结束。
验证实验中完整模拟了某个站场系统与中心SCADA系统的数据通信，量测对象(遥信、遥测)约2000点。
实验表明：数据同填技术可以实现数据的完整性，具有可行性。数据回填技术的应用将进一步提高油气管道SCADA系统的可用性。
5 结论
1)通过试验验证，数据回填技术可以实现中心SCADA系统与场站通信设备之间的数据回填功能，满足系统的数据回填需求。
2)通过包含场站通信设备存储通信中断期间数据、数据回填通信、同填数据处理、回填数据存储等环节的数据回填技术，解决了因通讯中断而导致的数据完整性和连续性问题，提高了系统数据的完整性和系统的可用性。
参考文献
[1]杨潞锋，杨进峰，陈明，等．长输管线SCADA系统的应用现状和前景[J]．中国水运：学术版，2007，7(4)：l27-129．
YANG Lufeng，YANG Jinfeng，C HEN Ming，el al．The presenl application situation and the prospect of SCADA system in long distance pipeline[J]．China Water Transport：Academic Version，2007，7(4)：127-129．
[2]王宇心，夏红英，胡剑，等．油气氐输管道数字化管理半台的研发和应用[J]．天然气工业，2012，32(增刊l)：90-95．
WANG Yuxin,XIA Hongying，HU Jian，et al．Develop ment and application of digital nlanagement platform of long distance oil and gas pipelines[J]．Natu ral Gas Industry，2012，32(SI)：90-95．
[3]屈彦．川东地区天然气生产SCADA系统的优化改造[J]．天然气工业，2011,31(11)：88-92．
QU Yan．Optimization of SCADA system of natural gas production in East Sichuan[J]．Natural Gas Industry，2011，31(11)：88-92．
[4]姚琚．方成辉，陈斌．SCADA系统在油气长输管道中的应用研究[J]．工矽自动化，2009(5)：119-122．
YAO Jun．FANG Chenghui，CHEN Bin．Study on the application of SCADA system in long distance pipeline of oil and gas[J]．Industry and Mine Automation，2009(5)：119-122．
[5]谢孝宏．浅谈长输管道SCAI)A软件的架构和性能[J]．自动化博览，2008(9)：71-73．
XIE Xiaohong．Discussion about the long distance pipeline SCADA software architecture and performance[J]．Automation Panorama，2008(9)：71-73．
[6]田洪波．SCADA系统在长输管道的应用和发展[J]．石油化工自动化，2008，4(10)：l0-l2．
TIAN Hongbo．The application and development of the SCADA system in long-distance pipelines[J]．Automation in Petrochemical Industry，2008．4(10)：l0-l2．
[7]琴琴．临lit{IXm0峪控及数据采集(SCADA)系统及其应用[J]．胜利油田职工大学学报，2007，21(3)：79-80．
WANG Qinqin．Supervisory control and data acquisition (SCADA)system and its application[J]．Journal of Shengli Oil Field Staff University．2007，21(3)：79-80．
[8]DURAN R M．PUIG B J，ARBAT G,et al．Definilion of a SCADA system．for a microirrigation network with effluents[J]．Computers and Electronics in Agricuhore，2008，64(2)：338-342．
[9]郭晓瑛，路艳斌，郑娟．国内外长输管道SCADA系统标准现状[J]．油气储运，2011，30(2)：l56-159．
GUO Xiaoying，LU Yanbin，ZHENG Juan．Technical status of long distance pipeline SCADA system slandards worldwide[J]．Oil＆Gas Storage and TransDortation．2011，30(2)：156-159．
[10]王振明．SCADA(监控与数据采集)软件系统设计与开发[M]．北京：机械工业出版社，2009．
WANG Zhenming．SCADA(supervisory control and data acquisition)design and development of softwarc system[M]．Beijing：China Machine Press，2009．
[11]ENGIN O，MEVLUT K．Mobile Phone based SCADA for in dustrial automation[J]．ISA Transactions，2006，45(1)：67-75．
[12]方明，常鑫．基于数据仓库的多维模糊分析方法研究[J]．西安石油大学学报：自然科学版，2011，26(1)：87-89．
FANG Ming，CHANG Xin．Study on multi dimensional fuzzy analysis method based on data warehouse[J]．Journal of Xi’an Shiyou University：Natural Sciencc Edition．2011，26(1)：87-89．
[13]林小峰．基于IEC61131-3标准的控制系统及应用[M]．北京：电子工业出版社，2007．
LIN Xiaofeng．Control system and application based on IEC61131-3 standard[M]．Beijing：Publishing House of Electronics Industry，2007．
[14]IEEE．C37.1—2007 IEEE Standard for SCADA and autolmation systems[S]．USA：IEEE Power Engineering Society，2008．
[15]冉全，杨志方．以太网在工业控制领域的腑用探讨[C]//中国计算机学会网络与数据通信学术会议．北京：中国计算机学会，2002．
RAN Quan，YANG Zbifang．Discussion on the application of Ethernet in the industrial control field[C]//China Institute of Computer Network and Data Communication Conferencc．Beijing：China Computer Federation，2002．
[16]项敏，王学军．嵌入式工业以太网控制方案的研究[J]．现代电子技术，2004，27(6)：49-51．
XIANG Min，WANG Xuejun．Research of control scheme for embedded industrial Ethernet[J]．Modcrn Electronic Technique，2004，27(6)：49-51．
[17]宋真君，李京，凌忐浩．基于工业以太网的分布式控制系统的通信研究[J]．厦门大学学报：自然科学版，2001，40(增刊1)：269-273．
SONG Zhenjun，LI Jing，LING Zhihao．The develoDmenl of communication program in the distribLlted conlrol system based on the industrial Ethernet[J]．Jotlrnal of xiamen University：Natural Science Edition，2001,40(S1)：269-273．
[18]贺炳彦，李浩．安全多媒体通信中容错加密方案[J]．西安石油大学学报：自然科学版，2011,26(2)：104-106．
HE Bingyan，KI Hao．Error tolerant encryption for secure multimedia communications[J]．Journal of Xi’an Shivou University：Natural Science Edition，20ll，26(2)：104-106．
[19]梁莉，李强，张晓晖，等．基于TCP／IP通信的数据采集系统[J]．计算机系统应用，2001(7)：58-60．
IAANG Li，LI Qiang，ZHANG Xiaohui，et al.Data acquisition system based on TCP／IP communication[J]．Application of the Computer System，2001(7)：58-60．
本文作者：闫峰 高保成 祁国成 陈清山 温昭琦
作者单位：中国石油北京油气调控中心
北京科东电力控制系统有限责任公司
您可以选择一种方式赞助本站
支付宝转账赞助
微信转账赞助
