区域自动站气象要素网络采集方法

区域自动站气象要素网络采集方法

作者：卢俞 汪顺勤

来源：《价值工程》2011年第12期

摘要：本文根据宿州市本地的实际情况，以安徽省中尺度区域观测加密网为目标网站，提出一种将自动站气象要素数据本地化的网络采集的方案，以便开展有地方针对性的气象服务，同时也为气象现代化的科研开发、研究提供详实的气象资料。

Abstract: Based on the local conditions of Suzhou and with encrypting network as target site in mesoscale areas in Anhui province, a network collection way for localization of meteorological elements data in automatic weather stations is put forward in order to carry out targeted local

meteorological services and provide detailed weather information for modern scientific research and development of meteorology.

关键词：地市级；气象要素；网络信息；采集

Key words: municipal; meteorological elements; network information; collection 中图分类号：TP39 文献标识码：A 文章编号：1006-4311（2011）12-0182-01 0 引言

安徽省中尺度区域加密自动站始建于2003年，主要通过GPRS移动通讯与省气象中心计算机进行通信，实现数据传输与存储。由于信息采集快、传输及时、自动化程度高，可及时完成某个特定区域多气象要素的采集、上传，从而提高了局地性、突发性、灾害性天气的监测、预警等气象服务能力。 1 网络采集方法的思路

网络信息采集是将非结构化的信息从大量的网页中抽取出来保存到结构化的数据库中的过程。这里我们以安徽省中尺度区域加密自动站的宿州站点

（http://218.22.3.196/rainfall/WebMeso/Statistic.asp?StationID=91）为例，通过分析该页面的HTML代码，提取分拣出所需要的气温、雨量、风向、风速等气象要素数据，并添加到本地创建的数据库中，这里我们采用的是微软公司的Access数据库。

通过分析宿州站点的整页HTML代码，所需要提取的气象要素数据包含在一对表格中；每一个整点的气象数据由一对行标签来管理；一天的整点气象数据从01：00到24：00实时逐点一一呈现。根据这样的规律，这里采取两级采集的方法，将气象要素数据逐一按整点提取出并添加到本地创建的数据库中，然后开展有针对性的气象预警、预报等气象服务。

龙源期刊网 http://www.qikan.com.cn

2 网络数据采集具体实现方法

要完成网络数据的采集，就需要获取远程网页的源代码。这里利用微软公司的

serverXMLHTTP组件首先取得宿州站点整个页面的二进制代码，然后通过两级采集分步处理的办法，将气象要素数据写入预先创建的本地数据库中。

通过使用 ServerXMLHTTP，可以在本地和远程系统之间以流或 XML 文档的形式交换 XML 数据。这里利用serverXMLHTTP组件采集宿州站点整个页面的二进制代码主要语句为： Set Http = CreateObject（\"MSXML2.XMLHTTP\"） Http.open \"GET\"，src_ ，false Http.send（） if Http.readystate4 then exit sub end if

value_ = Http.responseBody

2．1 第一级网络采集方法 第一级网络采集要完成的功能是将气象要素从整个站点页面中提取出来。在宿州站点页面上，其中的“雨量”一栏在没有雨量时是不显示的。但在这里，为了数据存储和处理方便，我们将其设置为数值“0”的形式。这里采取ASP语言下的replace（）函数来完成这种替换工作。

通过分析站点原始HTML代码，第一级网络采集方法为：将和作为采集工作的起始和结束标志；并将替代成\"，\"，替换成\"空格\"，最后实现效果。

2．2 第二级采集方法 第二级采集要完成的功能是将其一整点的气象要素数据在第一级采集的基础上分拣提取出。实现方法：以和作为采集的开始与结束标志，同时将一些其他HTML代码（包括超级链接、字体等）和其他无关的字符替换成空格或者逗号，同时保留采集数据的日期和采集时间段。完成后的效果及HTML代码。

由于二进制代码无法显示，需要转换成字符。这里我们用一个转换函数BytesToBstr，将网页二进制代码转换成字符，代码如下： private Function BytesToBstr（body，Cset） dim objstream

龙源期刊网 http://www.qikan.com.cn

set objstream = Server.CreateObject（\"adodb.stream\"） objstream.Type = 1 objstream.Mode =3 objstream.Open objstream.Write body objstream.Position = 0 objstream.Type = 2 objstream.Charset = Cset

BytesToBstr = objstream.ReadText objstream.Close set objstream = nothing End Function

2.3 气象要素数据采集入库 根据宿州站点气象要素数据所呈现的规律，每次只要将最近的一个整点数据提取完成， 最后就可实现从01点到24点全天的气象数据的采集工作。最新整点的数据获取是能过setInterval（）函数以每隔10分钟自动刷新一次采集页面gather.asp来实现。

气象要素数据入库过程就是将经过两级采集处理后的各气象要素值通过ASP语言下的split（）函数完成字符串的分割处理组成一个数组，然后以数组元素的形式一一加入数据库中；这里用到instr（）、mid（）、trim（）等函数。 3 结束语

这种网络数据采集来源是不稳定的，如果目标网站（这里指安徽省区域加密自动站）出错或者升级维护，相应采集结果也会出错，为此要进行修改和重新调试。

通过网络采集方法建立起自己的专业气象数据库，就可以根据实际需要，开展有特色的气象服务，比如开展气象与电力、水利等部门合作进行地方性服务等，继而提高气象为地方服务的水平与能力；同时也为本地气象现代化的科研开发提供了详实的气象资料。 参考文献：

龙源期刊网 http://www.qikan.com.cn

[1]贾朝辉．网络信息采集与利用[M]．北京：中国人民大学出版社.