1、虛擬太陽天文臺(VSO)技術(shù)回顧 林鋼華國家天文臺 報告內(nèi)容一、虛擬太陽天文臺的提出；二、建立虛擬太陽天文臺要解決的技術(shù) 問題；三、虛擬太陽天文臺的體系結(jié)構(gòu)；四、VSO的可擴展性；五、采用的技術(shù)；六、VSO今后的發(fā)展。一、虛擬太陽天文臺的提出虛擬天文臺由科學(xué)驅(qū)動而產(chǎn)生，基于計算機技術(shù)、網(wǎng)絡(luò)技術(shù)的發(fā)展而得以發(fā)展。 在1998年卡波迪蒙蒂瓷的天文臺的Kevin Reardon提出：太陽活動周期變化的詳細研究需要分析橫跨多年的觀測記錄，還要使用標準協(xié)議將多個單獨維護的數(shù)據(jù)庫無縫地連接起來，實現(xiàn)跨多個檔案的復(fù)雜檢索； 一、虛擬太陽天文臺的提出1998年意大利8個天文臺和研究所的天文工作者提出“全部太陽

2、數(shù)據(jù)目錄”（WSC：the Whole Sun Catalog）項目：WSC 將有效連接遍布世界的可用太陽檔案。 WSC通過已提供的單個太陽檔案，簡化執(zhí)行檢索的任務(wù)和擴展科學(xué)家的查詢范圍，WSC使這種可能性極大地增加。其中Roudier指出1995年時僅在歐洲就列出了幾十個可用的數(shù)據(jù)庫，顯而易見，訪問這幾十個數(shù)據(jù)庫是一個耗費時間的任務(wù)，并且這個任務(wù)幾乎不可能完成 。提出WCS項目，就是為了生成太陽天文臺的數(shù)據(jù)目錄，解決這樣廣泛查詢的困難； 一、虛擬太陽天文臺的提出1997年Sanchez-Duarte等首先提出了結(jié)合太陽檔案成為一個統(tǒng)一系統(tǒng)的思想；1998 年Dimitoglou等進一步討論了

3、這一思想；由前期發(fā)展而演化為VSO的項目還有JOSO(the Joint Organization for Solar Observation)、SOLAR(SOHO Long_term Archive)、ARTHEMIS、BASS2000。1998年美國國家研究委員會關(guān)于地基太陽研究的空間研究理事會組織了關(guān)于數(shù)據(jù)檔案及其挖掘?qū)τ谔栄芯繄F體重要性的討論，并推薦：“開發(fā)一個由NSF和NASA合作支持的通過WWW訪問的分布數(shù)據(jù)檔案”。之后美國國家研究委員會天文學(xué)天體物理調(diào)查委員會鄭重簽署了把國家虛擬天文臺作為頂級優(yōu)先的小型項目啟動協(xié)議。國家虛擬天文臺（NVO：National Virtual O

4、bservatories）是一個夜間天文學(xué)上與VSO的相似項目，代表了在交叉相關(guān)研究中天文團體日益增長的興趣。 一、虛擬太陽天文臺的提出2001年7月NASA空間科學(xué)日地結(jié)合部舉行了兩年一次的運作使命和數(shù)據(jù)中心的回顧會議，太陽數(shù)據(jù)分析中心（SDAC）也包括在此次會議內(nèi)。這次會上對VSO提出了研究、原型、開發(fā)方面的經(jīng)費預(yù)算。在此基礎(chǔ)上，2002年11月由美國斯坦福大學(xué)、國家太陽天文臺、蒙大納州州立大學(xué)和太陽數(shù)據(jù)中心組成的VSO研究組發(fā)布了虛擬太陽天文臺設(shè)計協(xié)議書，此書中給出了VSO的體系結(jié)構(gòu)、組織結(jié)構(gòu)、特性、技術(shù)方法、首批參加此項目的成員、經(jīng)費分配、項目運作時間表等問題的描述。至此VSO項目正式

5、起動。二、建立虛擬太陽天文臺要解決的技術(shù)問題 搜索和證認的可視化；形成多種可能的搜索；標準化查詢形成方法；標準化數(shù)據(jù)服務(wù)信息；包括元數(shù)據(jù)標準和統(tǒng)一的數(shù)據(jù)模型；能傳送數(shù)據(jù)或至少指向數(shù)據(jù)源；能吸收新數(shù)據(jù)源；進一步還有：軟件和文獻資源；查詢登記；分布式處理；證認服務(wù)。 三、虛擬天太陽文臺的體系結(jié)構(gòu) 如由美國四所天文單位牽頭的VSO體系結(jié)構(gòu);由歐洲聯(lián)盟提出的EGSO（European Grid of Solar Observations 歐洲網(wǎng)格太陽天文臺）體系結(jié)構(gòu);CoSEC (Collaborative Sun Earth Connector 協(xié)作式日地連接器) 體系結(jié)構(gòu) 二、虛擬太陽天文臺的體系

6、結(jié)構(gòu)三、虛擬天太陽文臺的體系結(jié)構(gòu)VSO的簡化體系結(jié)構(gòu)如圖所示,它主要由圖中所示6部分組成：1.用戶。指訪問VSO的人，如太陽物理學(xué)家、空間物理學(xué)家等；2.訪問方法。指為訪問VSO專門開發(fā)的用戶應(yīng)用程序接口；3.VSO實例。它是VSO核心，用來處理用戶查詢，確定到哪一個站點去查詢數(shù)據(jù)并將數(shù)據(jù)返回；4.中心服務(wù)器。它用來記錄搜索的重復(fù)性和屬性（是誰做了哪些查詢）；它也記錄下各個數(shù)據(jù)提供者提供的可用數(shù)據(jù)和數(shù)據(jù)更新；5.數(shù)據(jù)提供者。它是實際執(zhí)行數(shù)據(jù)查詢所在地；三、虛擬太陽天文臺的體系結(jié)構(gòu)6.數(shù)據(jù)要求和返回。用戶通過數(shù)據(jù)提供者提供的工具直接檢索數(shù)據(jù)，或者通過使用智能VSO代理，它向（那些）數(shù)據(jù)提供者詢問

7、數(shù)據(jù)的可用性，并將詢問結(jié)果集中起來，用電子郵件將這些結(jié)果通知用戶，如：在什么地點什么時間數(shù)據(jù)是可用的。幾個單位已在不同站點從多種數(shù)據(jù)服務(wù)方面測試了這一體系結(jié)構(gòu)的可用性。四、VSO的可擴展性VSO體系結(jié)構(gòu)的成功開發(fā)增加了基礎(chǔ)系統(tǒng)體系結(jié)構(gòu)在處理分布式系統(tǒng)的擴展性和容錯性方面的能力。 這種擴展性體現(xiàn)在數(shù)據(jù)提供者方面，它由原來的幾個天文臺擴展到全美國、乃至全世界；可以精細化數(shù)據(jù)模型；可以增加其它服務(wù)，如聯(lián)接更為典型的分布式處理項目，如CoSEC、EGSO等；體現(xiàn)在用戶方面，將由單一類型用戶和界面擴展到多種類型用戶和界面； 四、VSO的可擴展性容錯性能則體現(xiàn)在：這個系統(tǒng)的全部體系結(jié)構(gòu)受到那些不同數(shù)據(jù)倉庫

8、（它們是不具有共享能力的普通數(shù)據(jù)集）的影響，當增加新數(shù)據(jù)提供者或新搜索能力時，返回有用結(jié)果的時間不應(yīng)隨著它們的增加而線性增加，在原型開發(fā)中，開發(fā)者小心地識別并孤立出那些慢的或無反應(yīng)的數(shù)據(jù)倉庫，使它們不影響VSO搜索的整體質(zhì)量。對這種額外的復(fù)雜性的處理使搜索者集中精力于搜索目標上而不是使用的工具上。 五、采用的技術(shù) XML采用了XML（可擴展標記語言）。它的自描述性使其非常適用于不同應(yīng)用間的數(shù)據(jù)交換，這種交換不以預(yù)先規(guī)定一組數(shù)據(jù)結(jié)構(gòu)定義為前提。VSO使用它作為文檔中識別結(jié)構(gòu)的一種機制。如數(shù)據(jù)提供方的元數(shù)據(jù)采用XML定義并存儲；在關(guān)系數(shù)據(jù)庫中提供了XML視圖，這樣可實現(xiàn)基于XML的檢索，實現(xiàn)XML

9、視圖和關(guān)系數(shù)據(jù)庫之間的映射；采用XML進行數(shù)據(jù)交換，VSO中的注冊項就是根據(jù)數(shù)據(jù)模型的定義用XML來描述的。五、采用的技術(shù)WEB服務(wù)WEB服務(wù)。它是網(wǎng)絡(luò)上可用的服務(wù)，標準化的XML消息，它獨立于操作系統(tǒng)和編程語言；它建立在如下協(xié)議堆棧基礎(chǔ)上：發(fā)現(xiàn) UDDI描述 WSDLXML 消息 XML-RPC,SOAP傳輸 HTTP,SMTP,FTPInternet IPv4, IPv6 在VSO中使用它以應(yīng)用為中心替代了以人為中心（POST/GET）的特性；及它的Web自動化特性：如服務(wù)描述，服務(wù)注冊。五、采用的技術(shù) SOAPSOAP（Simple Object Access Protocol 簡單對象

10、訪問協(xié)議）的應(yīng)用。它是RPC(遠程過程調(diào)用)機制，它用HTTP進行傳輸，客戶和服務(wù)器之間的消息是以XML編寫的。虛擬太陽天文臺的目的就是整合分布的不同的數(shù)據(jù)檔案成為一個看似集中的虛擬的數(shù)據(jù)集合去提供通用的搜索和傳遞服務(wù)。VSO使用SOAP來實現(xiàn)這一目的。SOAP即可用于服務(wù)器端也可用于客戶端。 SOAP正是在松散的聯(lián)合和動態(tài)的集成之間建立的無縫跨平臺互操作的協(xié)議，SOAP和XML也正是WEB服務(wù)中最為適合的消息交換協(xié)議。VSO使用Perl的SOAP：Lite模塊，提供數(shù)據(jù)訪問與操作系統(tǒng)平臺的無關(guān)性。(其實使用Java的Axis:模塊，或C/C+的gSOAP:模塊也都是可以的，因為Java和C/

11、C+都支持SOAP。)五、采用的技術(shù) SOAPSOAP是網(wǎng)絡(luò)膠合劑，它使VSO和數(shù)據(jù)提供者通話，還能使VSO和其他虛擬天文臺項目如EGSO、CoSEC結(jié)合。（SOAP分布服務(wù)器通過SOAP協(xié)議和每一個VSO實例通訊.）。其中SOAP：Lite模塊是API的關(guān)鍵所在。SOAP具有錯誤處理機制，如超時處理，對標準的和自行定制的錯誤原因進行處理。在VSO使用SOAP的基礎(chǔ)上，就要上天的空間望遠鏡如：STEREO、Solar-B、SDO，獲取的數(shù)據(jù)也將采用基于SOAP的技術(shù)提供用戶使用 五、采用的技術(shù)-DM數(shù)據(jù)模型（DM）：定義了一個統(tǒng)一的全世界范圍的視圖，因此解除了任何數(shù)據(jù)提供方在數(shù)據(jù)方面的特性。它

12、盡可能全面而完整的定義了數(shù)據(jù)查詢時可能給出的查詢項目及其值。它用于描述任何數(shù)據(jù)提供者站點的數(shù)據(jù)集，使其與資源注冊中的一致，也使得元數(shù)據(jù)按照DM組織。用戶查詢及結(jié)果返回都以DM的術(shù)語表示，在VSO各個部分編程實現(xiàn)中，都以此DM作為內(nèi)部數(shù)據(jù)結(jié)構(gòu)。五、采用的技術(shù)-DM轉(zhuǎn)換：數(shù)據(jù)存儲不需要按照DM進行，但在查詢提出時，需要有一個從VSO DM 到數(shù)據(jù)提供方數(shù)據(jù)規(guī)范的轉(zhuǎn)換，在查詢結(jié)果得到時，需要有一個從數(shù)據(jù)提供方數(shù)據(jù)規(guī)范到VSO DM的轉(zhuǎn)換。數(shù)據(jù)模型中的名字使用了更多的慣例和慣例的統(tǒng)一，這使得數(shù)據(jù)描述和接口對于用戶來說更為直觀。由于數(shù)據(jù)模型是獨立開發(fā)的，還需和國際間其它虛擬天文臺項目如EGSO協(xié)調(diào)去統(tǒng)一

13、此模型中的數(shù)據(jù)描述。顯而易見的優(yōu)點：采用統(tǒng)一國際數(shù)據(jù)標準（DM），有利于整合現(xiàn)有資源，也易于維護和升級換代；可以提供動態(tài)服務(wù)，能夠適應(yīng)網(wǎng)絡(luò)和資源提供處的變化。 五、采用的技術(shù)實例實例.下圖給出了對VSO實例功能較詳細地概括。 實例是VSO的核心.實例工作過程如下：VSO用戶接口得到查詢參數(shù)，如：”MDI,Yohkoh,SXT,NSO,EIT magnetogram from Oct-28-2001”VSO搜索引擎通過包含有VSO提供者信息的VSO注冊器確定到圖中1、3、5、7所指位置進行查詢，圖2 VSO實例在1、3、5、7所指本地服務(wù)器中提供者查詢引擎分別執(zhí)行如下操作：SELECT obse

14、rvation FROM database WHERE date=28-Oct-2001 AND instrument=EITSELECT observation FROM database WHERE date=28-Oct-2001 AND instrument=NSO magnetogramSELECT observation FROM database WHERE date=28-Oct-2001 AND instrument=YohkohSELECT observation FROM database WHERE date=28-Oct-2001 AND instrument=MDI

15、提供者查詢引擎將結(jié)果2、4、6、8返回用戶接口。這一過程由多個實例獨立地完成。 五、采用的技術(shù)實例VSO要求對于注冊器和會話的集中存儲（存儲在圖14所示的中心服務(wù)器中）。實例運行類似的代碼作基于注冊器的轉(zhuǎn)換工作；用戶是通過和VSO實例通訊實現(xiàn)詢問和請求的；分布式服務(wù)器通過SOAP協(xié)議和每一個VSO實例通訊。實例運行在本地機器上，它使VSO成為沒有執(zhí)行瓶頸的分布式系統(tǒng)。 五、采用的技術(shù)實例實例 以Perl語言實現(xiàn)。選擇Perl的原因是因為流行的WEB服務(wù)用它編寫，、前期已開發(fā)的網(wǎng)絡(luò)、數(shù)據(jù)庫接口及詞匯匹配包都用它編寫。 五、采用的技術(shù)資源注冊技術(shù) 它用于記錄數(shù)據(jù)提供者、他們提供什么樣的可用數(shù)據(jù)及其

16、數(shù)據(jù)更新；VSO搜索引擎使用這些信息確定向哪些數(shù)據(jù)提供者發(fā)送查詢要求；它還記錄下如何訪問這些數(shù)據(jù)及數(shù)據(jù)輸出方法。 五、采用的技術(shù)資源注冊技術(shù)描述斯坦福MDI數(shù)據(jù)注冊項的例子如下：Source: SOHOInstrument: MDIObservables:Dopplergram,Magnetogram LOS, Continuum Intensity, Line DepthTime Range:1996.01.03 present描述如何訪問斯坦福數(shù)據(jù)注冊項查詢接口的例子如下：Server: 15-URL: http:/15-/SHAIProxy:http:/15-/cgi-bin/soap/

17、shai.cgi輸出接口例子如下：Method: GETURL: /cgi-bin/export/expvrfy五、采用的技術(shù) VSO搜索引擎 它通過尋問資源注冊器確定向哪個數(shù)據(jù)提供方發(fā)出查尋要求；等待提供方的響應(yīng)；匯集提供方的查詢結(jié)果。查尋項按照DM給出。它在SOAP核心接口中還要實現(xiàn)如下功能：高速緩存/SQL引擎，負載平衡管理器/高速緩存同步器。負載平衡管理器和高速緩存同步器保證在引擎之間的同步和最佳的性能。有兩種引擎模型：基于數(shù)據(jù)提供者方提供（通過GUI實現(xiàn)）的和非數(shù)據(jù)提供者方（通過UI實現(xiàn)）的一般方式下的查尋。這些查尋通過使用SOAP調(diào)用實現(xiàn)。VSO數(shù)據(jù)提供者方的引擎，在SOAP調(diào)用中

18、完成大量XML消息交換，這些消息在所有VSO接口中都是一樣的；對于非VSO數(shù)據(jù)提供者方的引擎，定義它已知數(shù)據(jù)提供者方的數(shù)據(jù)庫和存儲結(jié)構(gòu)，在SOAP調(diào)用中只提供了運行SQL和操作系統(tǒng)命令的一般方法。五、采用的技術(shù)會話記錄 會話記錄的目的是為了收集數(shù)據(jù)使用狀態(tài)統(tǒng)計和能夠重復(fù)保存過的查詢。實例運行類似的代碼作基于注冊的轉(zhuǎn)換工作用于記錄下前面的搜索, 以便以后類似搜索的重復(fù)能力和分布目的。VSO會話被定義在VSO搜索引擎外部；會話記錄下查詢輸入、中間結(jié)果及最終結(jié)果等內(nèi)容。五、采用的技術(shù)網(wǎng)格技術(shù) 虛擬天文臺是網(wǎng)格技術(shù)的實驗床，它不僅允許用戶主動訪問分布的計算資源，數(shù)據(jù)網(wǎng)格的概念還擴展了兩個基礎(chǔ)服務(wù)：存儲和相應(yīng)的處理系統(tǒng)，元數(shù)據(jù)和通信管理。通過它實現(xiàn)世界各處地理位置數(shù)據(jù)資源的連通；各個數(shù)據(jù)資源協(xié)同起來處理一個項目.六、VSO今后的發(fā)展 虛擬天文臺是一個發(fā)展中的項目，今后它要將更多數(shù)據(jù)源加入進來；合并世界范圍內(nèi)的數(shù)據(jù)目錄并整合它們使能搜索；使中心登錄服務(wù)可查訊；實現(xiàn)注冊更新和重復(fù)可用；完善API；完成數(shù)據(jù)提供者實現(xiàn)工具；發(fā)行VSO正式版本。 六、VSO今后的發(fā)展