(19)中華人民共和國國家知識產(chǎn)權(quán)局

(12)發(fā)明專利申請

(10)申請公布號CN113971685A

(43)申請公布日2022.01.25

(21)申請?zhí)?02111130400.0G06N3/08(2006.01)

(22)申請日2021.09.26

(71)申請人阿里巴巴達(dá)摩院(杭州)科技有限公

司

地址310023浙江省杭州市余杭區(qū)五常街

道文一西路969號3幢5層516室

(72)發(fā)明人陳磊潘翔姚易辰仲曉輝

胡媛王志斌李昊

(74)專利代理機(jī)構(gòu)北京博浩百睿知識產(chǎn)權(quán)代理

有限責(zé)任公司11134

代理人謝湘寧

(51)Int.CI.

G06T7/246(2017.01)

G06T7/269(2017.01)

G06T3/40(2006.01)

權(quán)利要求書2頁說明書18頁附圖7頁

(54)發(fā)明名稱

圖像處理方法、計算機(jī)可讀存儲介質(zhì)以及計

算機(jī)終端

(57)摘要

本申請公開了一種圖像處理方法、計算機(jī)可

讀存儲介質(zhì)以及計算機(jī)終端。其中，該方法包括:

獲取歷史圖像序列;利用圖像預(yù)測網(wǎng)絡(luò)預(yù)測得到

歷史圖像序列包含的物體的第一狀態(tài)，并基于第

一狀態(tài)對歷史圖像序列進(jìn)行預(yù)測處理，得到當(dāng)前

時刻之后預(yù)設(shè)時間段內(nèi)的目標(biāo)圖像序列，其中，

第一狀態(tài)用于表征物體在預(yù)設(shè)時間段內(nèi)的變化

狀態(tài)。本申請解決了相關(guān)技術(shù)中對于變化場景進(jìn)

行預(yù)測的精確度較低的技術(shù)問題。

V

9

8

9

1

1

g6

il

g

CN113971685A權(quán)利要求書1/2頁

1.一種圖像處理方法，其特征在于，包括：

獲取歷史圖像序列；

利用圖像預(yù)測網(wǎng)絡(luò)預(yù)測得到所述歷史圖像序列包含的物體的第一狀態(tài)，并基于所述第

一狀態(tài)對所述歷史圖像序列進(jìn)行預(yù)測處理，得到當(dāng)前時刻之后預(yù)設(shè)時間段內(nèi)的目標(biāo)圖像序

列，其中，所述第一狀態(tài)用于表征所述物體在所述預(yù)設(shè)時間段內(nèi)的變化狀態(tài)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述圖像預(yù)測網(wǎng)絡(luò)包括:預(yù)測網(wǎng)絡(luò)和常微

分方程網(wǎng)絡(luò),利用圖像預(yù)測網(wǎng)絡(luò)預(yù)測得到所述歷史圖像序列包含的物體的第一狀態(tài)，并基

于所述第一狀態(tài)對所述歷史圖像序列進(jìn)行預(yù)測處理，得到當(dāng)前時刻之后預(yù)設(shè)時間段內(nèi)的目

標(biāo)圖像序列包括：

利用所述預(yù)測網(wǎng)絡(luò)對所述歷史圖像序列進(jìn)行編碼處理，得到所述歷史圖像序列的圖像

特征；

利用所述常微分方程網(wǎng)絡(luò)對所述圖像特征和所述物體的第二狀態(tài)進(jìn)行預(yù)測處理，得到

所述第一狀態(tài)，其中，所述第二狀態(tài)用于表征所述物體的歷史變化狀態(tài)；

利用所述預(yù)測網(wǎng)絡(luò)對所述歷史圖像序列和所述第一狀態(tài)進(jìn)行處理，得到所述目標(biāo)圖像

序列。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述預(yù)測網(wǎng)絡(luò)包括：由多個編碼層構(gòu)成的

編碼器、以及由多個解碼層構(gòu)成的解碼器，所述常微分方程網(wǎng)絡(luò)的輸入與所述編碼器的最

后一個編碼層連接,所述常微分方程網(wǎng)絡(luò)的輸出與所述解碼器的第一個解碼層連接，所述

多個編碼層與所述多個解碼層一一對應(yīng)連接，其中，所述編碼器用于對所述歷史圖像序列

進(jìn)行編碼處理，得到所述歷史圖像序列的圖像特征，所述解碼器用于對所述圖像特征和所

述第一狀態(tài)進(jìn)行處理，得到所述目標(biāo)圖像序列。

4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，所述歷史圖像序列包括:第一設(shè)備采集

到的第一圖像序列和第二設(shè)備采集到的第二圖像序列，其中，利用所述預(yù)測網(wǎng)絡(luò)對所述第

一圖像序列和所述第二圖像序列進(jìn)行預(yù)測處理,得到所述第一狀態(tài)；利用所述預(yù)測網(wǎng)絡(luò)基

于所述第一狀態(tài)對所述第一圖像序列進(jìn)行預(yù)測處理，得到所述目標(biāo)圖像序列。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在利用所述預(yù)測網(wǎng)絡(luò)基于所述第一狀態(tài)對

所述歷史圖像序列進(jìn)行預(yù)測處理，得到所述預(yù)設(shè)時間段內(nèi)的目標(biāo)圖像序列之后，所述方法

還包括：

在交互界面中展示所述目標(biāo)圖像序列；

獲取所述目標(biāo)圖像序列對應(yīng)的反饋信息，其中，所述反饋信息對所述目標(biāo)圖像序列進(jìn)

行修改得到；

基于所述反饋信息對所述圖像預(yù)測網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述目標(biāo)圖像序列為氣象圖像序列的情

況下，在基于所述第一狀態(tài)對所述歷史圖像序列進(jìn)行預(yù)測處理，得到所述預(yù)設(shè)時間段內(nèi)的

目標(biāo)圖像序列之后，所述方法還包括：

基于所述目標(biāo)圖像序列確定所述預(yù)設(shè)時間段內(nèi)的氣象信息；

在交互界面中展示所述氣象信息。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，在基于所述目標(biāo)圖像序列確定所述預(yù)設(shè)時

間段內(nèi)的氣象信息之后，所述方法還包括：

2

CN113971685A權(quán)利要求書2/2頁

基于所述氣象信息生成出行推薦信息，其中，所述出行推薦信息至少包括如下之一：出

行路線、出行時間和攜帶物品；

在交互界面中展示所述出行推薦信息。

8.一種圖像處理方法，其特征在于，包括：

獲取歷史氣象圖序列；

利用氣象預(yù)測模型預(yù)測得到歷史圖像序列包含的氣象的第一光流，并基于所述第一光

流對所述歷史氣象圖序列進(jìn)行預(yù)測處理，得到當(dāng)前時刻之后預(yù)設(shè)時間段內(nèi)的目標(biāo)圖像序

列，其中，所述第一光流用于表征所述氣象在所述預(yù)設(shè)時間段內(nèi)的運(yùn)動趨勢。

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，在基于所述第一光流對所述歷史氣象圖序

列進(jìn)行預(yù)測處理，得到當(dāng)前時刻之后預(yù)設(shè)時間段內(nèi)的目標(biāo)氣象圖序列之后,所述方法還包

括：

基于所述目標(biāo)氣象圖序列確定所述預(yù)設(shè)時間段內(nèi)的農(nóng)業(yè)生產(chǎn)信息；

在交互界面中展示所述農(nóng)業(yè)生產(chǎn)信息。

10.一種圖像處理方法，其特征在于，包括：

云服務(wù)器接收客戶端上傳的歷史圖像序列；

所述云服務(wù)器利用圖像預(yù)測網(wǎng)絡(luò)預(yù)測得到所述歷史圖像序列包含的物體的第一狀態(tài),

并基于所述第一狀態(tài)對所述歷史圖像序列進(jìn)行預(yù)測處理，得到當(dāng)前時刻之后預(yù)設(shè)時間段內(nèi)

的目標(biāo)圖像序列，其中，所述第一狀態(tài)用于表征所述物體在所述預(yù)設(shè)時間段內(nèi)的變化狀態(tài)；

所述云服務(wù)器輸出所述目標(biāo)圖像序列至所述客戶端。

11.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述計算機(jī)可讀存儲介質(zhì)包括存儲的程

序，其中，在所述程序運(yùn)行時控制所述計算機(jī)可讀存儲介質(zhì)所在設(shè)備執(zhí)行權(quán)利要求1至10中

任意一項所述的圖像處理方法。

12.一種計算機(jī)終端，其特征在于，

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器;其中，

所述存儲器存儲有可被所述至少一個處理器運(yùn)行的程序，所述程序被所述至少一個處

理器運(yùn)行時執(zhí)行權(quán)利要求1至10中任意一項所述的圖像處理方法。

3

CN113971685A說明書1/18頁

圖像處理方法'計算機(jī)可讀存儲介質(zhì)以及計算機(jī)終端

技術(shù)領(lǐng)域

[0001]本申請涉及圖像處理領(lǐng)域，具體而言，涉及一種圖像處理方法、計算機(jī)可讀存儲介

質(zhì)以及計算機(jī)終端。

背景技術(shù)

[0002]目前，通常采用短臨外推的方式對變化的場景進(jìn)行預(yù)測，例如，在氣象應(yīng)用場景

中，基于氣象圖像采用短臨外推的方式對未來時間段的降水量進(jìn)行預(yù)報，但是，采用傳統(tǒng)的

短臨外推方法來對變化場景進(jìn)行預(yù)報的能力非常有限,對于超過兩小時的變化場景進(jìn)行預(yù)

測，其預(yù)測的精度下降會非常嚴(yán)重。

[0003]針對上述的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

[0004]本申請實施例提供了一種圖像處理方法、計算機(jī)可讀存儲介質(zhì)以及計算機(jī)終端,

以至少解決相關(guān)技術(shù)中對于變化場景進(jìn)行預(yù)測的精確度較低的技術(shù)問題。

[0005]根據(jù)本申請實施例的一個方面，提供了一種圖像處理方法，包括:獲取歷史圖像序

列；利用圖像預(yù)測網(wǎng)絡(luò)預(yù)測得到歷史圖像序列包含的物體的第一狀態(tài)，并基于第一狀態(tài)對

歷史圖像序列進(jìn)行預(yù)測處理，得到當(dāng)前時刻之后預(yù)設(shè)時間段內(nèi)的目標(biāo)圖像序列，其中，第一

狀態(tài)用于表征物體在預(yù)設(shè)時間段內(nèi)的變化狀態(tài)。

[0006]根據(jù)本申請實施例的另一個方面，提供了一種圖像處理方法，包括:獲取歷史氣象

圖序列；利用氣象預(yù)測模型預(yù)測得到歷史氣象圖序列包含的氣象的第一光流，并基于第一

光流對歷史氣象圖序列進(jìn)行預(yù)測處理，得到當(dāng)前時刻之后預(yù)設(shè)時間段內(nèi)的目標(biāo)氣象圖序

列，其中，第一光流用于表征氣象在預(yù)設(shè)時間段內(nèi)的運(yùn)動趨勢。

[0007]根據(jù)本申請實施例的另一個方面，提供了一種圖像處理方法，包括：云服務(wù)器接收

客戶端上傳的歷史圖像序列;云服務(wù)器利用圖像預(yù)測網(wǎng)絡(luò)預(yù)測得到歷史圖像序列包含的物

體的第一狀態(tài)，并基于第一狀態(tài)對歷史圖像序列進(jìn)行預(yù)測處理，得到當(dāng)前時刻之后預(yù)設(shè)時

間段內(nèi)的目標(biāo)圖像序列，其中，第一狀態(tài)用于表征物體在預(yù)設(shè)時間段內(nèi)的變化狀態(tài);云服務(wù)

器輸出目標(biāo)圖像序列至客戶端。

[0008]根據(jù)本申請實施例的另一個方面,提供了另一種圖像處理裝置，包括:第一獲取模

塊，用于獲取歷史圖像序列;第一預(yù)測模塊，用于利用圖像預(yù)測網(wǎng)絡(luò)預(yù)測得到歷史圖像序列

包含的物體的第一狀態(tài)，并基于第一狀態(tài)對歷史圖像序列進(jìn)行預(yù)測處理，得到當(dāng)前時刻之

后預(yù)設(shè)時間段內(nèi)的目標(biāo)圖像序列，其中，第一狀態(tài)用于表征物體在預(yù)設(shè)時間段內(nèi)的變化狀

態(tài)。

[0009]根據(jù)本申請實施例的另一個方面,提供了另一種圖像處理裝置，包括:第三獲取模

塊,用于獲取歷史氣象圖序列；第二預(yù)測模塊，用于利用氣象預(yù)測模型預(yù)測得到歷史圖像序

列包含的氣象的第一光流,并基于第一光流對歷史氣象圖序列進(jìn)行預(yù)測處理，得到當(dāng)前時

刻之后預(yù)設(shè)時間段內(nèi)的目標(biāo)氣象圖序列，其中，第一光流用于表征氣象在預(yù)設(shè)時間段內(nèi)的

4

CN113971685A說明書2/18頁

運(yùn)動趨勢。

[0010]根據(jù)本申請實施例的另一個方面，提供了另一種圖像處理裝置，包括：上傳模塊,

用于通過云服務(wù)器就接收客戶端上傳的歷史圖像序列；第三預(yù)測模塊，用于利用圖像預(yù)測

網(wǎng)絡(luò)預(yù)測得到歷史圖像序列包含的物體的第一狀態(tài)，并基于第一狀態(tài)對歷史圖像序列進(jìn)行

預(yù)測處理,得到當(dāng)前時刻之后預(yù)設(shè)時間段內(nèi)的目標(biāo)圖像序列，其中，第一狀態(tài)用于表征物體

在預(yù)設(shè)時間段內(nèi)的變化狀態(tài);輸出模塊,用于通過云服務(wù)器輸出目標(biāo)圖像序列至客戶端。

[0011]根據(jù)本申請實施例的另一個方面,還提供了一種計算機(jī)可讀存儲介質(zhì)，計算機(jī)可

讀存儲介質(zhì)包括存儲的程序，其中，在程序運(yùn)行時控制計算機(jī)可讀存儲介質(zhì)所在設(shè)備執(zhí)行

上述任意一個實施例中的圖像處理方法。

[0012]根據(jù)本申請實施例的另一個方面，還提供了一種計算機(jī)終端，包括:處理器和存儲

器，處理器用于運(yùn)行存儲器中存儲的程序，其中，程序運(yùn)行時執(zhí)行上述任意一個實施例中的

圖像處理方法。

[0013]在本申請實施例中，首先獲取歷史圖像序列，然后利用圖像預(yù)測網(wǎng)絡(luò)預(yù)測得到歷

史圖像序列包含的物體的第一狀態(tài)，并基于第一狀態(tài)對歷史圖像序列進(jìn)行預(yù)測處理，得到

當(dāng)前時刻之后預(yù)設(shè)時間段內(nèi)的目標(biāo)圖像序列，實現(xiàn)基于歷史圖像序列預(yù)測得到目標(biāo)圖像序

列的目的。容易注意到的是,可以先對歷史圖像序列中物體的變化狀態(tài)進(jìn)行預(yù)測處理，得到

物體的第一狀態(tài)，然后對歷史圖像序列整體進(jìn)行預(yù)測處理，在整體進(jìn)行預(yù)測處理的過程中，

由于第一狀態(tài)中為預(yù)測得到的預(yù)設(shè)時間段內(nèi)物體的運(yùn)動狀態(tài)，因此，通過結(jié)合第一狀態(tài)對

歷史圖像序列進(jìn)行預(yù)測處理，能夠進(jìn)一步提高歷史圖像序列整體的預(yù)測精度，達(dá)到了提高

預(yù)測歷史圖像序列精度的技術(shù)效果，進(jìn)而解決了相關(guān)技術(shù)中對于變化場景進(jìn)行預(yù)測的精確

度較低的技術(shù)問題。

附圖說明

[0014]此處所說明的附圖用來提供對本申請的進(jìn)一步理解,構(gòu)成本申請的一部分，本申

請的示意性實施例及其說明用于解釋本申請，并不構(gòu)成對本申請的不當(dāng)限定。在附圖中：

[0015]圖1是根據(jù)本申請實施例的一種用于實現(xiàn)圖像處理方法的計算機(jī)終端（或移動設(shè)

備）的硬件結(jié)構(gòu)框圖；

[0016]圖2是根據(jù)本申請實施例1的一種圖像處理方法的流程圖；

[0017]圖3是根據(jù)本申請實施例的一種交互界面的示意圖；

[0018]圖4是根據(jù)本申請實施例的一種可選的交互界面的示意圖；

[0019]圖5是根據(jù)本申請實施例1的另一種圖像處理方法的流程圖；

[0020]圖6是根據(jù)本申請實施例的一種圖像處理過程的示意圖；

[0021]圖7是根據(jù)本申請實施例2的一種圖像處理方法的流程圖；

[0022]圖8是根據(jù)本申請實施例3的一種圖像處理方法的流程圖；

[0023]圖9是根據(jù)本申請實施例4的一種圖像處理裝置的示意圖；

[0024]圖10是根據(jù)本申請實施例5的一種圖像處理裝置的示意圖；

[0025]圖11是根據(jù)本申請實施例5的一種圖像處理裝置的示意圖；

[0026]圖12根據(jù)本申請實施例的一種計算機(jī)終端的結(jié)構(gòu)框圖。

5

CN113971685A說明書3/18頁

具體實施方式

[0027]為了使本技術(shù)領(lǐng)域的人員更好地理解本申請方案，下面將結(jié)合本申請實施例中的

附圖，對本申請實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是

本申請一部分的實施例,而不是全部的實施例。基于本申請中的實施例，本領(lǐng)域普通技術(shù)人

員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都應(yīng)當(dāng)屬于本申請保護(hù)的范

圍。

[0028]需要說明的是，本申請的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第

二”等是用于區(qū)別類似的對象，而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用

的數(shù)據(jù)在適當(dāng)情況下可以互換，以便這里描述的本申請的實施例能夠以除了在這里圖示或

描述的那些以外的順序?qū)嵤４送猓g(shù)語“包括”和“具有”以及他們的任何變形，意圖在于覆

蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于

清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品

或設(shè)備固有的其它步驟或單元。

[0029]首先，在對本申請實施例進(jìn)行描述的過程中出現(xiàn)的部分名詞或術(shù)語適用于如下解

釋：

[0030]NeuralODE,指神經(jīng)常微分網(wǎng)絡(luò)方程。

[0031]目前，在預(yù)測的過程中，通常使用傳統(tǒng)的短臨外推方法，即基于CNN

（ConvolutionalNeuralNetwork,卷積神經(jīng)網(wǎng)絡(luò)）或者RNN（RecurrentNeuralNetwork,

循環(huán)神經(jīng)網(wǎng)絡(luò)）進(jìn)行預(yù)測，其中，CNN可以為convTstm（conv-LonShort-TermMemory,長短

期記憶神經(jīng)網(wǎng)絡(luò)）、predrcnn（PredictionRE-ConvolutionalNeuralNetwork,預(yù)測卷積

神經(jīng)網(wǎng)絡(luò)），但是，其預(yù)測的能力非常有限，超過2小時的預(yù)測精度下降非常嚴(yán)重。RNN或者

conv-lstm都是采用迭代式的方式進(jìn)行預(yù)測得到的，其會不斷的產(chǎn)生累積誤差，導(dǎo)致預(yù)測結(jié)

果的準(zhǔn)確性較低，基于CNN的方法雖然可以直接進(jìn)行預(yù)測,但是其缺少解釋性。

[0032]為了解決上述問題，本申請?zhí)峁┝艘环N圖像處理方法，通過常微分方程網(wǎng)絡(luò)進(jìn)行

求解，可以預(yù)測得到未來的隱藏狀態(tài)，其并未采用CNN或者RNN的方式，但是其數(shù)值模式在本

質(zhì)上是一致的，因此，能夠延長預(yù)測時間以及提高預(yù)測的精度，且本申請中結(jié)合預(yù)測得到的

第一狀態(tài)來對歷史圖像序列進(jìn)行預(yù)測處理，其具有較強(qiáng)的物理意義，因此，其解釋性更好。

[0033]實施例1

[0034]根據(jù)本申請實施例，還提供了一種圖像處理方法的實施例，需要說明的是，在附圖

的流程圖示出的步驟可以在諸如一組計算機(jī)可執(zhí)行指令的計算機(jī)系統(tǒng)中執(zhí)行，并且，雖然

在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或

描述的步驟。

[0035]本申請實施例所提供的方法實施例可以在移動終端、計算機(jī)終端或者類似的運(yùn)算

裝置中執(zhí)行。圖1示出了一種用于實現(xiàn)圖像處理方法的計算機(jī)終端（或移動設(shè)備）的硬件結(jié)

構(gòu)框圖。如圖1所示，計算機(jī)終端10（或移動設(shè)備10）可以包括一個或多個（圖中采用102a、

102b,……，102n來示出）處理器102（處理器102可以包括但不限于微處理器MCU或可編程邏

輯器件FPGA等的處理裝置）、用于存儲數(shù)據(jù)的存儲器104、以及用于通信功能的傳輸裝置

106。除此以外，還可以包括：顯示器、輸入/輸出接口（1/0接口）、通用串行總線（USB）端口

（可以作為BUS總線的端口中的一個端口被包括）、網(wǎng)絡(luò)接口、電源和/或相機(jī)。本領(lǐng)域普通技

6

CN113971685A說明書4/18頁

術(shù)人員可以理解，圖1所示的結(jié)構(gòu)僅為示意，其并不對上述電子裝置的結(jié)構(gòu)造成限定。例如，

計算機(jī)終端10還可包括比圖1中所示更多或者更少的組件，或者具有與圖1所示不同的配

置。

[0036]應(yīng)當(dāng)注意到的是上述一個或多個處理器102和/或其他數(shù)據(jù)處理電路在本文中通

常可以被稱為“數(shù)據(jù)處理電路”。該數(shù)據(jù)處理電路可以全部或部分的體現(xiàn)為軟件、硬件、固件

或其他任意組合。此外，數(shù)據(jù)處理電路可為單個獨立的處理模塊，或全部或部分的結(jié)合到計

算機(jī)終端10（或移動設(shè)備）中的其他元件中的任意一個內(nèi)。如本申請實施例中所涉及到的，

該數(shù)據(jù)處理電路作為一種處理器控制（例如與接口連接的可變電阻終端路徑的選擇）o

[0037]存儲器104可用于存儲應(yīng)用軟件的軟件程序以及模塊，如本申請實施例中的圖像

處理方法對應(yīng)的程序指令/數(shù)據(jù)存儲裝置，處理器102通過運(yùn)行存儲在存儲器104內(nèi)的軟件

程序以及模塊，從而執(zhí)行各種功能應(yīng)用以及數(shù)據(jù)處理，即實現(xiàn)上述的圖像處理方法。存儲器

104可包括高速隨機(jī)存儲器，還可包括非易失性存儲器，如一個或者多個磁性存儲裝置、閃

存、或者其他非易失性固態(tài)存儲器。在一些實例中，存儲器104可進(jìn)一步包括相對于處理器

102遠(yuǎn)程設(shè)置的存儲器,這些遠(yuǎn)程存儲器可以通過網(wǎng)絡(luò)連接至計算機(jī)終端10。上述網(wǎng)絡(luò)的實

例包括但不限于互聯(lián)網(wǎng)、企業(yè)內(nèi)部網(wǎng)、局域網(wǎng)、移動通信網(wǎng)及其組合。

[0038]傳輸裝置106用于經(jīng)由一個網(wǎng)絡(luò)接收或者發(fā)送數(shù)據(jù)。上述的網(wǎng)絡(luò)具體實例可包括

計算機(jī)終端10的通信供應(yīng)商提供的無線網(wǎng)絡(luò)。在一個實例中，傳輸裝置106包括一個網(wǎng)絡(luò)適

配器（NetworkInterfaceController,NIC），其可通過基站與其他網(wǎng)絡(luò)設(shè)備相連從而可與

互聯(lián)網(wǎng)進(jìn)行通訊o在一個實例中，傳輸裝置106可以為射頻（RadioFrequency,RF）模塊，其

用于通過無線方式與互聯(lián)網(wǎng)進(jìn)行通訊。

[0039]顯示器可以例如觸摸屏式的液晶顯示器（LCD），該液晶顯示器可使得用戶能夠與

計算機(jī)終端10（或移動設(shè)備）的用戶界面進(jìn)行交互。

[0040]圖1示出的硬件結(jié)構(gòu)框圖，不僅可以作為上述計算機(jī)終端10（或移動設(shè)備）的示例

性框圖，還可以作為上述服務(wù)器的示例性框圖，一種可選實施例中，一種可選實施例中，上

述計算機(jī)終端10（或移動設(shè)備）可以是本地部署的服務(wù)器或云端服務(wù)器，經(jīng)由數(shù)據(jù)網(wǎng)絡(luò)連接

或電子連接到一個或多個客戶端。數(shù)據(jù)網(wǎng)絡(luò)連接可以是局域網(wǎng)連接、廣域網(wǎng)連接、因特網(wǎng)連

接，或其他類型的數(shù)據(jù)網(wǎng)絡(luò)連接。

[0041]在上述運(yùn)行環(huán)境下，本申請?zhí)峁┝巳鐖D2所示的圖像處理方法。圖2是根據(jù)本申請

實施例1的一種圖像處理方法的流程圖。如圖2所示,該方法可以包括如下步驟：

[0042]步驟S202,獲取歷史圖像序列。

[0043]上述的圖像序列可以是按照時間進(jìn)行排列的圖像序列。上述的歷史圖像序列可以

是歷史時間段的按照時間進(jìn)行排列的圖像序列。其中，歷史圖像序列中可以包含有多個連

續(xù)的歷史圖像，多個連續(xù)的歷史圖像可以相隔預(yù)設(shè)時間段，預(yù)設(shè)時間段可以自行設(shè)定。可選

地,歷史圖像序列中的圖像中為遙感圖像,也可以是無人機(jī)拍攝的航拍圖像,還可以是雷達(dá)

圖像，還可以是衛(wèi)星拍攝的圖像，但不僅限于此。在不同應(yīng)用場景中，歷史圖像序列中各個

歷史圖像所包含的物體的類型不同，例如，在氣象應(yīng)用場景中，歷史圖像序列中所包含的物

體可以為龍卷風(fēng)、云層、雨、雪、冰雹、臺風(fēng)等;在農(nóng)林業(yè)應(yīng)用場景中，歷史圖像序列中所包含

的物體可以為農(nóng)作物，例如小麥、水稻、土豆等;在自然資源應(yīng)用場景中，歷史圖像序列中所

包含的物體可以為河流、熔巖等;在城市規(guī)劃應(yīng)用場景中，歷史圖像序列中所包含的物體可

7

CN113971685A說明書5/18頁

以為施工的建筑物;在交通運(yùn)輸應(yīng)用場景中，歷史圖像序列中所包含的物體可以為車輛、地

鐵、飛機(jī)、輪船等。

[0044]在一種可選的實施例中，歷史圖像序列可以是當(dāng)前時刻之前由衛(wèi)星或無人機(jī)拍攝

得到的圖像序列，衛(wèi)星或無人機(jī)可以連續(xù)拍攝多張圖像作為圖像序列，在需要對之前拍攝

的圖像序列進(jìn)行分析或者處理時，可以按照時間搜索得到歷史圖像序列，并通過網(wǎng)絡(luò)傳輸

給服務(wù)器，由服務(wù)器處理，同時可以將歷史圖像序列展示給用戶，如圖3所示,歷史圖像序列

可以顯示在歷史圖像序列采集區(qū)域內(nèi)；在另一種可選的實施例中，歷史圖像序列可以由衛(wèi)

星或無人機(jī)拍攝，并由用戶主動上傳至服務(wù)器，由服務(wù)器處理，如圖4所示，用戶可以通過點

擊交互界面中的“上傳圖像”按鈕，或?qū)v史圖像序列直接拖入虛線框的方式完成歷史圖像

序列上傳服務(wù)器的目的，而且，用戶上傳的歷史圖像序列可以顯示在歷史圖像序列采集區(qū)

域內(nèi)。此處的服務(wù)器可以是部署在本地的服務(wù)器，也可以是部署在云端的服務(wù)器。

[0045]步驟S204,利用圖像預(yù)測網(wǎng)絡(luò)預(yù)測得到歷史圖像序列包含的物體的第一狀態(tài)，并

基于第一狀態(tài)對歷史圖像序列進(jìn)行預(yù)測處理，得到當(dāng)前時刻之后預(yù)設(shè)時間段內(nèi)的目標(biāo)圖像

序列。

[0046]其中，第一狀態(tài)用于表征物體在預(yù)設(shè)時間段內(nèi)的變化狀態(tài)。

[0047]在一種可選的實施例中，可以提取歷史圖像序列中物體的特征，根據(jù)提取到的特

征來確定物體在當(dāng)前時刻之前的變化狀態(tài)，根據(jù)該變化狀態(tài)可以預(yù)測得到物體在當(dāng)前時刻

之后預(yù)設(shè)時間段內(nèi)的變化狀態(tài)，也即上述的第一狀態(tài)。

[0048]上述的預(yù)設(shè)時間段可以根據(jù)需求進(jìn)行設(shè)定，例如，若需要預(yù)測當(dāng)前時刻之后間隔

一個小時內(nèi)物體的變化狀態(tài)，則可以設(shè)置預(yù)設(shè)時間段為一個小時。

[0049]在另一種可選的實施例中，上述的第一狀態(tài)可以用光流表示，光流是空間運(yùn)動物

體在觀察成像平面上的像素運(yùn)動的瞬時速度。可以通過光流來表現(xiàn)圖像中物體的運(yùn)動狀

態(tài)。具體的，可以通過光流表現(xiàn)圖像中物體的運(yùn)動變化、形態(tài)變化、數(shù)量變化等，其中，運(yùn)動

變化可以為運(yùn)動方向的變化，還可以為運(yùn)動速度的變化;形態(tài)變化可以形態(tài)縮小的變化，還

可以為形態(tài)擴(kuò)大的變化,還可以為形態(tài)彎曲的變化;數(shù)量變化可以為數(shù)量增加的變化，還可

以為數(shù)量減少的變化。

[0050]在另一種可選的實施例中，可以通過編碼器對歷史圖像序列中進(jìn)行編碼處理，得

到圖像特征，從圖像特征中確定出與物體相關(guān)的特征，然后根據(jù)常微分方程網(wǎng)絡(luò)（Orinary

differentialequation,簡稱ODE）對圖像特征和與物體相關(guān)的特征進(jìn)行處理，得到物體的

第一狀態(tài)。其中，其中，常微分方程網(wǎng)絡(luò)中包含有多種常微分的求解函數(shù)，通過對圖像特征

與物體相關(guān)的特征進(jìn)行常微分求解，可以描述出圖像中物體變化的過程，即，常微分方程網(wǎng)

絡(luò)可以用于描述獨立變量的變化過程，例如，雨量的變化、水流的變化、云層的變化等。其

中，編碼器可以為unet（ConvolutionalNetworksforBiomedicalImageSegmentation,

一種基于深度學(xué)習(xí)的圖像語義分割方法）網(wǎng)絡(luò)的編碼器。

[0051]上述的常微分方程網(wǎng)絡(luò)可以為NeuralODE（神經(jīng)常微分方程網(wǎng)絡(luò)）。

[0052]在氣象應(yīng)用場景中，可以對龍卷風(fēng)的歷史圖像序列進(jìn)行預(yù)測處理，得到龍卷風(fēng)在

當(dāng)前時刻之后預(yù)設(shè)時間段內(nèi)的變化狀態(tài)，以達(dá)到預(yù)測未來時間段龍卷風(fēng)變化狀態(tài)的效果；

還可以對云層的歷史圖像序列進(jìn)行預(yù)測處理，得到云層在當(dāng)前時刻之后預(yù)設(shè)時間段內(nèi)的變

化狀態(tài)，以達(dá)到預(yù)測未來時間段云層變化狀態(tài)的效果；還可以對雨勢的歷史圖像序列進(jìn)行

8

CN113971685A說明書6/18頁

預(yù)測處理，得到云層在當(dāng)前時刻之后預(yù)設(shè)時間段內(nèi)的變化狀態(tài)，以達(dá)到預(yù)測未來時間段雨

勢變化的效果。

[0053]在農(nóng)林業(yè)應(yīng)用場景中，可以對小麥的歷史圖像序列進(jìn)行預(yù)測處理,得到小麥在當(dāng)

前時刻之后預(yù)設(shè)時間段內(nèi)的變化狀態(tài),以達(dá)到預(yù)測未來時間段小麥長勢的效果。

[0054]在自然資源應(yīng)用場景中，可以對河流的歷史圖像序列進(jìn)行預(yù)測處理，得到河流在

當(dāng)前時刻之后預(yù)設(shè)時間段內(nèi)的變化狀態(tài)，以達(dá)到預(yù)測未來河流的流速以及流向的效果。

[0055]在交通運(yùn)輸應(yīng)用場景中，可以對車輛的歷史圖像序列進(jìn)行預(yù)測處理，得到車輛在

當(dāng)前時刻之后預(yù)設(shè)時間段內(nèi)的變化狀態(tài)，以達(dá)到預(yù)測道路狀態(tài)的效果。

[0056]在一種可選的實施例中，在得到第一狀態(tài)之后，可以結(jié)合第一狀態(tài)對歷史圖像序

列進(jìn)行預(yù)測處理，具體的，可以將第一狀態(tài)對應(yīng)的特征與歷史圖像序列預(yù)測得到的特征進(jìn)

行合并，根據(jù)結(jié)合后的特征得到預(yù)設(shè)時間段內(nèi)的目標(biāo)圖像序列。通過結(jié)合第一狀態(tài)來對歷

史圖像序列進(jìn)行預(yù)測，可以提高預(yù)測的準(zhǔn)確度,從而提高目標(biāo)圖像序列的準(zhǔn)確度。

[0057]例如，在氣象應(yīng)用場景中，可以對龍卷風(fēng)的歷史圖像序列進(jìn)行預(yù)測處理，在得到龍

卷風(fēng)在預(yù)設(shè)時間段內(nèi)的運(yùn)動變化以及形態(tài)變化之后，可以結(jié)合預(yù)測得到的龍卷風(fēng)的運(yùn)動變

化和形態(tài)變化對預(yù)設(shè)時間段內(nèi)龍卷風(fēng)的歷史圖像序列進(jìn)行預(yù)測處理,得到預(yù)設(shè)時間段內(nèi)龍

卷風(fēng)的目標(biāo)圖像序列，以達(dá)到預(yù)測預(yù)設(shè)時間段內(nèi)龍卷風(fēng)的圖像序列的目的，由于其是在龍

卷風(fēng)的運(yùn)動變化以及形態(tài)變化的基礎(chǔ)上預(yù)測得到的圖像序列，因此，其相對于直接根據(jù)龍

卷風(fēng)的歷史圖像序列進(jìn)行預(yù)測的方式準(zhǔn)確性更高。

[0058]又例如，在氣象應(yīng)用場景中，可以對下雨時雨勢的歷史圖像序列進(jìn)行預(yù)測處理，在

得到雨勢在預(yù)設(shè)時間段內(nèi)的雨量增加狀態(tài)或者雨量減少狀態(tài)之后，可以結(jié)合預(yù)測得到的雨

量增加狀態(tài)或者雨量減少狀態(tài)對預(yù)設(shè)時間段內(nèi)雨勢的歷史圖像序列進(jìn)行預(yù)測處理,得到預(yù)

設(shè)時間段內(nèi)雨勢的目標(biāo)圖像序列，以達(dá)到預(yù)測預(yù)設(shè)時間段內(nèi)雨勢的圖像序列的目的，由于

其是在雨勢在未來雨量增加狀態(tài)或者雨量減少狀態(tài)的基礎(chǔ)上預(yù)測得到的圖像序列，因此，

其相對于直接根據(jù)雨勢的歷史圖像序列進(jìn)行預(yù)測的方式準(zhǔn)確性更高。

[0059]又例如，在農(nóng)林業(yè)應(yīng)用場景中，可以對小麥的歷史圖像序列進(jìn)行預(yù)測處理,在得到

小麥在預(yù)設(shè)時間段內(nèi)的長勢之后,可以結(jié)合預(yù)測得到的小麥長勢對預(yù)設(shè)時間段內(nèi)小麥的歷

史圖像序列進(jìn)行預(yù)測處理，得到預(yù)設(shè)時間段內(nèi)小麥的目標(biāo)圖像序列，以達(dá)到預(yù)測預(yù)設(shè)時間

段內(nèi)小麥的圖像序列的目的，由于其是在小麥未來長勢的基礎(chǔ)上預(yù)測得到的圖像序列，因

此,相對于直接根據(jù)小麥的歷史圖像序列對小麥后期長勢進(jìn)行預(yù)測的方式準(zhǔn)確性更高。

[0060]又例如，在自然資源應(yīng)用場景中，可以對河流的歷史圖像序列進(jìn)行預(yù)測處理，在得

到河流在預(yù)設(shè)時間段內(nèi)的流速以及流向之后，可以結(jié)合預(yù)測得到的流速或者流向?qū)︻A(yù)設(shè)時

間段內(nèi)河流的歷史圖像序列進(jìn)行預(yù)測處理，得到預(yù)設(shè)時間段內(nèi)河流的目標(biāo)圖像序列，以達(dá)

到預(yù)測預(yù)設(shè)時間段內(nèi)河流的圖像序列的目的，由于其是在河流的未來流速以及流向的基礎(chǔ)

上預(yù)測得到的圖像序列，因此，其相對于直接根據(jù)河流的歷史圖像序列進(jìn)行預(yù)測的方式準(zhǔn)

確性更高。

[0061]在一種可選的實施例中，服務(wù)器在利用圖像預(yù)測網(wǎng)絡(luò)預(yù)測得到歷史圖像序列包含

的物體的第一狀態(tài)，并基于第一狀態(tài)對歷史圖像序列進(jìn)行預(yù)測處理，得到當(dāng)前時刻之后預(yù)

設(shè)時間段內(nèi)的目標(biāo)圖像序列之后,可以直接展示給用戶查看;在另一種可選的實施例中，服

務(wù)器在對目標(biāo)圖像進(jìn)行預(yù)測處理，得到預(yù)設(shè)時間段內(nèi)的目標(biāo)圖像序列之后，可以通過網(wǎng)絡(luò)

9

CN113971685A說明書7/18頁

將目標(biāo)圖像序列反饋至用戶的客戶端，由客戶端展示給用戶查看。進(jìn)一步地,將目標(biāo)圖像序

列展示給用戶之后,用戶可以根據(jù)預(yù)設(shè)時間段內(nèi)實時得到的圖像序列來驗證目標(biāo)圖像序列

是否正確，如果不正確，則可以反饋正確的圖像序列，并將其上傳至服務(wù)器,從而服務(wù)器可

以根據(jù)用戶反饋對預(yù)測過程中的編碼器、常微分方程網(wǎng)絡(luò)以及解碼器進(jìn)行訓(xùn)練，達(dá)到提升

服務(wù)器性能的效果。

[0062]例如，以氣象應(yīng)用場景中云層為例進(jìn)行說明，在獲取到衛(wèi)星、無人機(jī)或雷達(dá)之前采

集到云層的歷史圖像序列之后，可以將云層的歷史圖像序列直接發(fā)送到服務(wù)器進(jìn)行預(yù)測處

理,也可以傳輸給客戶端，由用戶進(jìn)行選擇，并上傳需要進(jìn)行預(yù)測處理的歷史圖像序列至服

務(wù)器。服務(wù)器在獲取到云層的歷史圖像序列之后，可以對云層的歷史圖像序列進(jìn)行預(yù)測處

理,得到云層的歷史圖像序列包含的云層的第一狀態(tài)，需要說明的是,第一狀態(tài)可以以光流

的形式表現(xiàn)。在得到第一狀態(tài)之后，服務(wù)器可以直接將第一狀態(tài)展示給用戶查看，或者，服

務(wù)器將第一狀態(tài)下發(fā)至客戶端，由客戶端展示給用戶查看，從而用戶可以看到第一狀態(tài)，并

且可以通過用戶的反饋結(jié)果對預(yù)測處理過程進(jìn)行優(yōu)化,提升服務(wù)器的性能。

[0063]進(jìn)一步地，在確定第一狀態(tài)之后，服務(wù)器基于云層的第一狀態(tài)對歷史圖像序列進(jìn)

行預(yù)測處理,得到預(yù)設(shè)時間段內(nèi)的目標(biāo)圖像序列，在得到目標(biāo)圖像序列之后，服務(wù)器可以直

接將目標(biāo)圖像序列展示給用戶查看，或者，服務(wù)器將目標(biāo)圖像序列下發(fā)至客戶端，由客戶端

展示給用戶查看，從而用戶可以看到目標(biāo)圖像序列，并且可以通過用戶的反饋結(jié)果對預(yù)測

處理過程進(jìn)行優(yōu)化，進(jìn)一步地提升服務(wù)器的性能。

[0064]通過本申請上述實施例提供的方案，首先獲取歷史圖像序列，然后利用圖像預(yù)測

網(wǎng)絡(luò)預(yù)測得到歷史圖像序列包含的物體的第一狀態(tài)，并基于第一狀態(tài)對歷史圖像序列進(jìn)行

預(yù)測處理，得到當(dāng)前時刻之后預(yù)設(shè)時間段內(nèi)的目標(biāo)圖像序列，實現(xiàn)基于歷史圖像序列預(yù)測

得到目標(biāo)圖像序列的目的。容易注意到的是，可以先對歷史圖像序列中物體的變化狀態(tài)進(jìn)

行預(yù)測處理,得到物體的第一狀態(tài)，然后對歷史圖像序列整體進(jìn)行預(yù)測處理，在整體進(jìn)行預(yù)

測處理的過程中，由于第一狀態(tài)中為預(yù)測得到的預(yù)設(shè)時間段內(nèi)物體的運(yùn)動狀態(tài)，因此，通過

結(jié)合第一狀態(tài)對歷史圖像序列進(jìn)行預(yù)測處理，能夠進(jìn)一步提高歷史圖像序列整體的預(yù)測精

度，達(dá)到了提高預(yù)測歷史圖像序列精度的技術(shù)效果，進(jìn)而解決了相關(guān)技術(shù)中對于變化場景

進(jìn)行預(yù)測的精確度較低的技術(shù)問題。

[0065]本申請上述實施例中，圖像預(yù)測網(wǎng)絡(luò)包括:預(yù)測網(wǎng)絡(luò)和常微分方程網(wǎng)絡(luò)，利用圖像

預(yù)測網(wǎng)絡(luò)預(yù)測得到歷史圖像序列包含的物體的第一狀態(tài)，并基于第一狀態(tài)對歷史圖像序列

進(jìn)行預(yù)測處理，得到當(dāng)前時刻之后預(yù)設(shè)時間段內(nèi)的目標(biāo)圖像序列包括:利用預(yù)測網(wǎng)絡(luò)對歷

史圖像序列進(jìn)行編碼處理，得到歷史圖像序列的圖像特征；利用對圖像特征和物體的第二

狀態(tài)進(jìn)行預(yù)測處理,得到第一狀態(tài)，其中，第二狀態(tài)用于表征物體的歷史變化狀態(tài);利用預(yù)

測網(wǎng)絡(luò)對圖像特征和第一狀態(tài)進(jìn)行處理,得到目標(biāo)圖像序列。

[0066]上述的圖像預(yù)測網(wǎng)絡(luò)可以包括：預(yù)測網(wǎng)絡(luò)和常微分方程網(wǎng)絡(luò)。此處的預(yù)測網(wǎng)絡(luò)可

以是unet,但不僅限于此，也可以是其他類型的網(wǎng)絡(luò)。

[0067]在一種可選的實施例中，可以利用預(yù)測網(wǎng)絡(luò)對歷史圖像序列進(jìn)行特征編碼處理，

得到歷史圖像序列的圖像特征，可以從歷史圖像序列的圖像特征中確定有關(guān)于物體的目標(biāo)

特征,并基于歷史圖像序列中每個圖像中物體的目標(biāo)特征來確定出歷史圖像序列中物體的

變化狀態(tài)，即上述的第二狀態(tài)，然后利用常微分方程網(wǎng)絡(luò)對圖像特征和第二狀態(tài)進(jìn)行預(yù)測

10

CN113971685A說明書8/18頁

處理，得到第一狀態(tài)，最后可以利用預(yù)測網(wǎng)絡(luò)對第一狀態(tài)進(jìn)行解碼處理，得到解碼后的特

征，可以對編碼后的圖像特征和解碼后的特征進(jìn)行合并,得到合并特征，基于合并后的特征

預(yù)測得到目標(biāo)圖像序列。

[0068]在另一種可選的實施例中，可以利用常微分方程網(wǎng)絡(luò)分別對圖像特征和第二狀態(tài)

進(jìn)行預(yù)測處理，可以將預(yù)測處理得到的兩個結(jié)果進(jìn)行合并，得到第一狀態(tài);還可以將圖像特

征和第二狀態(tài)進(jìn)行合并，基于合并后的結(jié)果進(jìn)行預(yù)測處理，得到第一狀態(tài)。

[0069]本申請上述實施例中，利用常微分方程網(wǎng)絡(luò)對圖像特征和第二狀態(tài)進(jìn)行預(yù)測處

理，得到第一狀態(tài)包括:對第二狀態(tài)進(jìn)行雙線性插值;利用常微分方程網(wǎng)絡(luò)對圖像特征和插

值后的第二狀態(tài)進(jìn)行預(yù)測處理。

[0070]上述的雙線性插值又稱為雙線性內(nèi)插,雙線性插值是有兩個變量的插值函數(shù)的線

性插值擴(kuò)展，其核心思想是在兩個方向分別進(jìn)行一次線性插值。

[0071]在一種可選的實施例中，由于物體的變化過程中時間間隔比較長，即，第一狀態(tài)中

各個變化狀態(tài)的時間間隔較長，因此，可以通過雙線性插值對第二狀態(tài)進(jìn)行處理，以便推至

出兩個變化狀態(tài)之間的物體的狀態(tài)，以達(dá)到擴(kuò)充物體的變化狀態(tài)，從而得到物體插值后的

第二狀態(tài)。

[0072]由于插值后的第二狀態(tài)是經(jīng)過擴(kuò)充后的物體的變化狀態(tài)，因此，其所包含的物體

變化信息較多，利用常微分方程網(wǎng)絡(luò)對圖像特征和插值后的第二狀態(tài)進(jìn)行預(yù)測處理，可以

使預(yù)測得到的結(jié)果更加的準(zhǔn)確。

[0073]本申請上述實施例中，預(yù)測網(wǎng)絡(luò)包括：由多個編碼層構(gòu)成的編碼器、以及由多個解

碼層構(gòu)成的解碼器,常微分方程網(wǎng)絡(luò)的輸入與編碼器的最后一個編碼層連接，常微分方程

網(wǎng)絡(luò)的輸出與解碼器的第一個解碼層連接，多個編碼層與多個解碼層一一對應(yīng)連接,其中，

編碼器用于對歷史圖像序列進(jìn)行編碼處理，得到歷史圖像序列的圖像特征,解碼器用于對

圖像特征和第一狀態(tài)進(jìn)行處理,得到目標(biāo)圖像序列。

[0074]上述的編碼器可以為unet的encoder（編碼器），解碼器可以為dopri5求解器。

[0075]上述的多個編碼層可以串聯(lián)連接,上述的多個解碼層可以串聯(lián)連接。

[0076]在一種可選的實施例中，可以將歷史圖像序列輸入到圖像預(yù)測網(wǎng)絡(luò)的編碼器中，

可以通過編碼器中的多個編碼層對歷史圖像序列進(jìn)行編碼，然后通過最后一個編碼層輸出

歷史圖像序列的圖像特征,并確定出歷史圖像序列中物體的第二狀態(tài)，可以將圖像特征和

第二狀態(tài)輸入到常微分方程網(wǎng)絡(luò)中，通過常微分方程網(wǎng)絡(luò)對其進(jìn)行預(yù)測處理，得到物體的

變化狀態(tài)，即上述的第一狀態(tài)。在利用編碼器對歷史圖像序列進(jìn)行編碼處理,得到歷史圖像

序列的圖像特征之后，可以利用解碼器對第一狀態(tài)進(jìn)行解碼處理，得到解碼后的特征，可以

對編碼后的圖像特征和解碼后的特征進(jìn)行合并，得到合并特征，基于合并后的特征預(yù)測得

到目標(biāo)圖像序列。

[0077]例如，以氣象應(yīng)用場景中的云層為例進(jìn)行說明，在利用編碼器對云層的歷史圖像

序列進(jìn)行編碼處理之后，可以得到歷史圖像序列中云層的圖像特征,可以利用解碼器對預(yù)

測得到的云層在未來預(yù)設(shè)時間段內(nèi)的各個時刻的第一狀態(tài)進(jìn)行解碼,可以得到解碼后的特

征，將編碼后得到的圖像特征和解碼后的特征進(jìn)行合并，得到合并后的特征，對合并后的特

征進(jìn)行預(yù)測，可以得到目標(biāo)圖像序列，通過得到目標(biāo)圖像序列可以顯示云層在未來預(yù)設(shè)時

間段內(nèi)的變化情況。

11

CN113971685A說明書9/18頁

[0078]本申請上述實施例中，歷史圖像序列包括：第一設(shè)備采集到的第一圖像序列和第

二設(shè)備采集到的第二圖像序列，其中，利用預(yù)測網(wǎng)絡(luò)對第一圖像序列和第二圖像序列進(jìn)行

預(yù)測處理，得到第一狀態(tài);利用預(yù)測網(wǎng)絡(luò)基于第一狀態(tài)對第一圖像序列進(jìn)行預(yù)測處理，得到

目標(biāo)圖像序列。

[0079]上述的第一設(shè)備可以為雷達(dá)、衛(wèi)星等可以用于采集圖像的設(shè)備，上述的第二設(shè)備

也可以為雷達(dá)、衛(wèi)星等可以用于采集圖像的設(shè)備。第一設(shè)備可以與第二設(shè)備相同，第一設(shè)備

也可以與第二設(shè)備不同。

[0080]在一種可選的實施例中，第一設(shè)備可以為雷達(dá),第二設(shè)備可以為衛(wèi)星，可以利用雷

達(dá)采集第一圖像序列，并利用編碼器對第一圖像序列進(jìn)行編碼處理,得到第一圖像序列的

圖像特征;可以利用衛(wèi)星采集第二圖像序列，并利用編碼器對第二圖像序列進(jìn)行編碼處理,

得到第二圖像序列的圖像特征，基于第一圖像序列的圖像特征和第二圖像序列的圖像特征

對第一圖像序列和第二圖像序列進(jìn)行預(yù)測處理,得到第一狀態(tài)，進(jìn)而基于第一狀態(tài)對第一

圖像序列進(jìn)行預(yù)測處理，得到目標(biāo)圖像序列結(jié)果。可選地，由于衛(wèi)星得到的第一圖像序列的

數(shù)據(jù)更加的豐富和準(zhǔn)確，因此可以基于第一狀態(tài)對第一圖像序列進(jìn)行預(yù)測處理，得到準(zhǔn)確

度較高的目標(biāo)圖像序列結(jié)果。還可以基于第一狀態(tài)對第二圖像序列進(jìn)行預(yù)測處理,得到目

標(biāo)圖像序列結(jié)果。還可以基于第一狀態(tài)對第一圖像序列和第二圖像序列進(jìn)行預(yù)測處理，得

到目標(biāo)圖像序列結(jié)果。

[0081]進(jìn)一步地，可以將第一圖像序列的圖像特征和第二圖像序列的圖像特征進(jìn)行合

并，基于合并后的圖像特征進(jìn)行預(yù)測處理，得到第一狀態(tài);還可以分別對第一圖像序列的圖

像特征和第二圖像序列的圖像特征進(jìn)行預(yù)測處理，得到第一圖像序列的預(yù)測處理結(jié)果和第

二圖像序列的預(yù)測處理結(jié)果，并基于兩個預(yù)測處理結(jié)果得到第一狀態(tài)，進(jìn)而基于第一狀態(tài)

對第一圖像序列和第二圖像序列進(jìn)行預(yù)測處理，得到目標(biāo)圖像序列結(jié)果。可選地，由于衛(wèi)星

得到的第一圖像序列的數(shù)據(jù)更加的豐富和準(zhǔn)確，因此可以基于第一狀態(tài)對第一圖像序列進(jìn)

行預(yù)測處理，得到準(zhǔn)確度較高的目標(biāo)圖像序列結(jié)果。還可以基于第一狀態(tài)對第二圖像序列

進(jìn)行預(yù)測處理，得到目標(biāo)圖像序列結(jié)果。

[0082]本申請上述實施例中，在利用預(yù)測網(wǎng)絡(luò)基于第一狀態(tài)對歷史圖像序列進(jìn)行預(yù)測處

理，得到預(yù)設(shè)時間段內(nèi)的目標(biāo)圖像序列之后，該方法還包括:在交互界面中展示目標(biāo)圖像序

列；獲取目標(biāo)圖像序列對應(yīng)的反饋信息，其中，反饋信息對目標(biāo)圖像序列進(jìn)行修改得到;基

于反饋信息對圖像預(yù)測網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

[0083]上述的交互界面可以為如圖3和圖4所示的界面，用戶可以通過該界面的反饋信息

反饋區(qū)域內(nèi)查看目標(biāo)圖像序列對應(yīng)的反饋信息，并且可以在界面上對上述結(jié)果進(jìn)行調(diào)整,

并反饋給服務(wù)器。

[0084]為了確保目標(biāo)圖像序列的準(zhǔn)確度，在一種可選的實施例中，服務(wù)器可以直接將目

標(biāo)圖像序列展示給用戶查看，也即，將目標(biāo)圖像序列展示在交互界面上，在另一種可選的實

施例中，服務(wù)器可以通過網(wǎng)絡(luò)將目標(biāo)圖像序列下發(fā)給客戶端，由客戶端展示給用戶查看，也

即，將目標(biāo)圖像序列展示在交互界面上。進(jìn)一步地，目標(biāo)圖像序列中可以由用戶進(jìn)行確認(rèn),

如果確認(rèn)無誤，則可以直接確定該目標(biāo)圖像序列，如果用戶確認(rèn)有誤，則用戶可以在交互界

面上對目標(biāo)圖像序列進(jìn)行修改,得到相應(yīng)的反饋信息，并將反饋信息反饋給服務(wù)器,服務(wù)器

可以根據(jù)反饋信息對目標(biāo)圖像序列進(jìn)行處理，而且，可以根據(jù)反饋信息對預(yù)測過程中的編

12

CN113971685A說明書10/18頁

碼器、常微分方程網(wǎng)絡(luò)和解碼器進(jìn)行訓(xùn)練，以提升服務(wù)器的性能。

[0085]本申請上述實施例中，在目標(biāo)圖像序列為氣象圖像序列的情況下，在基于第一狀

態(tài)對歷史圖像序列進(jìn)行預(yù)測處理，得到預(yù)設(shè)時間段內(nèi)的目標(biāo)圖像序列之后，該方法還包括:

基于目標(biāo)圖像序列確定預(yù)設(shè)時間段內(nèi)的氣象信息;在交互界面中展示氣象信息。

[0086]在一種可選的實施例中，在目標(biāo)圖像序列為氣象圖像序列的情況下，可以根據(jù)氣

象圖像序列確定出預(yù)設(shè)時間段內(nèi)的氣象信息，以確定出未來時間段內(nèi)的降雨情況或者其他

天氣情況，可以在交互界面中展示氣象信息，以提示用戶未來時間段的降雨情況或者其他

天氣情況,提醒用戶做好準(zhǔn)備;還可以在交互界面中展示出行情況，以提示用戶選擇合適的

交通工具進(jìn)行出行。進(jìn)一步地，還可以通過語音播報的形式播報未來時間段內(nèi)的降雨情況

或者其他天氣情況;還可以通過語音播報的形式播報出行情況，并播報用戶出行建議;進(jìn)一

步地，還可以通過短信提示的方式通知用戶未來時間段的降雨情況或者其他天氣情況，提

醒用戶做好準(zhǔn)備;還可以通過短信提示的方式通知用戶出行情況，并通知用戶出行建議。

[0087]在另一種可選的實施例中，在基于目標(biāo)圖像序列確定預(yù)設(shè)時間段內(nèi)的氣象信息之

后，還可以根據(jù)預(yù)設(shè)時間段內(nèi)的氣象信息確定降雨量是否超出預(yù)設(shè)雨量，若超出預(yù)設(shè)雨量,

則說明雨量較大,此時可以發(fā)出防洪防汛預(yù)警以提醒大眾做好預(yù)防措施。

[0088]本申請上述實施例中，在基于目標(biāo)圖像序列確定預(yù)設(shè)時間段內(nèi)的氣象信息之后,

該方法還包括:基于氣象信息生成出行推薦信息，其中，出行推薦信息至少包括如下之一:

出行路線、出行時間和攜帶物品；在交互界面中展示出行推薦信息。

[0089]在一種可選的實施例中，若預(yù)設(shè)時間段內(nèi)的氣象信息為持續(xù)降雨，則可以根據(jù)持

續(xù)降雨的氣象信息生成出行推薦信息，其中，出行推薦信息可以包括不易擁堵的出行路線、

雨量較小時的出行時間以及下雨時所要攜帶的雨傘雨衣等。可以在交互界面中展示出行推

薦信息以提示用戶查看，還可以通過語音播報的方式播報出行推薦信息，還可以通過短信

的方式發(fā)送出行推薦信息至用戶的移動終端。

[0090]下面結(jié)合圖5和圖6對本申請一種優(yōu)選的實施例進(jìn)行詳細(xì)說明，該方法可以由計算

機(jī)終端或服務(wù)器執(zhí)行。如圖5所示，該方法包括如下步驟：

[0091]步驟S501,利用雷達(dá)采集雷達(dá)圖像序列，利用衛(wèi)星采集衛(wèi)星圖像序列。

[0092]步驟S502,對雷達(dá)圖像序列進(jìn)行編碼處理，得到雷達(dá)圖像序列中物體的圖像特征,

對衛(wèi)星圖像序列進(jìn)行編碼處理，得到衛(wèi)星圖像序列中物體的圖像特征。

[0093]步驟S503,對雷達(dá)圖像序列中物體的圖像特征和衛(wèi)星圖像序列中物體的圖像特征

進(jìn)行預(yù)測處理，得到雷達(dá)圖像序列中最后兩幀圖像之間的光流。

[0094]步驟S504,根據(jù)雷達(dá)圖像序列中物體的圖像特征、衛(wèi)星圖像序列中物體的圖像特

征、光流構(gòu)造狀態(tài)變量。

[0095]上述狀態(tài)變量可以表示為Z°=radarfeature（雷達(dá)特征）+satellitefeature

（衛(wèi)星特征）+fl。（光流）。

[0096]步驟S505,利用常微分方程網(wǎng)絡(luò)對狀態(tài)變量進(jìn)行預(yù)測，得到物體在當(dāng)前時刻之后

預(yù)設(shè)時間段內(nèi)的第一狀態(tài)。

[0097]上述的第一狀態(tài)用于表示預(yù)設(shè)時間段內(nèi)的光流。

[0098]上述的常微分方程網(wǎng)絡(luò)中可以包括有一個residualblock（殘差塊），其可以將時

間作為一個維度的特征。

13

CN113971685A說明書11/18頁

[0099]步驟S506,將第一狀態(tài)的解碼特征和編碼后的雷達(dá)圖像序列中物體的圖像特征進(jìn)

行合并，得到合并后的特征。

[0100]上述在計算常微分方程網(wǎng)絡(luò)的損失時，可以用未來時刻的第一狀態(tài)進(jìn)行監(jiān)督訓(xùn)

練，以提高訓(xùn)練精確度。

[0W1]由于第一狀態(tài)中物體的變化的時間間隔比較大，因此，可以對第一狀態(tài)進(jìn)行和雙

線性差值，以豐富第一狀態(tài)的變化過程。

[0102]步驟S507,基于合并后的特征預(yù)測未來的雷達(dá)回波圖像。

[0W3]如圖6所示為根據(jù)本申請實施例的一種圖像處理過程的示意圖；其中，可以利用圖

像分割網(wǎng)絡(luò)的編碼器對雷達(dá)的歷史圖像序列進(jìn)行編碼,得到圖像特征enl,然后將圖像特征

取一半，得到圖像特征en2，將圖像特征en2中取一半,得到圖像特征en3，將圖像特征en3取

一半,得到圖像特征en4；可以利用圖像分割網(wǎng)絡(luò)的編碼器對衛(wèi)星的歷史圖像序列中一半的

信息進(jìn)行編碼，得到圖像特征en2,將圖像特征en2中取一半,得到圖像特征en3,將圖像特征

en3取一半，得到圖像特征en4；基于雷達(dá)的圖像特征en4和衛(wèi)星的圖像特征en4可以得到狀

態(tài)變量Z。；對狀態(tài)變量Z。進(jìn)行雙線性差值，得到利用常微分方程網(wǎng)絡(luò)對Z1及進(jìn)行預(yù)測處

理，得到I，利用解碼器對圖進(jìn)行解碼，可以得到€101~62、€103^64,將解碼得到的特征分別

雷達(dá)圖像編碼后的特征進(jìn)行合并,得到未來的雷達(dá)圖像序列。

[0104]實施例2

[0105]根據(jù)本申請實施例，還提供一種圖像處理方法，需要說明的是，在附圖的流程圖示

出的步驟可以在諸如一組計算機(jī)可執(zhí)行指令的計算機(jī)系統(tǒng)中執(zhí)行，并且，雖然在流程圖中

示出了邏輯順序，但是在某些情況下，可以以不同此處的順序執(zhí)行所示出或描述的步驟。

[0106]圖7是根據(jù)本申請實施例2的一種圖像處理方法的流程圖。如圖7所示，該方法可以

包括如下步驟：

[0107]步驟S702,獲取歷史氣象圖序列。

[0108]步驟S704,利用氣象預(yù)測模型預(yù)測得到歷史氣象圖序列包含的氣象的第一光流,

并基于第一光流對歷史氣象圖序列進(jìn)行預(yù)測處理，得到當(dāng)前時刻之后預(yù)設(shè)時間段內(nèi)的目標(biāo)

氣象圖序列。

[0109]其中，第一光流用于表征氣象在預(yù)設(shè)時間段內(nèi)的運(yùn)動趨勢。

[01W]上述的第一光流可以用向量的形式表現(xiàn)出來。其中，向量的方向可以用于表現(xiàn)光

流的變化方向，向量的密集程度用于表現(xiàn)光流的數(shù)量變化程度。

tom]本申請上述實施例中，在基于第一光流對歷史氣象圖序列進(jìn)行預(yù)測處理，得到預(yù)

設(shè)時間段內(nèi)的目標(biāo)氣象圖序列之后，該方法還包括:基于目標(biāo)氣象圖序列確定預(yù)設(shè)時間段

內(nèi)的農(nóng)業(yè)生產(chǎn)信息;在交互界面中展示農(nóng)業(yè)生產(chǎn)信息。

[0112]在一種可選的實施例中，可以根據(jù)目標(biāo)氣象圖像序列確定預(yù)設(shè)時間段內(nèi)是否有少

量降雨，由于一般在陰雨天對農(nóng)作物施肥的效果最好，因此，在預(yù)設(shè)時間段內(nèi)有少量降雨的

情況下，則確定預(yù)設(shè)時間段內(nèi)農(nóng)業(yè)生產(chǎn)信息為適宜施肥，此時可以在交互界面中展示適宜

施肥的農(nóng)業(yè)生產(chǎn)信息以提示用戶進(jìn)行施肥;進(jìn)一步地,還可以通過語音播報的形式播報適

宜施肥的信息;進(jìn)一步地，還可以通過短信發(fā)送適宜施肥的信息至用戶的移動終端。

[0113]本申請上述實施例中，氣象預(yù)測模型包括:預(yù)測網(wǎng)絡(luò)和常微分方程網(wǎng)絡(luò)，利用氣象

預(yù)測模型預(yù)測得到歷史氣象圖序列包含的氣象的第一光流，并基于第一光流對歷史氣象圖

14

CN113971685A說明書12/18頁

序列進(jìn)行預(yù)測處理,得到當(dāng)前時刻之后預(yù)設(shè)時間段內(nèi)的目標(biāo)氣象圖序列包括:利用預(yù)測網(wǎng)

絡(luò)對歷史氣象圖序列進(jìn)行編碼處理，得到歷史氣象圖序列的圖像特征;利用常微分方程網(wǎng)

絡(luò)對圖像特征和氣象的第二光流進(jìn)行預(yù)測處理，得到第一光流；利用預(yù)測網(wǎng)絡(luò)對圖像特征

和第一光流進(jìn)行處理,得到目標(biāo)氣象圖序列。

[0114]本申請上述實施例中，預(yù)測網(wǎng)絡(luò)包括：由多個編碼層構(gòu)成的編碼器、以及由多個解

碼層構(gòu)成的解碼器,常微分方程網(wǎng)絡(luò)的輸入與編碼器的最后一個編碼層連接，常微分方程

網(wǎng)絡(luò)的輸出與解碼器的第一個解碼層連接，多個編碼層與多個解碼層一一對應(yīng)連接,其中，

編碼器用于對歷史氣象圖序列進(jìn)行編碼處理，得到歷史氣象圖序列的氣象圖特征,解碼器

用于對氣象圖特征和第一狀態(tài)進(jìn)行處理，得到目標(biāo)氣象圖序列。

[0115]本申請上述實施例中，歷史氣象圖序列包括：第一設(shè)備采集到的第一氣象圖序列

和第二設(shè)備采集到的第二氣象圖序列，其中，利用預(yù)測網(wǎng)絡(luò)對第一氣象圖序列和第二氣象

圖序列進(jìn)行預(yù)測處理，得到第一光流；利用預(yù)測網(wǎng)絡(luò)基于第一光流對第一氣象圖序列進(jìn)行

預(yù)測處理，得到目標(biāo)氣象圖序列。

[0116]本申請上述實施例中，在基于第一光流對歷史氣象圖序列進(jìn)行預(yù)測處理，得到預(yù)

設(shè)時間段內(nèi)的目標(biāo)氣象圖序列之后，該方法還包括:在交互界面中展示目標(biāo)氣象圖序列;獲

取目標(biāo)氣象圖序列對應(yīng)的反饋信息，其中，反饋信息對目標(biāo)氣象圖序列進(jìn)行修改得到;基于

反饋信息對氣象預(yù)測網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

[0117]本申請上述實施例中，在基于第一狀態(tài)對歷史氣象圖序列進(jìn)行預(yù)測處理，得到當(dāng)

前時刻之后預(yù)設(shè)時間段內(nèi)的目標(biāo)氣象圖序列之后，該方法還包括:基于目標(biāo)氣象圖序列確

定預(yù)設(shè)時間段內(nèi)的農(nóng)業(yè)生產(chǎn)信息;在交互界面中展示農(nóng)業(yè)生產(chǎn)信息。

[0118]需要說明的是，本申請上述實施例中涉及到的優(yōu)選實施方案與實施例1提供的方

案以及應(yīng)用場景、實施過程相同，但不僅限于實施例1所提供的方案。

[0119]實施例3

[0120]根據(jù)本申請實施例，還提供一種圖像處理方法，需要說明的是，在附圖的流程圖示

出的步驟可以在諸如一組計算機(jī)可執(zhí)行指令的計算機(jī)系統(tǒng)中執(zhí)行，并且，雖然在流程圖中

示出了邏輯順序，但是在某些情況下，可以以不同此處的順序執(zhí)行所示出或描述的步驟。

[0121]圖8是根據(jù)本申請實施例3的一種圖像處理方法的流程圖。如圖8所示，該方法可以

包括如下步驟：

[0122]步驟S802,云服務(wù)器就接收客戶端上傳的歷史圖像序列。

[0123]在一種可選的實施例中，在獲取到歷史圖像序列之后，可以由用戶主動上傳至云

服務(wù)器，由云服務(wù)器進(jìn)行處理，如圖4所示，用戶可以點擊交互界面中的“上傳歷史圖像序

列”按鈕，將歷史圖像序列直接拖入虛線框的方式完成將歷史圖像序列上傳至云服務(wù)器的

目的，而且，用戶上傳的歷史圖像序列可以顯示在歷史圖像序列采集區(qū)域內(nèi)。

[0124]步驟S804,云服務(wù)器利用圖像預(yù)測網(wǎng)絡(luò)預(yù)測得到