國家級(jí)虛擬仿真實(shí)驗(yàn)教學(xué)一流本科課程《無人機(jī)集群技術(shù)》第六章

無人機(jī)集群航跡規(guī)劃技術(shù)目錄6.1集群航跡規(guī)劃概述6.2無人機(jī)集群編隊(duì)設(shè)計(jì)與控制方法6.3基于虛擬勢(shì)場(chǎng)法的協(xié)同避障算法6.4基于Dubins路徑的航跡規(guī)劃算法6.5無人機(jī)集群威脅區(qū)域躲避協(xié)同控制算法6.6基于深度強(qiáng)化學(xué)習(xí)的協(xié)同航跡規(guī)劃6.7本章小結(jié)6.1集群航跡規(guī)劃概述航跡規(guī)劃的約束條件4飛機(jī)性能13地理環(huán)境障礙油耗、時(shí)間要求2動(dòng)靜態(tài)威脅無人機(jī)的航跡規(guī)劃一般可以描述為以下需要解決的問題：已知：起點(diǎn)；一組要服從的限制條件，如機(jī)動(dòng)能力、續(xù)航能力等；一組需要執(zhí)行任務(wù)的目標(biāo)區(qū)域；一組威脅或障礙區(qū)域；終點(diǎn)。要求：尋找一條穿過目標(biāo)區(qū)域的可飛路徑，而且在某種性能指標(biāo)函數(shù)的度量下是最優(yōu)的，即付出的代價(jià)最小。6.14航跡規(guī)劃關(guān)鍵技術(shù)編隊(duì)隊(duì)形設(shè)計(jì)編隊(duì)控制信息交換傳遞技術(shù)近距離編隊(duì)時(shí)飛機(jī)之間的氣動(dòng)影響實(shí)現(xiàn)無人機(jī)集群編隊(duì)飛行需要解決的關(guān)鍵問題：6.15航跡規(guī)劃算法的分類現(xiàn)代智能算法：人工勢(shì)場(chǎng)法啟發(fā)式尋優(yōu)搜索算法遺傳算法人工神經(jīng)網(wǎng)絡(luò)算法蟻群算法粒子群算法基于案例的學(xué)習(xí)算法12傳統(tǒng)經(jīng)典算法：統(tǒng)計(jì)歸納法最優(yōu)控制法單元格法Dijkstra算法動(dòng)態(tài)規(guī)劃法導(dǎo)數(shù)相關(guān)法6.16航跡規(guī)劃算法的分類人工勢(shì)場(chǎng)法：將無人機(jī)在周圍環(huán)境中的運(yùn)動(dòng)，設(shè)計(jì)成一種抽象的人造引力場(chǎng)中的運(yùn)動(dòng)，目標(biāo)點(diǎn)對(duì)移動(dòng)無人機(jī)產(chǎn)生引力，威脅和障礙對(duì)移動(dòng)無人機(jī)產(chǎn)生斥力，無人機(jī)則在兩者綜合生成的勢(shì)場(chǎng)中飛行。A*算法：A*算法是比較流行的啟發(fā)式搜索算法之一，被廣泛應(yīng)用于路徑優(yōu)化領(lǐng)域，該算法采用啟發(fā)式搜索和最短路徑的搜索相結(jié)合的方法。從起始節(jié)點(diǎn)開始，A*算法不斷尋找最佳節(jié)點(diǎn)使得成本最低，并優(yōu)先擴(kuò)展這些節(jié)點(diǎn)，使目標(biāo)函數(shù)值變小，從而形成一組節(jié)點(diǎn)集，這些點(diǎn)的有序連接就是優(yōu)化的路徑。遺傳算法：遺傳算法模擬達(dá)爾文“物競(jìng)天擇，適者生存”的進(jìn)化法則，提供了一種求解復(fù)雜優(yōu)化問題的通用框架，是效仿自然進(jìn)化過程中搜索最優(yōu)結(jié)果的方法。現(xiàn)代智能算法6.17航跡規(guī)劃算法的分類人工神經(jīng)網(wǎng)絡(luò)算法：人類的大腦由數(shù)量眾多的神經(jīng)元構(gòu)成，這些神經(jīng)元細(xì)胞相互之間緊密連接，提出了模擬大腦神經(jīng)元工作的人工神經(jīng)網(wǎng)絡(luò)算法。蟻群算法：受到蟻群在環(huán)境中尋找食物與巢穴之間最有效路徑的行為啟發(fā)而產(chǎn)生的航跡規(guī)劃算法。粒子群算法：將無人機(jī)在周圍環(huán)境中的運(yùn)動(dòng)，設(shè)計(jì)成一種抽象的人造引力場(chǎng)中的運(yùn)動(dòng)，目標(biāo)點(diǎn)對(duì)移動(dòng)無人機(jī)產(chǎn)生引力，威脅和障礙對(duì)移動(dòng)無人機(jī)產(chǎn)生斥力，無人機(jī)則在兩者綜合生成的勢(shì)場(chǎng)中飛行。基于案例的算法：基于案例的學(xué)習(xí)方法是一種增量式的學(xué)習(xí)過程，它具有類比學(xué)習(xí)的功能，該方法通過建立案例庫的方式來存儲(chǔ)之前的規(guī)劃案例，是一組大同小異的學(xué)習(xí)策略。6.186.2無人機(jī)集群編隊(duì)設(shè)計(jì)與控制方法無人機(jī)坐標(biāo)系定義與變換

空間大地坐標(biāo)系地球中心坐標(biāo)系載體坐標(biāo)系NED坐標(biāo)系無人機(jī)在完成飛行工作時(shí)，需要依賴于精確的位置坐標(biāo)，用于各種用途，包括導(dǎo)航、運(yùn)動(dòng)規(guī)劃和控制以及任務(wù)完成。無人機(jī)對(duì)于運(yùn)動(dòng)的描述主要基于參考系的位置以及速度方向，各個(gè)坐標(biāo)系之間能夠相互轉(zhuǎn)換。6.210無人機(jī)編隊(duì)隊(duì)形的保持與變換常見的編隊(duì)隊(duì)形：6.211無人機(jī)集群的特點(diǎn)與需求21無人機(jī)之間的防碰撞隊(duì)列中的無人機(jī)需要將其它無人機(jī)視為附加的移動(dòng)障礙物，并采取適當(dāng)?shù)谋苷闲袨槎酂o人機(jī)間的協(xié)作編隊(duì)控制算法應(yīng)避免隊(duì)列中有一架或多架無人機(jī)落后而導(dǎo)致整體等待或完全停止的情況3避免死鎖情況無人機(jī)的飛行應(yīng)加以控制，以避免出現(xiàn)一架或多架無人機(jī)對(duì)其它無人機(jī)路徑造成阻塞的情況編隊(duì)控制策略的約束條件：6.212無人機(jī)編隊(duì)控制方式13跟隨領(lǐng)航者法基于行為的方法2虛擬結(jié)構(gòu)法4圖論法5一致性法無人機(jī)的編隊(duì)控制目標(biāo)包括編隊(duì)一致性和編隊(duì)模式。根據(jù)模式的不同需求，無人機(jī)編隊(duì)控制方法分為剛性編隊(duì)模式和柔性編隊(duì)模式。6.213無人機(jī)編隊(duì)控制方式將某一無人機(jī)視為能夠完全獲取整體導(dǎo)航信息的群體領(lǐng)航者，并作為群體中的參考無人機(jī)。集中式設(shè)計(jì)簡單集群的抗摧毀性比較低跟隨領(lǐng)航者法分布式集群的抗摧毀性顯著提升算法設(shè)計(jì)難6.214無人機(jī)編隊(duì)控制方式無人機(jī)之間保持成剛性架構(gòu)，其整體行為就像嵌入在剛性結(jié)構(gòu)中的粒子一樣，能夠?qū)崿F(xiàn)高精度的運(yùn)動(dòng)，不需要領(lǐng)導(dǎo)者的選擇，并且可以靈活的保持固有的各種幾何形狀。虛擬結(jié)構(gòu)法6.215無人機(jī)編隊(duì)控制方式基于行為的方法：通過采用混合矢量加權(quán)控制函數(shù)來解決編隊(duì)控制問題，能夠根據(jù)不同編隊(duì)任務(wù)生成不同的控制命令。圖論法：利用拓?fù)鋱D上的頂點(diǎn)來描述單個(gè)無人機(jī)，兩點(diǎn)之間的邊用來表述無人機(jī)間的關(guān)聯(lián)約束拓?fù)潢P(guān)系，將控制理論引入圖中。一致性法：智能體利用與之通信的鄰居智能體的狀態(tài)信息更新自身的狀態(tài)，并最終使所有智能體狀態(tài)達(dá)到一致。6.2166.3基于虛擬勢(shì)場(chǎng)法的協(xié)同避障算法虛擬勢(shì)場(chǎng)法基本原理人工勢(shì)場(chǎng)法（ArtificialPotentialField，APF）又稱為虛擬勢(shì)場(chǎng)法，其基本思想是把智能體所在的環(huán)境進(jìn)行抽象化，成為一個(gè)虛擬的勢(shì)場(chǎng)，智能體受到勢(shì)場(chǎng)中力的作用而移動(dòng)。6.318虛擬力13導(dǎo)航力避障力2拓?fù)淞υ谠幸Α⒊饬Φ幕A(chǔ)上，將單個(gè)無人機(jī)受到虛擬力分為導(dǎo)航力、拓?fù)淞捅苷狭θ齻€(gè)部分，三種力相疊加則為該無人機(jī)最終受到的合力，合力方向即為無人機(jī)的運(yùn)動(dòng)方向。6.319虛擬力導(dǎo)航力在整個(gè)無人機(jī)飛行的過程中，集群運(yùn)動(dòng)的終點(diǎn)或者路徑規(guī)劃中某個(gè)臨時(shí)的目標(biāo)點(diǎn)對(duì)無人機(jī)產(chǎn)生的導(dǎo)航力是始終驅(qū)使無人機(jī)向目的地運(yùn)動(dòng)最主要的控制力。6.320虛擬力理此時(shí)導(dǎo)航力公式為：

其中kGuidance為導(dǎo)航力增益系數(shù)。

由公式可以看出，導(dǎo)航力和導(dǎo)航力增益系數(shù)與起始位置的歐式距離有關(guān)。6.321虛擬力拓?fù)淞o人機(jī)集群由大量無人機(jī)節(jié)點(diǎn)組成，兩架在一定范圍內(nèi)的無人機(jī)會(huì)產(chǎn)生相互作用力。拓?fù)淞σ环矫婢S持無人機(jī)集群的拓?fù)浣Y(jié)構(gòu)，另一方面也可以有效地避免無人機(jī)之間因距離過近而導(dǎo)致碰撞事故的發(fā)生，對(duì)無人機(jī)的集群避障有著重要的影響。6.322虛擬力避障力在真實(shí)的任務(wù)場(chǎng)景下，無人機(jī)集群在飛行途中經(jīng)常會(huì)遇到如山峰、建筑等障礙物。同時(shí)，無人機(jī)集群在執(zhí)行軍事任務(wù)時(shí)，需要有效地避開敵方設(shè)置的電磁干擾區(qū)域。此時(shí)，避障力的存在就可以很大程度上提高無人機(jī)的生存能力，減少經(jīng)濟(jì)損失。避障力是以斥力的形式作用于無人機(jī)上。6.323虛擬力01虛擬力合力將導(dǎo)航力、拓?fù)淞捅苷狭θN力進(jìn)行矢量相加，則可以計(jì)算出無人機(jī)在虛擬勢(shì)場(chǎng)中P位置時(shí)最終受到的虛擬力合力虛擬力作為一種虛構(gòu)的概念，其力的大小無法被直觀的感受，卻與各節(jié)點(diǎn)之間的距離息息相關(guān)使用反正切函數(shù)arctan()進(jìn)行歸一化操作，將無人機(jī)所受的虛擬力大小映射到對(duì)應(yīng)的速度大小上6.324虛擬力滿足虛擬力到速度的映射的原因：反正切函數(shù)是單調(diào)增函數(shù)，速度隨著F的增大而變大，符合實(shí)際情況當(dāng)虛擬力的大小為0時(shí)，其映射的速度大小也為0，符合實(shí)際情況當(dāng)虛擬力較大時(shí)，速度對(duì)虛擬力大小的增加敏感度較低，可以避免無人機(jī)速度過快無法調(diào)控6.325虛擬勢(shì)場(chǎng)法的局部最小點(diǎn)問題當(dāng)智能個(gè)體的運(yùn)動(dòng)環(huán)境中存在著形狀較為復(fù)雜的障礙物，或者障礙物距離目的地很近時(shí)，虛擬勢(shì)場(chǎng)中可能會(huì)出現(xiàn)局部最小點(diǎn)，出現(xiàn)“目標(biāo)不可達(dá)”或“來回震蕩”的現(xiàn)象。6.326基于虛擬勢(shì)場(chǎng)法無人機(jī)集群協(xié)同避障無領(lǐng)航者模式領(lǐng)航者-跟隨者模式集群中所有的無人機(jī)知曉集群的運(yùn)動(dòng)路徑每一個(gè)無人機(jī)所受的導(dǎo)航力均來自終點(diǎn)或下一個(gè)目的點(diǎn)每個(gè)人無人機(jī)之間的運(yùn)動(dòng)相對(duì)獨(dú)立在一些軍事任務(wù)中，為了避免信息泄露，無人機(jī)集群的運(yùn)動(dòng)信息并不會(huì)告知所有無人機(jī)節(jié)點(diǎn)由于戰(zhàn)場(chǎng)局勢(shì)的變化，無人機(jī)的運(yùn)動(dòng)路徑需要實(shí)時(shí)地發(fā)生變化。如果此時(shí)使用無領(lǐng)航者模式，將更新的運(yùn)動(dòng)信息告知每一個(gè)無人機(jī)節(jié)點(diǎn)開銷較大。在這種情況下，通常會(huì)把更新的運(yùn)動(dòng)信息告知其中某個(gè)無人機(jī)。6.327基于虛擬勢(shì)場(chǎng)法無人機(jī)集群協(xié)同避障在領(lǐng)航者-跟隨者模式下存在的問題？當(dāng)無人機(jī)集群數(shù)量較大時(shí)，受到通信范圍的限制，將所有跟隨者直接與領(lǐng)航者對(duì)接顯然是不切實(shí)際的，所以此時(shí)需要一種新的方法來解決運(yùn)動(dòng)信息不足的問題。6.328基于虛擬勢(shì)場(chǎng)法無人機(jī)集群協(xié)同避障集群分級(jí)制度按照跟隨者到領(lǐng)航者距離的遠(yuǎn)近，把跟隨者劃分成不同的層級(jí)領(lǐng)航者仍然受到來自下一個(gè)目的點(diǎn)的導(dǎo)航力、周圍節(jié)點(diǎn)的拓?fù)淞σ约氨苷狭Φ挠绊懘藭r(shí)跟隨者會(huì)失去導(dǎo)航力的作用，僅受到低層級(jí)節(jié)點(diǎn)的吸引力、周圍節(jié)點(diǎn)的排斥力以及避障力的作用6.329虛擬勢(shì)場(chǎng)法的避障性能基于虛擬勢(shì)場(chǎng)法對(duì)無人機(jī)集群避障算法進(jìn)行仿真驗(yàn)證無人機(jī)集群初始位置障礙物目的地6.330虛擬勢(shì)場(chǎng)法的避障性能基于虛擬勢(shì)場(chǎng)法對(duì)無人機(jī)集群避障算法進(jìn)行仿真驗(yàn)證導(dǎo)航力作用到達(dá)目的地避障力作用改變隊(duì)形拓?fù)浣Y(jié)構(gòu)變化運(yùn)動(dòng)軌跡6.331虛擬勢(shì)場(chǎng)法的避障性能在分配導(dǎo)航力權(quán)重βG、拓?fù)淞?quán)重βT、避障力權(quán)重βO時(shí)，需要對(duì)這三個(gè)參數(shù)進(jìn)行合理的設(shè)置。如果三個(gè)系數(shù)設(shè)置不夠合理，則會(huì)出現(xiàn)無人機(jī)撞毀的情況。6.3326.4基于Dubins路徑的航跡規(guī)劃算法Dubins曲線Dubins路徑是在滿足轉(zhuǎn)彎半徑和設(shè)定的起始點(diǎn)和目標(biāo)點(diǎn)的速度方向的限制下，連接兩個(gè)二維平面（即X-Y平面）的最短路徑6.434路徑擴(kuò)展點(diǎn)的選擇MFDA算法將直線航跡與威脅區(qū)域圓的切點(diǎn)作為下一步擴(kuò)展節(jié)點(diǎn)LSRRLS將節(jié)點(diǎn)pn1和節(jié)點(diǎn)pn2均加入進(jìn)OPEN表中通過評(píng)估函數(shù)分別計(jì)算兩個(gè)節(jié)點(diǎn)的代價(jià)值并進(jìn)行比較，選擇出代價(jià)值最小的節(jié)點(diǎn)作為下一步的路徑擴(kuò)展節(jié)點(diǎn)同時(shí)將此節(jié)點(diǎn)添加到CLOSE表中，循環(huán)計(jì)算，規(guī)劃無人機(jī)飛行航跡6.435路徑擴(kuò)展點(diǎn)的代價(jià)計(jì)算與選取

MFDA算法同時(shí)考慮路徑代價(jià)和威脅代價(jià)對(duì)無人機(jī)軌跡的影響，估價(jià)函數(shù)建立如下

其中，g(n)=w1·Distance+w2·Hazard，w1表示距離代價(jià)的影響因子，w2表示威脅代價(jià)的影響因子，w1+w2=1。Distance距離由兩端弧長和一段直線長度構(gòu)成，如圖所示，分別計(jì)算LSR和RLS兩種類型的Dubins路徑距離。LSRRLS6.436MFDA算法路徑規(guī)劃流程①首先將起始點(diǎn)當(dāng)作當(dāng)前路徑擴(kuò)展點(diǎn)，生成到目標(biāo)點(diǎn)的路徑。②通過MFDA算法估價(jià)函數(shù)計(jì)算并選出代價(jià)值最小的點(diǎn)作為下一步的路徑擴(kuò)展點(diǎn)，將此路徑擴(kuò)展點(diǎn)加入到CLOSE表中。③將步驟②中選取的路徑擴(kuò)展點(diǎn)作為當(dāng)前的位置，然后重新執(zhí)行步驟①的操作。之后重復(fù)上述過程，不斷產(chǎn)生新的路徑擴(kuò)展點(diǎn)，直到到達(dá)目的點(diǎn)，構(gòu)建出完整路徑。6.4376.5無人機(jī)集群威脅區(qū)域躲避協(xié)同控制算法單集群編隊(duì)避障控制“虛擬中心點(diǎn)”是以Dubins曲線為核心的路徑擴(kuò)展點(diǎn)。在無人機(jī)集群飛行過程中，采用“跟隨領(lǐng)航者”模式，將虛擬中心點(diǎn)看做領(lǐng)航者，使用MFDA算法進(jìn)行突發(fā)威脅區(qū)域航跡規(guī)劃，在此基礎(chǔ)上建立的路徑擴(kuò)展點(diǎn)作為領(lǐng)航者下一步的位置點(diǎn)，并在每一個(gè)路徑擴(kuò)展點(diǎn)上建立以虛擬中心點(diǎn)即領(lǐng)航者為圓心，半徑為Rvir的圓形，虛擬集群參考點(diǎn)在圓上均勻分布。虛擬集群參考點(diǎn)6.539單集群編隊(duì)避障控制人工勢(shì)場(chǎng)函數(shù)的設(shè)計(jì)將無人機(jī)看作是一個(gè)質(zhì)點(diǎn)，障礙物看作是圓形區(qū)域根據(jù)無人機(jī)當(dāng)前位置的勢(shì)能來決定飛行的方向和速度人工勢(shì)場(chǎng)法遵循“近距排斥，遠(yuǎn)距吸引”的原則無人機(jī)在各種力的合力下運(yùn)動(dòng)時(shí)會(huì)逐漸達(dá)到平衡態(tài)此時(shí)每個(gè)無人機(jī)會(huì)占據(jù)“圓環(huán)形”集群編隊(duì)隊(duì)形上的一個(gè)虛擬集群控制點(diǎn)，在此位置所建立的勢(shì)場(chǎng)最小6.540單集群編隊(duì)避障控制單集群編隊(duì)控制算法流程每一個(gè)無人機(jī)選擇在虛擬集群中心點(diǎn)為圓心上均勻分布的虛擬集群控制點(diǎn)設(shè)計(jì)合適的勢(shì)場(chǎng)函數(shù)使得真實(shí)無人機(jī)受到虛擬集群控制點(diǎn)的引力最終在合力的作用下形成固定的隊(duì)形利用虛擬控制網(wǎng)絡(luò)中虛擬集群控制點(diǎn)的引力使無人機(jī)集群保持穩(wěn)定的隊(duì)形6.541多集群編隊(duì)避障控制k-means分簇算法k-means算法是一種無監(jiān)督的分簇算法，通過聚類計(jì)算來處理無類標(biāo)數(shù)據(jù)。在進(jìn)行分簇之前，k-means算法開始并不知道數(shù)據(jù)的正確分簇結(jié)果，根據(jù)算法發(fā)掘數(shù)據(jù)自身的信息特點(diǎn)，然后對(duì)多個(gè)數(shù)據(jù)進(jìn)行分簇。①算法運(yùn)行開始設(shè)置分簇個(gè)數(shù)k；②從所有樣本集合中隨機(jī)選取k個(gè)樣本作為k個(gè)初始簇的簇中心；③將集群中的每個(gè)樣本點(diǎn)根據(jù)距離劃分到距離它最近的簇中心所代表的簇中；④使用每個(gè)簇中的所有樣本點(diǎn)重新計(jì)算每個(gè)簇的簇中心點(diǎn)；⑤重復(fù)步驟③和步驟④，直到簇中心不再出現(xiàn)改變或者達(dá)到仿真設(shè)置的計(jì)算次數(shù)，或者在設(shè)定的容錯(cuò)范圍內(nèi)。6.542多集群編隊(duì)避障控制編隊(duì)間防碰撞算法兩架無人機(jī)飛行軌跡示意圖飛行遠(yuǎn)離飛行遠(yuǎn)離飛行靠近6.543多集群編隊(duì)避障控制編隊(duì)間防碰撞算法同一威脅區(qū)域發(fā)生碰撞不同威脅區(qū)域發(fā)生碰撞選擇新的路徑擴(kuò)展點(diǎn)6.544多集群編隊(duì)避障控制集群編隊(duì)控制算法流程對(duì)無人機(jī)集群進(jìn)行分簇處理，根據(jù)MFDA算法進(jìn)行路徑規(guī)劃各個(gè)無人機(jī)分簇之間通過速度矢量共享的方式判斷是否會(huì)發(fā)生碰撞，如果發(fā)生碰撞則通過MFDA算法重新選擇路徑擴(kuò)展點(diǎn)，否則集群中無人機(jī)選擇相應(yīng)的虛擬集群控制點(diǎn)無人機(jī)集群在合力的作用下向虛擬集群控制點(diǎn)方向飛行如果每個(gè)無人機(jī)集群都到達(dá)了設(shè)定的目標(biāo)點(diǎn)附近則仿真結(jié)束，否則每個(gè)集群虛擬中心繼續(xù)根據(jù)MFDA算法進(jìn)行路徑規(guī)劃，重新按照上述步驟進(jìn)行算法運(yùn)行6.5456.6基于深度強(qiáng)化學(xué)習(xí)的協(xié)同航跡規(guī)劃系統(tǒng)模型假設(shè)任務(wù)區(qū)域其中有N個(gè)無人機(jī)、M個(gè)障礙物和一個(gè)目標(biāo)每架無人機(jī)都配備有GPS定位設(shè)備，并能識(shí)別自己的位置無人機(jī)之間可以通過無線收發(fā)器通信，以交換位置和速度等信息無人機(jī)最初位于起始點(diǎn)隨機(jī)分布并打算沿著實(shí)時(shí)規(guī)劃軌跡移動(dòng)到目標(biāo)點(diǎn)障礙物在任務(wù)區(qū)域中隨機(jī)分布無人機(jī)通過傳感器確定障礙物的位置為了滿足強(qiáng)化學(xué)習(xí)的要求，采用離散時(shí)間尺度6.647系統(tǒng)模型無人機(jī)集群系統(tǒng)的航跡規(guī)劃行程應(yīng)盡可能小要求無人機(jī)能夠自主避開障礙物及其鄰居節(jié)點(diǎn)兩個(gè)無人機(jī)之間的距離必須小于最大通信距離無人機(jī)集群協(xié)同航跡規(guī)劃的主要目標(biāo)：6.648馬爾可夫決策過程

馬爾可夫決策過程必須滿足馬爾可夫性過程的下一個(gè)狀態(tài)僅取決于過程的當(dāng)前狀態(tài)和決策者選擇的動(dòng)作6.649馬爾可夫決策過程式中，γ∈[0,1)表示折扣因子。通常，我們表示在策略π下，在s狀態(tài)采取行動(dòng)的價(jià)值（即預(yù)期回報(bào)）作為行動(dòng)價(jià)值函數(shù)強(qiáng)化學(xué)習(xí)的目標(biāo)是學(xué)習(xí)一個(gè)策略π，以使累計(jì)折扣報(bào)酬最大化6.650馬爾可夫決策過程其中α是學(xué)習(xí)率，r+γmaxQπ(s′,a′)稱為TD目標(biāo)，r+γmaxQπ(s′,a′)?Qπ(s,a)稱為TD誤差。動(dòng)作值函數(shù)在每個(gè)時(shí)間步更新一次，直到收斂。利用收斂的動(dòng)作值函數(shù)并根據(jù)貝爾曼最優(yōu)性原則即可確定最優(yōu)策略。時(shí)間差分（temporaldifference,TD）法，其中動(dòng)作值函數(shù)的更新規(guī)則為根據(jù)貝爾曼的最優(yōu)性原則，最優(yōu)策略等價(jià)于最大化動(dòng)作值函數(shù)6.651狀態(tài)和動(dòng)作空間設(shè)計(jì)目標(biāo)狀態(tài)信息障礙物狀態(tài)信息鄰居信息為了使無人機(jī)的飛行軌跡更加平滑，模型采用連續(xù)動(dòng)作空間無人機(jī)i在時(shí)間步t的觀測(cè)信息si,t由三部分組成6.652獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)獎(jiǎng)勵(lì)信號(hào)將加強(qiáng)智能體的行動(dòng)一個(gè)好的獎(jiǎng)勵(lì)函數(shù)可以縮短算法的收斂時(shí)間盡快到達(dá)目標(biāo)點(diǎn)不與障礙物和鄰居節(jié)點(diǎn)發(fā)生碰撞與鄰居節(jié)點(diǎn)保持適當(dāng)?shù)木嚯x

無人機(jī)集群系統(tǒng)的航跡規(guī)劃的主要目的：6.653獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)定義接近目標(biāo)獎(jiǎng)勵(lì)：該獎(jiǎng)勵(lì)用于指導(dǎo)無人機(jī)朝著目標(biāo)方向飛行。其基本思想是，在每一個(gè)步中，朝向目標(biāo)方