團體標準Informationtechnology-Visualfeaturecoding-中關村視聽產業技術創新聯盟發布I III Ⅲ 1 1 1 2 2 2 3 3 3 3 4 6 7 10 12 12 16 20 22 23 23 24 25 26 27本文件按照GB/T1.1-2020《標準化工作導則第1部分：標本文件由新一代人工智能產業技術創新戰略聯盟AI標準工作——第1部分:系統。目的在于設計特征編碼系統，提供整合特征碼流的規范，實現特征高效交互——第2部分:手工設計特征。目的在于確立適用于傳統手工設計特征的表示與壓縮標——第3部分:深度學習特征。目的在于確立適用于從深度學習模型中提取的高維特征向量的表示——第4部分：深度特征圖。目的在于確立適用于從深度學習模型中提取的通用深度特征圖的表示——第5部分：語義分割圖。目的在于確立適用于語義分割圖的高效表征與無損壓縮標準。——第6部分：結構點序列。目的在于確立適用于結構本文件的發布機構提請注意，聲明符合本文件時，可能涉及到6、7與《用于視頻中的人體骨多模態無損壓縮實現方法》（專利號：CN111641830A6、7與《基縮及還原方法及系統》（專利號：CN106295561A）相關專利的本文件的發布機構對于該專利的真實性、有效性和范圍無任該專利持有人已向本文件的發布機構保證，他愿意同任何申請人在合理且無歧視的下，就專利授權許可進行談判。該專利持有人的聲明已在本文件的發布機構備案，地址：上海市閔行區東川路800號上海交通大學閔行校區電院群樓1號樓，郵編：2通訊地址：上海市閔行區東川路800號上海交1信息技術視覺特征編碼第6部分：結構點序列本標準規范了視頻中的多種結構點序列的表征格式，設計了對于結構點序列進行無損結構點序列structurepointseq文的圖示中，父子結構點使用箭頭連接，箭2前序參考幀formerreferenc若當前幀與前一幀都是非關鍵幀，那么前一幀的參考幀為當前幀的前4縮略語5.1概述5.2算術運算符+-3×a/整除運算，沿向0的取值方向截斷。例如，7/4和b5.3邏輯運算符!><5.5位運算符&|~將a以2的補碼整數表示的形式向右移b位。僅當b取正數將a以2的補碼整數表示的形式向左移b位。僅當b取正數5.6賦值4=5.7位流語法、解析過程和解碼過程的描述方法5.7.1位流語法的描述方法正文中用不帶下劃線的小寫字母和大寫字母混合命名。大寫字母開頭的變量用于解碼當前語法元素值的助記符和變量值的助記符與它們的值之間的關系在正文中說明。在某些位串的長度是4的整數倍時，可使用十六進制符號表示。十六進制的前綴是“0x”，例如“0x1a”表示位串“00011010”。ue(v)/*花括號括起來的語句組是復合語句，在功能上視作單個語句。*/{…}/*“while”語句測試condition是否為TRUE，如果為TRUE，5則執行alternative語句。如果alternative語句不需要執行，結相關的alternative語句可忽略if(condition)for(initialstatement;co根據A矩陣的數值選取當前結構點最優的編碼模式，對于待編碼的結構點j，如果其6MedianEncode()5.7.3描述符ue(v)5.7.4保留、禁止和標記位本部分定義的位流語法中，某些語法元素的值被標注為“保留”（reserved）或“禁止”“禁止”定義了一些特定語法元素值，這些值不應出現在符合本部分的位流中。“標記位”（marker_bit）指該位的值應為‘1’。處理應忽略這些位。“保留位”不應出現從任意字節對齊位置開始的217StructureSequenceExteversion_IDue(v)ue(4)ue(v)ue(v)ue(v)ue(v)encode_order[]=InitEncodeOrder(spatial_reference_order[])for(frame_num=0;frame_num<total_frame_num;frame_num+=frif(frame_num%intra_frame_ratio==0{/*關鍵幀，用空間自for(pos_info_buffer=0;pos_info_buffer<total_pos_in_fram}}for(pos_info_buffer=0;pos_info_buffer<total_pos_in_frfor(point;point<key_point_num;ppoint_to_be_encode=encode_order[poencode_mode=BestModeChoose(MVEncode()MVREncode()8}}}}}}結構點編碼順序數組解析函數如下表所示。此表通過輸入的結構點空間依賴關系數組encode_order[]。其關系見7.1.3，解析過程if(spatial_reference_order[point_parent]==-1point_parent++;point_child++;if(spatial_reference_order[point_child]==}break;encode_order[j++]=spatial_reference_order[p}}對于非中心結構點，編碼其相對于其父結構點的位置殘差值for(point=0;point<key_point_num;point_to_be_encode=encode_order[point]9if(point_to_be_encode==encode_ores=point_to_be_encode-parent_str}}}運動矢量MV_central；對于非中心結構點，先借助MV_cenif(point_to_be_encode==encode_opred_MV=point_to_be_encode_ref+MV_centralres=point_to_be_encod}}運動矢量MV_central；對于非中心結構點，先后借助MV_centralif(point_to_be_encode==encode_opred_MV=point_to_be_encode_ref+MV_centralpred_MVR=pred_MV+resres=point_to_be_encode–}}1基于線性預測的幀間差分模式編碼定義見表13。結構點的預測值由其在前序參考幀和MV_ref=point_to_be_encode_ref-point_to_be_encode_ref_refpred_li=point_to_be_encode_ref+MV_refres=point_to_be_enco}res=point_to_be_enco}WriteBoneExist(){if(all_point_exist_f}無符號整數。表示編碼結構點序列時所啟用的編碼模式，編碼時會從啟用的選擇。具體取值見表16。如果要采用多種模式混合的方式編碼，則將每個模式對應的值相model_ID的值空間依賴關系數組spatial_reference結構體pos_info_buffer1當前結構點前序運動矢量MV_ref待編碼的結構點point_to_be_e參考點point_to_be_encode_ref前序參考點point_to_be_encode_ref_ref位置預測值（從相對運動矢量）pred_M待編碼結構點在基于線性預測的幀間差分模式下待編碼結構點在基于中值預測的幀間差分模式下結構點存在標志all_point_ex本部分適用于結構點序列的編碼。結構點是指在視覺任務中對目標事物具有特征標識檢測框的四個角點即可被視為結構點；在人群流量統計中，人物的2D檢測框角點和骨骼點b)當前幀中結構體的個數total_pos_inc)結構點個數key_point_numf)結構體的缺失標志數組point_exist_info[為了能夠讓代碼成功解析輸入的結構點序列并進行編碼，規定結構點序列的輸入格式1視首個結構體首個結構體最后一最后一個結最后一個結構頻結構體的結構點坐……個結構構體的缺失體的結構點坐標標00……910……920……N92……當結構體在視頻序列中消失后重新出現時，也應當保持結構點空間依賴關系數組spatial_refe在樹中的父子結點關系以相同方式確定。此時將此結構體的結構點序列視作一棵樹。c)向結構點空間依賴關系數組中添加-1作為標識符。d)將中心結構點視作父結點。e)向結構點空間依賴關系數組中按樹的層次遍歷順序添加父結點的全部子結點序號。g)循環第5-6步，直到父節點為樹的第一個最深層見圖3a)，最終得到結構點的空間依賴關系數組為spatial_reference_order[]=[1,-1,0,2,8,11,5,-1,-1,3,-1,9,-1,12,-a)人體骨架結構點結構體b)以樹表示的人體骨架結構體1直接的情形，空間依賴關系數組可以按照結構點序號順序生成為spatial_reference_order[]=[0,-1,1,-1,2,-1,3,-1,4,-1,5,-1,6,-1,7,-1,8,-1,9,-1,10,-1,11,-1,12,-1,13對于不同結構點，會根據A矩陣判斷具體采用的幀間編碼模式。幀間編碼模式：基于運動矢量的幀基于運動矢量的幀間差分模式是指首先用有符號哥倫布編碼方法編碼該結構體的中心將MV_central(t)應用到目標結構點以得到預測值，再用熵編碼方法編碼目標結構點的預測所述的MV_central(t)計算見式（1此處以2D結(MV_centralx(t),MV_centraly(t))=EQ\*jc3\*hps15\o\al(\s\up4(c),ID)EQ\*jc3\*hps15\o\al(\s\up4(c),ID)EQ\*jc3\*hps15\o\al(\s\up4(c),ID)EQ\*jc3\*hps15\o\al(\s\up4(c),ID)EQ\*jc3\*hps15\o\al(\s\up4(c),I)EQ\*jc3\*hps15\o\al(\s\up4(c),I)xEQ\*jc3\*hps15\o\al(\s\up4(c),I)D(t1)——第t-1幀該結構體中心結構點的橫坐標值；EQ\*jc3\*hps15\o\al(\s\up4(c),I)以第j個結構點為例，首先利用第t-1幀該結構點的坐標位置和MV_central(t)計算出其(predMVxEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),predMVyEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t))={(XEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t1)+MV_centralx(t),YEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t1)+MV_centraly(t))|j∈Sc}.（2）(resXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),resYEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t))={(XEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t)pred_MVXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),YEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t)pred_MVYEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t))|j∈Sc}.（3）幀間編碼模式：基于運動矢量的相對幀間基于運動矢量的相對幀間差分方法建立在基于運動矢量的幀間差分方法的基礎上，充(predMVRXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),predMVRYEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t))={(pred_MVXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t)+res_parentXEQ\*jc3\*hps15\o\al(\s\up5(P),ID)(j)(t),pred_MVYEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t)+res_parentYEQ\*jc3\*hps15\o\al(\s\up5(P),ID)(j)(t))|j∈Sc},p(j)——取j的父結構點。(resXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),resYEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t))={(XEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t)pred_MVRXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),YEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t)pred_MVRYEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t))|j∈Sc}.（5）幀間編碼模式：基于線性預測的幀(MVrefxEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),MVrefyEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t))=EQ\*jc3\*hps15\o\al(\s\up5(j),I)EQ\*jc3\*hps15\o\al(\s\up5(j),I)EQ\*jc3\*hps15\o\al(\s\up5(j),ID)EQ\*jc3\*hps15\o\al(\s\up5(j),ID)(predlixEQ\*jc3\*hps16\o\al(\s\up5(j),I)D(t),predliyEQ\*jc3\*hps16\o\al(\s\up5(j),I)D(t))={(XEQ\*jc3\*hps16\o\al(\s\up5(j),I)D(t1)+MV_refXEQ\*jc3\*hps16\o\al(\s\up5(j),I)D(t),YEQ\*jc3\*hps16\o\al(\s\up5(j),ID)(t1)+MV_refYEQ\*jc3\*hps16\o\al(\s\up5(j),ID)(t))|j∈S}.（7）(resXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),resYEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t))={(XEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t)—pred_liXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),YEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t)—pred_liYEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t))|j∈S}.（8）幀間編碼模式：基于中值前幀該結構體中每個結構點的坐標預測值，在每個維度上，取三者再用熵編碼方法編碼各結構點的預測值和真實值的殘差。見predmeXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t)=Mid{predMVXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),predMVRXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),predliXEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t)|j∈S}.（9）predmeYEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t)=Mid{predMVYEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),predMVRYEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),predliYEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t)|j∈S}.（10）(resxEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),resyEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t))={(xEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t)—pred_mexEQ\*jc3\*hps15\o\al(\s\up5(j),I)D(t),yEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t)—pred_meyEQ\*jc3\*hps15\o\al(\s\up5(j),ID)(t)基于多模式的編碼方法的總體思想是以結構體的各個結構點為編碼單位（即同一結構矩陣元素aID(t)[i][j]代表對于第t+1幀中編號為ID的結構體的j結構點使用第i個幀間編碼模式的預估壓縮效果。首先使用第i種間編碼模式計算得到當前幀中結構點j的壓縮占用比特，賦給aID(t)[i][j]：1.如果j結構點是中心結構點：aID(t)[i][j]由aID(t)[i][j],aID(t—1)[i][j],…,aID(t—t0)[i][j]加權計算得到。其中t0最大取4。如果由于先前某一幀tk該結構體不存在導致aID(ttk)[i][j]不存在，則t0=tk-1。{aID(t)[i][p(j)],aID(t)[i][j],aID(t—1)[i][j],aID(t—2)[i][j],aID(t—3)[i][j],aID(t4)[i][j]}對應的原始權重為M={0.2667,0.2667,0.1778,0.1333,0.0889,0.0667}。當某種舉例如下：如j結構點不是中心結構點，且僅在參考幀中出現了該結構體，在前序參考aID(t)[i][j]=aID(t)[i][p(j)]+aID(t)[i][j]+aID(t—1)[i][j],（12）鍵幀中的結構點均采用空間自差分模式編碼保證獨立可解，對于非關鍵幀中的結構點則采2第第t幀開始N,ID=0,j=0ID=N,ID=0,j=0ID=ID+1,j=0ID=ID+1,j=0Y結構體新出現？編碼新結構體Y結構體新出現？編碼新結構體標志N結構體相比上一幀未移動？結構體相比上一幀未移動？Y初始化結構體的A矩陣為零矩陣。結構體號：IDj=j+1Nj=j+1根據根據A矩陣選擇模態結構體號：ID結構點號：j編碼跳過編碼跳過結構體標志使用幀內自差分編碼結構體號：ID結構點號：j使用選定模態編碼使用選定模態編碼結構體號：ID結構點號：jN當前結構體所有N當前結構體所有結構點編碼結束？更新A更新A矩陣直接拷貝A矩陣更新A更新A矩陣結構體號：ID結構點號：jNYYN當前結構體所有N當前結構體所有結構點編碼結束？YN第YN第t幀所有結構體編碼結束？N第tN第t幀所有結構體編碼結束？Y第第t幀結束數控制編碼器跳幀的