1、華東理工大學分析測試中心.主講人:杜一平.分析化學數據v 實驗數據 化學分析：單點數據 儀器分析：多維數據v 數據維數增加v 0維-標量；1維-向量；2維-矩陣；3維-張量；v 樣本數量增大v 數據量越來越大趨勢，數據庫，海量數據，大數據(big data)v 大數據量顯然信息量大，但挖掘有用信息難度也大；數據處理方法研究越來越重要：化學計量學v 方法應用不止局限于分析化學學科：相關學科.不同產地南豐蜜桔HPLC指紋圖譜v 收集江西（18個）、福建（18個）、湖南（18個）和廣西（10個）南豐蜜桔樣品，經有機溶劑提取后進行HPLC分析v X:46463201000200030004000500

2、060007000010002000300040005000600070008000Retention Time.對64個HPLC色譜圖進行主成分分析：X = U S VT 特征值：前3個主成分特征值的所占比例，58.0%、11.2%、8.4%，剩余21.4% Scores散點圖：樣本點分類-0.4-0.20-0.4-0.3-0.2-0.100.10.20.3-0.4-0.3-0.2-0.100.10.20.3PC 1 (58.0%)PC 2 (11.2%)PC 3 (8.4%)-0.25-0.2-0.15-0.1-0.05-0.4-0.3-0.2-0.100.10.20.3-0.4-0.3-

3、0.2-0.100.10.20.3 PC2PC1 PC3江 西 省福 建 省湖 南 省廣 西 省.光譜數據和定量校正曲線 0.32 0.36 0.40 0.44 0.48 0.52 0.56 0.60 0.64 0.68Absorbance 5000 6000 7000 8000 9000 10000 Wavenumbers (cm-1)Region for WaterCombination Band02460246Reference Value (%)NIR Value (%)Corr. Coeff. = 0.9999RMSEC = 0.070.光譜成像數據圖圖 三維成像光譜數據示意圖三維成

4、像光譜數據示意圖.v 蛋白質各級結構v (a) Primary structure (b) Secondary structurev v Alu-Glu-Val-Thr-Asp-Pro-Gly-v v -Helixv -Sheetv (c) Tertiary structure (d) Quaternary structurev v 圖圖 肽鏈在空間卷曲特定的三維空間結構肽鏈在空間卷曲特定的三維空間結構.數據的表達-數字化v 0維-標量：x=2；1維-向量:x=1 3 5 7；v 2維-矩陣:X=；v 3維-張量:Z=X1 X2 X3 05001000150020002500300035004

5、000-2000200400600800100012001400Xxxxmnm2m12n22211n1211m21xxxxxxxxx.1971年，瑞典化學家Swante. Wold（Umea university）在申請一項基金時，提出了化學計量學（Chemometrics）這個名詞。Chem-istry metrics ChemometricsEcono-mics metrics Econometrics化學計量學簡介.Bruce R. KowalskiUniversity of Washington他們被公認為是化學計量學的他們被公認為是化學計量學的創始人創始人。 美國美國Bruce. R

6、. Kowalski 非常贊賞這一叫非常贊賞這一叫法。后來在法。后來在1974年與年與Swante. Wold合作合作成立了成立了國際化學計量學學會國際化學計量學學會。化學計量學簡介. 一門運用數學、統計學、計算機科學以及其他相關學科的理論與方法，優化化學量測過程，并從化學量測數據中最大限度地獲取有用的化學信息的學科。 化學中的一門分支學科（分析化學） 多學科交叉的新學科化學計量學定義解決問題策略：分析化學利用計算機為手段，利用數學和統計學方法實現數據的解析。.v 早期的化學計量學，數理統計方法。v 從七十年代開始，統計學、數學、行為科學、經濟計量學等領域研究，分析化學學科的一個獨特分支-化學

7、計量學。v 二十世紀七十年代以后，分析儀器、聯用分析儀器的發展，數據容量迅速增加。大量的數據的有用信息，需要發掘方法。v 九十年代以后逐漸走向成熟，應用日廣。計算機、分析儀器、其他學科發展；需求-生命科學、材料科學、能源等。化學計量學發展.化學計量學的典型應用v 傳統定性定量分析：多元分辨、多元校正v 儀器量測信號處理：數據處理方法、最優化方法v 模式識別：污染源識別、疾病診斷、中藥識別、；v 試驗設計：v 分子設計和藥物設計：新藥發現及結構性能關系(QSAR)研究；v 過程分析：工業過程監測和控制。.v化學計量學基本特點化學計量學基本特點 多維數據：向量，矩陣，張量。 多變量 數據來自各種測

8、量：典型的為儀器分析數據。 信息提取方法：利用各種手段 持續發展的科學充分利用量測信息充分利用量測信息.采樣采樣測定測定數據處理數據處理采樣理論采樣理論實驗設計實驗設計化學最優化化學最優化信號處理信號處理多元校正多元校正多元分辨多元分辨化學模式識別化學模式識別化學構效關系化學構效關系計算機模擬計算機模擬化學計量學研究內容.平滑求導擬合主成分分析化學計量學方法：常用數化學計量學方法：常用數據處理方法據處理方法.平滑就是一種去除或減少噪聲以提高信噪比的數學方法。 平滑.wiw- ij=jnewxk1x窗口移動平均法 .x = a0 + a1j + a2 j2 +.+ ap jp jj=i-2j=i

9、-1j=ij=i+1j=i+2xx i-2x i-1xix i+1x i+2Savitzky-Golay平滑法-多項式擬合 .2210222101221002210122102(2)a(2)aax(1)a(1)aax(0)a(0)aax1)(a1)(aax2)(a2)(aax21012xxxxxx124111100111124210aaa124111100111124=ax = Ya .=(YtY)-1Ytx a)3x9x3x5x(3x351x)9x13x12x6x5x(351x)3x12x17x12x3x(351x)5x6x12x13x(9x351x)3x5x3x9x(31x351x2101

10、222101212101202101212101220 x21012x353x3512x3517x3512x353= x = a0 + a1j + a2 j2 +.+ ap jp .窗口寬度2523211917151311975-12-253 -11-138-42 -10-33-21-171 -962-2-76-136 -8147159-51-21 -7222308424-6-78 -628743149897-13-11 -53435420414418420-36 -438763249189278799-21 -34227028422434122164414-2 -24477530924939

11、1472169393-3-146278324264421622484546120467793292694316725895971714627832426442162248454612244775309249391472169393-334227028422434122164414-2 438763249189278799-21 53435420414418420-36 628743149897-13-11 7222308424-6-78 8147159-51-21 962-2-76-136 10-33-21-171 11-138-42 12-253 歸一化常數51758053059226132

12、311051434292312135Savitzky-Golay平滑權重系數表 （多項式階次為2或3）.v 提高信號的分辨率，減少干擾。v 紫外-可見光譜分析中用到的導數分光光度分析;v 近紅外光譜分析中，常用2階或1階導數光譜進行定性定量分析;v 電化學分析中，有時利用對溶出伏安曲線求導來去除或減少其它組分的干擾，提高被測組分的信噪比。v 有很多種類的分析儀器已經把求導作為一種固定的方法，加入到儀器的數據處理軟件中 。求導 .1.差分法 i1ii1ixxyy2. Savitzky-Golay擬合法 x = a0 + a1j + a2 j2 +.+ ap jp一階導數：dx/dj= a1 +

13、2a2 j+.+ pap jp-1當j=0時，dx/dj|j=0= a1二階導數：d2x/dj2= 2a2+6a3j+.+(p-1) pap jp-2當j=0時，d2x/dj2|j=0= 2a2當j=0時（即對應窗口的中心點），各階導數計算的通式dqx/djq|j=0= q! ap.窗口寬度k=9，p=4，3階導數表達式， d3x/dj3|j=0=1/198( -14x -4+ 7x -3+ 13x -2+ 9x -1-9 x1-13x2-7x3+ 14x4) .擬合v 實驗數據 理論解釋 研究變量之間關系：y=f(x).多個變量v y=f(x1,x2,)05101520-0.500.5105

14、101520-1-0.500.51051015201234505101520510152025.函數擬合基本思想v =f(a,x)v Ei= - yi = f(a,xi) -yiv 差方和E2最小。y y v 線性函數擬合 y=a+bx1+cx2y=f(a,x)+e.擬合計算工具v Excelv Matlab:b=fit(X,y,fittype)v 功能強大點中曲線，右鍵選擇添加趨勢圖.主成分分析v 主成分分析，Principal Component Analysis, PCAv 最基本的化學計量學方法之一v 是很多復雜化學計量學方法的基礎v 應用廣泛.主成分分析序號化合物保留指數Wiener

15、MTI0p1p2p3p3c4p12,2,3,3,4-五甲基戊烷953.41083908.57744.19345.12643.37642.3660.86622,2,3,3-四甲基丁烷728.695821473.254.52.252.5032,2,3,3-四甲基己烷928.81154168.41424.31074.88392.90532.2071142,2,3,3-四甲基戊烷855.13822987.70713.81074.48742.91422.20710.530352,2,3,4,4-五甲基戊烷921.71114028.57744.15475.45372.59812.87641.29962,2

16、,3,4-四甲基戊烷822.07863127.65473.85414.39872.3661.866172,2,3,5-四甲基己烷873.31234468.36184.33724.89662.30341.97841.060782,2,3-三甲基-3-乙基戊烷965.71103968.41424.37134.51783.37131.97861.310792,2,3-三甲基丁烷641.46421566.07742.94343.52071.73211.65470102,2,3-三甲基庚烷914.41304728.19874.48144.40932.46911.57010.9433112,2,3-三甲基

17、己烷823.18923347.49163.98144.05572.20011.57010.866122,2,3-三甲基戊烷738.98632306.78453.48143.67532.09081.57010.6124132,2,4,4-四甲基己烷888.61194328.41424.26785.25521.9662.76781.5607142,2,4,4-四甲基戊烷774.77883227.70713.70715.29811.06073.12131.591yX1314-異丙基庚烷9251314727.98314.71873.58142.26170.51.55261325-甲基壬烷957.414

18、95427.824.80813.38962.1010.28871.24951335-甲基十二烷1252.433612369.94136.30814.45032.8510.28871.79331346-甲基十二烷1249.933412289.94136.30814.45032.8510.28871.8067.v 四個產地南豐蜜桔樣品HPLC分析v X:46463201000200030004000500060007000010002000300040005000600070008000Retention Time.對64個HPLC色譜圖進行主成分分析：X = U S VT 特征值：前3個主成分特

19、征值的所占比例，58.0%、11.2%、8.4%，剩余21.4% Scores散點圖：樣本點分類-0.4-0.20-0.4-0.3-0.2-0.100.10.20.3-0.4-0.3-0.2-0.100.10.20.3PC 1 (58.0%)PC 2 (11.2%)PC 3 (8.4%)-0.25-0.2-0.15-0.1-0.05-0.4-0.3-0.2-0.100.10.20.3-0.4-0.3-0.2-0.100.10.20.3 PC2PC1 PC3江 西 省福 建 省湖 南 省廣 西 省.v 一種重要降維方法一種重要降維方法v 基本思想基本思想：對量測矩陣Y Y中的各個變量進行線性組合

20、，形成新的變量，稱為主成分。主成分計算原則計算原則是得到主成分表達的方差最大，化學意義就是所含信息最多。v 計算方法計算方法：按方差最大，計算各個變量的線性組合，得到第一主成分；對剩余的矩陣，即量測矩陣Y Y減去第一主成分表達部分，再按方差最大原則，計算各個剩余變量的線性組合，得到第二主成分；依次計算第三、第四、 主成分。v 新變量之間相互正交。v 方差代表表達的信息量，按順序減少，可用來評估主成分解釋的信息百分率。v Matlab方法 U,S,V= svds(X，n) 主成分分析 .v 多個主成分，多個投影方向多個主成分，多個投影方向 多維主成分分解多維主成分分解(n) x=x1 x2 .

21、xn 將將x投影到投影到vi1 vi2 vint上得到新變量上得到新變量yi， vi1 vi2 vint就是系數就是系數向量，即投影方向。向量，即投影方向。 所有所有n個新變量組成矩陣個新變量組成矩陣Y yi=vi1x1+vi2x2+vinxn ,(i=1,2,n)XVXYnnn2n12n22211n1211vvvvvvvvvXvyn21mnm2m12n22211n1211m21vvvxxxxxxxxxyyy01000200030004000500060007000010002000300040005000600070008000Retention Time.例v 高分子液晶材料在不同溫度下結

22、晶情況Structure and the phase transition temperatures of FLC-1. OCOOCOO*Crystal*CSASISOC60_mC67_mC102000 .v Infrared transmission spectra of 11-layer LB films of FLC-1 measured at room and elevated temperatures. 3000180016001400120029332920146615091604172028562853285514671510160517201468151016061717285

23、0146715101606171617401510146816061719174028501100C1020C600C400C390C270CAbsorbanceWavenumber / cm-1.v Temperature dependences of the frequencies of the CH2 symmetric stretching band (a), C=O stretching band of the part near the chiral carbon atom (b) and the phenyl ring stretching band (c) for the 11

24、-layer LB films of FLC-1. 406080100120150815091510171617181720285028532856WavenumberTemperature/Ccphenyl ring st. 19abC=O st. (chiral)aCH2 sys. st.v PC1 vs. temperature plot in both 40-80C (a) and 27-55C (c) temperature intervals and those in full measured temperature range (b) at range of 1450-1745

25、 cm1 for the 11-layer LB films of FLC-1. 406080100120PC1Temperature/Ccba.幾種化學計量學方法簡介v 多元校正v 多元分辨v 模式識別v 定量構效關系v 最優化方法.v校正校正- -定量分析定量分析v經典分析化學的校正方法經典分析化學的校正方法- -校正曲線校正曲線 y=cx+e v多變量校正多變量校正vy=y=y1 y2 . ym =cx1 x2 . xm +e y=y=c1x x1+c2x x2+.+cnx xn+e y=Xc+ey=Xc+e 多變量校正.多元線性回歸MLRv 多元線性回歸方法-最小二乘法：y=Xc+e

26、e = y- Xc殘差平方和S= ete = (y- Xc)t(y- Xc)=yty-yt(Xc)-(Xc)ty +(Xc)t(Xc)=yty - ytXc - ctXy +ctXtXc=yty - 2ytXc +ctXtXc = -2Xty +2XtXc=0則，XtXc =Xty =(XtX)-1Xty Matlab:c=inv(X*X)X*y ccSmnm2m12n22211n1211xxxxxxxxxX.v 多元線性回歸解具有優良的統計學性質 v 多元線性回歸解的性能指標 =(XtX)-1Xty ， =X相關系數：R2= =1 -殘差平方和RMSv 多元線性回歸應用建模與濃度計算y=Xc

27、+e cy c2i2i)y(y/)yy (2i2ii)y(y/)yy (.常見多元校正方法v 多元線性回歸，MLR， y=Xc+e y=Xc+e v 主成分回歸法,PCR 通過PCA計算主成分，取前面若干主成分Z=Xv進行MLR，y=Zc+e=Xvc+ey=Zc+e=Xvc+ev 偏最小二乘回歸,PLS 通過類似PCA方法計算主成分（稱為PLS因子），取前面若干因子Z=Xv進行MLR，y=Zc+e=Xvc+ey=Zc+e=Xvc+e 計算PLS因子時同時考慮X和y因素。v 支持向量機,SVMv 人工神經網絡,ANN.四種不同液體表面活性劑Type 1bType 1aType 2aType 2b

28、顯著的區別.羥值相關性酸值相關性NIR光譜PLS校正結果 (兩個組分校正).v 分辨就是解決干擾問題，即從混合組分復合量測信號中分辨、解析出被測組分“純”的分析信號。利用多個分析通道（如波長、保留時間等）的信息進行分辨就稱為多變量分辨，又稱多元分辨。多變量分辨 近些年來，化學計量學中的多變量分辨方法研究和應用非常活躍，尤其是在解析色譜重疊峰上取得了很大成功。.v多變量分辨算法很多 漸進因子分析法 (Evolving Factor Analysis) 窗口因子分析法 (Window Factor Analysis) 直觀推導式演進特征投影法 (Heuristic Evolving Latent

29、Projections) 正交投影分辨法(Orthogonal Projection resolution) 子窗口因子分析法(Subwindow Factor Analysis) .v 麥秸高溫高壓裂解氣相產物，GCMS分析v 經HELP解析確定了整個保留時間內共有組分45個 .v 模式識別(Pattern Recognition)就是研究對象的分類。20世紀60年代初開始迅速發展，首先在信息科學和人工智能領域使用，比如圖像識別、語音識別。v 模式識別交叉學科：統計學、計算機科學、人工智能和專家系統、控制論、應用學科(如生物學、心理學、語言學、化學等)等。v 化學模式識別就是利用已有的模式識

30、別技術和針對化學問題的特點而發展的模式識別技術，處理和分析化學數據，研究和解決化學問題，它是化學計量學的一個重要組成部分。v 化學模式識別方法已經用于分析化學、物理化學、無機化學、藥物化學、食品化學、農業化學、醫藥化學和環境化學等學科，取得了不少成果。 化學模式識別 . 有監督的模式識別： 距離判別分析法、Fisher判別分析法、Beayes判別分析法，逐步判別分析法、線性學習機、K鄰域判別法、勢函數判別法、人工神經網絡判別法等 無監督的模式識別：聚類分析 特征投影的降維顯示方法： 主成分分析的投影顯示法、SIMCA方法、基于偏最小二乘分解的特征投影法等 模式識別方法：.v定量結構活性關系(Q

31、uantitative Structure Activity Relationship, QSAR)，簡稱定量構效關系，就是研究化學結構與化學物質的生物活性之間的關系，研究如何從物質的化學成分與結構來定量預測其化學特性。v它是化學計量學的一個重要分支。 定量構效關系 .v 藥物設計：是現代化新藥開發工作非常重要的一個環節，從20世紀60年代以來，經過40多年的不斷探索和努力，現代藥物設計的策略和方法已經大為豐富。v 最基本的藥物設計方法就是從一組（例如幾十個）小分子化合物的結構和生物活性數據出發，利用定量構效關系方法，研究其結構-活性關系的規律，在此基礎上預測新化合物的生物活性（藥效）和進行高

32、活性分子的結構設計。v 分子設計：材料分子設計，熒光探針分子設計等。.v 定量構效關系研究：定量構效關系研究： 化學結構描述符化學結構描述符 ：化學結構數字化 定量構效關系建模定量構效關系建模 ：建立模型.現代最優化方法現代最優化方法 v 現代最優化方法 - 搜索全局最優解 模擬退火法遺傳算法人工神經網絡 蟻群算法 粒子群算法.遺傳算法（Genetic Algorithm,GA） v達爾文進化論思想，適者生存v模擬生物的自然進化過程進行最優解搜索。v自然進化的特征在20世紀60年代得到美國Michigan大學的John Holland極大興趣，他和他的學生們吸收了自然進化的思想，提出機器學習的

33、新算法，Holland將其取名為遺傳算法。v1975年，Holland出版了頗有影響的專著Adaptation in Natural and Artificial Systems, 之后，遺傳算法才逐漸被人們所知。 .遺傳算法基本思想遺傳算法基本思想v 生物遺傳基本單元 個體 染色體（基因） 種群 繁殖過程 進化規則：優勝劣汰 遺傳算法基本思想遺傳算法基本思想 個體編碼：染色體個體編碼：染色體 - 群體生成群體生成 迭代運算：迭代運算：3種進種進化化 適應性值評估適應性值評估.v 遺傳算法由六個基本的操作組成：v 1）編碼：根據要解決問題的特征，將問題的解在其解空間中表示成遺傳空間的基因型串結

34、構數據（染色體）。v 2）初始群體的生成：隨機產生N個初始串結構數據，每個串結構數據稱為一個個體，N個個體構成了一個群體。v 3）適應性值評估檢測：適應性函數表明個體或解的優劣性。v 4）選擇：目的是為了從當前群體中選出優良的個體，使它們有機會作為父代為下一代繁殖子孫。v 5）交叉：最主要的遺傳操作。通過交叉換操作可以得到新一代個體，新個體組合了其父輩個體的特性。交叉換體現了信息交換的思想。隨機產生交叉。v 6）變異：首先在群體中隨機選擇一個個體，對于選中的個體以一定的概率隨機地改變串結構數據中某個串的值。隨機性：保證不陷入局部最優隨機性：保證不陷入局部最優.遺傳算法實例v 151種血腦屏障穿

35、透化合物，利用遺傳算法從154種分子結構描述符中選擇有限數目的描述符，建立這些化合物結構與血腦屏障穿透能力之間的關系，本項工作的關鍵就是變量選擇（即描述符選擇）。 解題難點v變量優劣評價方法 151個樣本變量組與指標建模，考察模型好壞。v變量選擇方案 窮舉：變量組合數目及其龐大， ,其中， 繼續計算out of memory。無法計算。 單因素輪換：單變量最優-加入第二變量-最后，從中選擇最優結果，154+153+1=11935，貪婪算法，局部最優v遺傳算法思路 隨機安排初值 三種進化機制優化變量 進化過程隨機性避免落入局部最優15415421541154,.,CCC5969043154C.v

36、 1）二進制編碼：用154位的二進制串來表示變量，即表示154個結構描述符，如果串中某位為0表示對應的變量沒有被選擇，反之為1就是選擇了該變量。 .v 2）適應性函數FIT ：用選擇的變量代表化合物結構，用多元線性回歸方法MLR建立變量與血腦屏障穿透能力之間的構效關系模型，利用去一交互檢驗法LOO計算相關系數Q。v 式中的n是化合物數目，k為所選變量個數。 FIT越大越好。)Q)(1k(n1)k(nQFIT222q.v3)群體大小為500，進化次數，即迭代次數定為5000次。v4）遺傳算法計算- 隨機性 初始二進制編碼為隨機產生 使用輪賭方式進行選擇，交叉和變異發生的點位都隨機產生，交叉時，將雙親二進制串從隨機產生的交叉點向后的所有位進行交叉，變異時每次只是對隨機產生的點進行變異。交叉和變異對進化過程影響非常大，所以對它們加以限制，即并非每次都發生交叉和變異，而是用概率來進行控制，交叉概率為0.6，變異概率為0.2。.賭輪方式選擇（