人工智能漫談譚營北京大學計算智能實驗室（CIL@PKU）北京大學智能科學系漫談要點???????人工智能的起源人工智能的發展歷程計算智能的研究幾個人工智能發展中的重大成就當前人工智能的熱點對人工智能發展的幾點思考結語人工智能的起源?

思想萌芽可以追溯到十七世紀的巴斯卡和萊布尼茨，萌生了有智能的機器的想法。?

十九世紀，布爾和摩爾根提出了“思維定律”，這是人工智能的開端；英國科學

家巴貝奇設計了第一架“計算機器”，被認為是計算機硬件，也是AI硬件的前身。?

1943年M-P

Model提出，Heb學習率發現,

Perceptron的提出，神經網絡訓練,

…?

1956年Dartmouth會議，由J.McCarthy及一批多學科的科學家在Dartmouth大學召開的會議上，首次提出“Artificial

Intelligence”概念。?

今年是AI誕生60周年（1個甲子）！計算機能具有智能嗎？

?

阿蘭·圖靈認為機器可以模擬人腦思維過程；一個良好設計的計算

機能夠做到人腦所能做的一切。“計算機科學之父”、“人工智能之父”

——阿蘭·麥席森·圖靈The

Turing

Test圖靈獎什么是人工智能？

?

讓機器做需要人類智能才可以做的那些事情。

?

讓機器做人類需要它做的任何事情。?

認識、模擬和擴展人的（自然）智能，為人類社會服務。2016/4/12

Tuesday6人工智能的發展歷程：

人工智能的三個學派?

符號主義學派

–

始于20世紀50年代–––以知識為基礎，通過推理來進行問題求解功能模擬的方法代表人物：Simon,

Minsky和Newell.

McCarthy,

Nillsson.?

聯接主義學派––––始于1943年的M-P模型（McCulloch,

Pitts）1982年Hopfiled提出的用硬件模擬神經網絡,

BP算法結構-功能模擬的方法代表人物：

McCulloch,

Pitts,

Hopfield,

Rumelhart等。?

行為主義學派–––––進化主義或控制論學派始于20世紀60-70年代智能行為的“感知-動作”模式行為模擬的方法代表人物：

R.A.

Brooks螺旋式上升發展路線人工智能的研究內容方法層面：?

啟發式搜索?

推理方法?

知識表示?

AI語言(Lisp，Prolog,

…)?

模式識別?

機器學習?

生物激發方法（計算智能）……應用層面：?

自然語言理解、數據庫的智能檢索、專家系統、機器定理證明、博弈、機

器人學、自動程序設計、組合調度（智能優化）、感知、語音、視覺、生

物特征識別、虛擬現實、復雜系統、大數據，等。計算智能的研究-Computational

Intelligence?????人工神經網絡---例如：多層神經網絡（MLP）及其Back

Propagation

(BP)

Alg.模糊邏輯與推理進化計算---例如：Genetic

Alg.群體智能---例如：PSO,

Fireworks

Alg.等等計算智能（CI）涉及神經計算、模糊計算、進化計算和人工生命等領域，它的研究和發展正反映了當代科學技術多學科交叉與集成的重要發展趨勢，是人工智能的最新發展。傳統人工智能VS計算智能?

傳統人工智能

–符號人工智能

–始于20世紀50年代

–以符號形式的知識和信息為基礎，通

過邏輯推理，運用知識進行問題求

解

–知識獲取、知識表示、知識組織與

管理、知識運用、基于知識的智能

系統?

計算智能

–

計算人工智能

–

始于20世紀80年代

–

以數值數據為基礎，通過數值

計算，運用算法進行問題求解

–

人工神經網絡、進化計算、群體

智能、人工免疫系統、模糊系統生物神經網絡vs.人工神經網絡生物神經網絡結構多層前饋人工神經網絡模型∑

x,

x∈[?5,5]f

(x)

=

20

+

e

?

20exp?

0.2∑

1

=

i

x

2

?

exp

1∑cos(2πxi)

,

x

∈[?

32,32]n

n

i=111ni2f

(x)

=

ni=12）Rosenbrock

Function

2

i+1

i=1

3）Rastrigin

Function

D

2

i

i

i=1n1

nn4）Ackley

Function

復雜優化問題

Standard

benchmark

functions1）Sphere

Function12更復雜優化問題---智能優化搜索方法遺傳算法-Genetic

Algorithm生物進化是一個優化過程，目的是在不斷變化的競爭環境

中提高某生物(或系統)的生存能力。個體環境候選解待求解問題??達爾文適者生存，優勝劣汰

建

模自然群體FWA?

Ying

Tan,

FireworksAlgorithm,

Springer,

2015.10.?

Y.

Tan,

C.

Yu,

S.Q.

Zheng

and

K.

Ding,

"Introduction

to

Fireworks

Algorithms

,"

International

Journal

of

Swarm

Intelligence

Research

(IJSIR),

October-December

2013,

vol.

4,

No.

4,

pp.

39-71.?

譚營(著)，《煙花算法引論》,

科學出版社,

2015.04.機器學習（Machine

Learning）

通過經驗提高系統自身性能的過程

（系統自我改進）機器學習是人工智能的主要核心研究領域之一,

也是現代智能系統的關鍵環節和瓶頸。一個沒有學習功能的系統是不能被稱為智能系統。機器學習正逐漸從AI中獨立出來,成為一種新的問題求解工具。2016/4/12

Tuesday譚營---機器學習研究及最新進展18機器學習的任務

?

令W是這個給定世界的有限或無限所有對象的集合，由于觀察能力的限制，我

們只能獲得這個世界的一個有限的子集Q?W，稱為樣本集。

?

機器學習就是根據這個有限樣本集Q

，推算這個世界的模型，使得其對這個世

界為真。WQWModel建模泛化訓練與泛化淺層學習（Shallow

Learning）?

淺層學習是機器學習的第一次浪潮?

上世紀80年代，計算智能研究中的人工神經網絡熱潮，給機器學習帶來了希望，掀起了基于統計模型的機器學習熱潮。?

多層感知機（Multi-layer

Perceptron），支撐向量機（SVM）、

Boosting、最

大熵方法（如Logistic

Regression）等。?

人工神經網絡的反向傳播算法（BP算法）深度學習

-

Deep

Learning?

2006年，Prof.

Geoffrey

Hinton等在《科學》上發

表的文章開啟了深度學習的新浪潮。他們的兩個主要觀點：?

1）多隱層的人工神經網絡具有優異的特征學習能

力，學習得到的特征對數據有更本質的刻畫，從

而有利于可視化或分類；?

2）深度神經網絡的訓練問題，可以通過“逐層預

訓練”（layer-wise

pre-training）來有效解決。

深度學習是機器學習的第二次浪潮?

Deep

learning

algorithms

attempt

to

learn

multiple

levels

of

representation

of

increasing

complexity/abstraction.Deep

Architectures?

Deep

multi-layer

neural

networks

are

the

basic

architectures

of

deeplearning.When

a

function

can

be

approximated

by

adeep

architecture

with

few

computationalelements,

it

might

need

a

very

largearchitecture

to

be

approximated

by

aninsufficiently

deep

one.Breakthrough?

Greedy

layerwise

unsupervised

pre-training.–

Hinton

et

al.,

2006;

Bengio

et

al.,

2007;

Ranzato

et

al.,

2007.?

Use

the

weights

got

by

pre-training

to

initialize

the

weight

of

supervisedtraining.?

Then

run

the

general

supervised

training

process

such

as

BP

algorithm.Experimental

ComparisonWithout

pre-training,

training

converges

to

a

poorer

apparent

local

minimum.Unsupervised

pre-training

helps

to

?nd

a

better

minimum

of

the

online

error.Experiments

were

performed

by

Dumitru

Erhan.Race

on

ImageNet

(Top

5

Hit

Rate)Answer

from

Geoff

Hinton:

85%,

2012在科技界，微軟、谷歌、Facebook、百度等巨頭對于研發的狂熱追逐舉世皆知，ImageNet

大規模視覺挑戰也是其角力的重要戰場人臉識別程序?

CUHK的湯曉鷗教授領導的計算機視覺研究組

(.hk)

開發了

一個名為DeepID的深度學習(DL)模型，

在LFW

(Labeled

Faces

in

the

Wild)數

據庫上獲得了99.15%的識別率，這也是有史以來首次超過99%的LFW識別率，比肉眼識別更加精準。?

此前,

Facebook發布了另一套基于深度學習的人臉識別算法DeepFace，在LFW上取得了97.35%的識別率。

免疫濃度特征?

生物免疫系統中的抗體濃度垃圾郵件與正常郵件的濃度特征分布?

郵件樣本的抗體濃度特征

–

“自己”“異己”濃度

免疫應答過程中抗體濃度的變化?

抗體濃度特征的表征能力

濃度特征在分類器BPNN、LD、SVM上與其他方法的對比Single-CDCS-LALWFGWFDTE-DLAccuracy?

基于危險理論的集成檢測模型

–

危險區域定義匹配信號與危險信號的協同

免疫檢測模型?

P.

Matzinger的免疫危險模型集成檢測中的匹配信號集成檢測中的危險信號PU2PU3PUATREC0.89

PU1

免疫危險模型?

集成檢測模型的性能表現

0.98

0.97

0.96

0.95

0.94

0.93

0.92

0.91

0.9集成檢測模型與其他集成方法的對比圍棋人機大戰：AlphaGo

v.s.

Lee

Sedol（李世石）Results:

4:1人工智能下棋程序AlphaGo獲得大勝！引起了世界范圍的廣泛關注與熱議，以及對人工智能飛速發展的鼓舞，和些許恐懼與擔憂！AlphaGoCombining?

Monte

Carlo

Search

Tree

(MCST)

+

Supervised

Learning

(SL)

+

Reinforcement

Learning

(RL)

+

Deep

Neural

Networks

(DNN).Clever

Idea:?

(Good

starting

point):

Use

SL

Policy

Network

to

learn

from

human

expertgood

experience?

(Rapidly

boosting

up):

Use

RL

Policy

Network

to

improve

by

playing

withitself?

(Efficient

strategy):

Use

RL

Value

Networks

to

compute

the

outcome

ofevery

moveAlphaGO’s

Framework31Monte

Carlo

tree

search

(MCTS)Supervised

learning

of

policy

networks

in

AlphaGO?

Definition:?

s:

state

(3^(19*19))?

a:

action

(19*19)?

SL

policy

network:–

predict

p(a|s)?

RL

policy

network–

sampling

each

move

from

its

outputprobability

distribution

over

actions.?

RL

policy

network

vs

SL

policy

network?

won

80%

of

games32

Evaluating

the

playing

strength

of

AlphaGo?

AlphaGo

vs

other

Go

programs

–

won

494

out

of

495

games

(99.8%)?

The

distributed

AlphaGo

vs

AlphaGo

–

won

77%

of

games?

The

distributed

AlphaGo

vs

othe