1、10-輸入入和輸出出設(shè)備備：交互互的演進你好，我是七牛云許式偉。前面我們已經(jīng)介紹了操作系統(tǒng)的輸出設(shè)備的。管理：內(nèi)存和外存。今天，讓我們來聊聊操作系統(tǒng)是如何管理輸入和輸入和輸出設(shè)備有非常非常多。例如輸入設(shè)備除了你常見的鍵盤、鼠標(biāo)、觸摸屏外，還有些信息的傳感器，如GPS位置、脈搏、心電圖、溫度、濕度等。我們會把關(guān)注點收斂在人機交互相關(guān)的設(shè)備管理上。交互的演進在計算機外部設(shè)備的演進上，人機交互設(shè)備的演進毫無疑問是最為劇烈的部分。計算機剛出現(xiàn)的時候，人們使用“打孔卡+打印機”作為人機交互方式。這個時期還沒有操作系統(tǒng)，表達(dá)意圖非常痛苦，只能在打孔卡上打孔來指令。但很快，人們找到了 “鍵盤+顯示器”， 這

2、對最為經(jīng)典的人機交互設(shè)備。而隨著計算機使用人群越來越多，以及使用場景的變化，人機交互的方式也相應(yīng)地發(fā)生了次又次的改變。總結(jié)這些改變，我們會發(fā)現(xiàn)，人機交互在往越來越自然的方向發(fā)展。所謂自然，就是越來越接近于兩個人直接的面對面。那么，這些人機交互的改變，對于操作系統(tǒng)來說又意味著什么呢？輸入設(shè)備我們先看輸入設(shè)備：鍵盤、鼠標(biāo)、麥克風(fēng)、攝像頭。鍵盤鍵盤輸入的管理機制和窗口系統(tǒng)的設(shè)計密切相關(guān)。為了讓用戶清楚鍵盤輸入的目的地，窗口系統(tǒng)往往會有個焦點窗口。在窗口系統(tǒng)里面，窗口間還有父子關(guān)系，焦點窗口還會有父窗口，還有父窗口的父窗口，這些窗口屬于活動窗口。大部分情況下，鍵盤輸入的會先發(fā)給焦點窗口，焦點窗口不處理

3、則發(fā)給其父窗口，按此傳遞，直到he有ipa人 首發(fā)網(wǎng)處理了該按鍵，或者直到頂層窗口。鍵盤從功能上來說，有兩個不不同的能力力：其是輸輸入入文本，其其二是觸發(fā)命命令。從輸入文本的角度來說，要有個輸入光標(biāo)（在Windows里面叫Caret）來指示輸入的目的窗口。目的窗口也必然是焦點窗口，否則就會顯得很不自然。這個交互的呈現(xiàn)方式非常穩(wěn)定，從 DOS到Windows/Mac，到iOS/Android 都是如此。但是從觸發(fā)命令的角度來說，命令的響應(yīng)并不定是在焦點窗口，甚至不定在活躍窗口。比如Windows下就有熱鍵（HotKey）的概念，能夠讓非活躍窗口（Inactive Window）也獲得響應(yīng)鍵盤命令

4、的機會。個常見的例子是截屏軟件，往往需要個熱鍵來觸發(fā)截屏。到了移動，鍵盤不再是交互主體，但是，鍵盤作為輸入文本的能力很難被替代（雖然有語音輸入法），于是它便自然而然地保留下來。不過移動設(shè)備不太會有人會基于鍵盤來觸發(fā)命令，只有常見的熱鍵需求比如截屏、調(diào)大或調(diào)小音量、拍照等等，被設(shè)計為系統(tǒng)功能（對應(yīng)的，這些功能的熱鍵也被設(shè)計為系統(tǒng)按鍵）保留下來。鼠標(biāo)鼠標(biāo)輸入的管理機制和鍵盤樣，和窗口系統(tǒng)的設(shè)計密切相關(guān)。但鼠標(biāo)因為有位置，確定鼠標(biāo)的目的地相比鍵盤要簡單的多，大部分情況下，鼠標(biāo)總是交給鼠標(biāo)位置所屬的窗口來處理，但也會有些例外的場景，比如拖放。為了支持拖放，Windows操作系統(tǒng)引入了鼠標(biāo)捕獲（Mous

5、e Capture）的概念，旦鼠標(biāo)被某個窗口捕獲，哪怕鼠標(biāo)已經(jīng)移出該窗口，鼠標(biāo)仍然會繼續(xù)發(fā)往該窗口。到了移動，鼠標(biāo)已經(jīng)完全消失（雖然在智能之前還是出現(xiàn)過WinCE這樣的支持鼠標(biāo)的移動操作系統(tǒng)），取而代之的是觸摸屏。窗口系統(tǒng)也和PC時期完全不同，在屏幕可見范圍內(nèi)只有單個應(yīng)用程序占滿整個屏幕，這讓交互的目的地確認(rèn)不再是個問題。麥克風(fēng)麥克風(fēng)是個非常有潛力的下的場景。包括今天大行其道的代輸入設(shè)備。今天 IoT 領(lǐng)域如汽車、智能音箱都是很好的發(fā)展語音交互能力，語音交互也是個很好的補充。交互方式不管怎么變化，其需要實現(xiàn)的都是這樣的兩大能力：輸入文本和觸發(fā)命令，這點是不變的。語音交互今天仍然還很不成熟，究其

6、這件事情，也還有重重關(guān)卡需要去，語音交互在 IoT 領(lǐng)域還停留在觸發(fā)命令為主，且哪怕是觸發(fā)命令。在軟件中，語音輸入文本在部分軟件中已經(jīng)有較多應(yīng)用，但是主要優(yōu)勢還在日常用語和長文本，在個性化場景如“輸入人名之類”，較難達(dá)到好的結(jié)果。從更本源的角度看，語音交互今天仍然在相對封閉的應(yīng)用技術(shù)場景里面發(fā)展為主，而作為操作系統(tǒng)的主體交互，其能力必須是開放的。因為操作系統(tǒng)是開放的，場景是開放的。 首發(fā)網(wǎng)攝像像頭攝像頭作為交互設(shè)備，除了引入語音，也引入了手勢、表情。從表達(dá)能力來說，這是最為豐富也是最為自然的種表達(dá)方法。但是技術(shù)所限，這種交互方式還只在萌芽階段。微軟的 Kinect 是個非常經(jīng)典的案例，它能夠讓

7、玩家通過語音和手勢發(fā)指令來玩。輸出設(shè)備輸出設(shè)備主要負(fù)責(zé)向用戶反饋信息。比如：顯示器（顯卡）、音箱（聲卡）、打印機。輸出設(shè)備的演化并不大，最主要的輸出設(shè)備還是以顯示器為主。顯示器顯示器雖然經(jīng)歷了 CRT 到液晶屏多代更新，但也只是支持的色彩（從黑白到彩色到真彩色），分辨率越來越高。實際上，從操作系統(tǒng)的軟件治理角度來看，顯示器并沒有發(fā)生過實質(zhì)性的變化。為了讓不同軟件可以在同顯示器屏幕上呈現(xiàn)，操作系統(tǒng)引入了窗口系統(tǒng)的概念。每個軟件有個或多個窗口（Window，有時候也叫視圖，即View）。在 PC 操作系統(tǒng)中，不同窗口還可以層疊（Cascade）或平鋪（Tile）。通過引入窗口，操作系統(tǒng)在邏輯上把顯

8、示器屏幕這個有限的設(shè)備，分配給了多個軟件。和 PC 不同的是，移動設(shè)備由于屏幕過小，所以操作系統(tǒng)選擇了讓軟件的頂層窗口全屏占據(jù)整個屏幕。這讓顯示器屏幕的管理變得更為簡單。除了窗口系統(tǒng)，顯示設(shè)備管理的另大是繪制子系統(tǒng)。窗口里面的內(nèi)容是什么，呈現(xiàn)成什么樣子，完全是軟件來決定的，這就意味著軟件需要繪制能力。繪制能力牽涉面非常之廣，在操作系統(tǒng)里面，往往有個簡單羅列下GDI子系統(tǒng)會涉及哪些東西。的子系統(tǒng)（通常叫GDI）與之對應(yīng)。這里我們2D圖形相關(guān)。包含 Path(路徑)、Brush(畫刷)、Pen(畫筆) 等概念。3D圖形相關(guān)。包含 M(模型)、Material(材質(zhì))、Lighting(光照) 等概

9、念。文本相關(guān)。包含 Font(字體) 等概念。而字體又分點陣字體和 TrueType 字體。TrueType 字體的優(yōu)勢是可以自由縮放。今天我們見到的大部分字體都是 TrueType 字體。圖像處理相關(guān)。包含 Bitmap(位圖) 對象及常見圖像格式的編器(Encoder/Decoder)。窗口系統(tǒng)結(jié)合輸入設(shè)備對應(yīng)的常友好的視窗軟件了。管理系統(tǒng)、繪制(GDI)系統(tǒng)，我們就可以隨心所欲地實現(xiàn)各類用戶體驗非但是，為了進步簡化開發(fā)過程，操作系統(tǒng)往往還提供了些通用的界面元素，通常我們稱之為控件(Control)。常見的控件有如下這些：靜態(tài)文本 (Label)；按鈕 (Button)；單選框 (Radi

10、oBox)；復(fù)選框 (CheckBox)； 首發(fā)網(wǎng)輸入框 (Input，也叫EditBox/EditText)；進度條 (ProgressBar)；等等。不同操作系統(tǒng)提供的基礎(chǔ)控件大同小異。不過些處理細(xì)節(jié)上的差異往往會成為跨平臺開發(fā)的坑，如果你希望份代碼多平臺使用，在這方面就需要謹(jǐn)慎處理。音箱箱相比顯示器的管理，音箱的設(shè)備管理要簡單得多。我們很容易做到多個軟件同時操作設(shè)備，而有合理的結(jié)果。例如，調(diào)整音量我們遵循覆蓋原則即可，誰后設(shè)置音量就聽誰的。而聲音的件則可進行混音處理，多個軟當(dāng)然，特定情況下要某個軟件其他軟件出來，比如接聽的軟件，需要在接通的時候掉所有其他軟件。打印機打印機的管理方式又很不

11、樣，軟件使用打印機的過程基本上是互斥的。個軟件在打印文檔的時候，其他的軟件只能等待它打印完畢后，才能進行打印。打印機的使用是以文檔為互斥的。為了避免軟件之間出現(xiàn)長時間的相互等待，操作系統(tǒng)往往在打印機的管理程序中引入很大的打印緩沖。軟件操作打印機的時候，并不是等待打印機真把內(nèi)容打印出來，而是把文檔打印到打印緩沖中就完成打印。這樣，在大部分情況下多個軟件不需要因為使用打印機而出現(xiàn)相互等待。結(jié)語后面我們在談“桌面開發(fā)”章中，還會涉及人機交互的系統(tǒng)相關(guān)的問題域，相關(guān)的內(nèi)容這里僅做概要性的闡述。細(xì)節(jié)，這章側(cè)重點在于領(lǐng)域無關(guān)的通用操作但是，僅通過簡單對比所有輸入和輸出設(shè)備的管理方式，我們就可以看出，不同輸

12、入和輸出設(shè)備的管理方法差異非常大，沒有太大的共性可言。盡管對 CPU 而言，所有外部設(shè)備有著相同的抽象，但這些設(shè)備的業(yè)務(wù)邏輯卻如此不同，并不能統(tǒng)抽象它們。正是因為有了操作系統(tǒng)這樣的基礎(chǔ)軟件，這些設(shè)備業(yè)務(wù)邏輯的復(fù)雜性才從我們的軟件開發(fā)過程中來。出人機交互演化的性的變化。變化是輸入設(shè)備的變化。我們看到，輸入的變化是非常劇烈的，且每次演變都是事實上輸入意圖的理解越來越難了，因為交互在朝著自然（Nature）和智能（Intelligence）的方向發(fā)展。我們不可能讓每個軟件都去做輸入意圖的理解（今天的現(xiàn)狀是每個軟件做），在未來，必然將由操作系統(tǒng)來實現(xiàn)智能交互的基礎(chǔ)架構(gòu)。 首發(fā)網(wǎng)今天的內(nèi)容就到這里。你對

13、今天的內(nèi)容有什么思考與解讀，歡迎給我留言，我們起討論。如果你覺得有所收獲，也歡迎把文章給你的朋友。感謝你的收聽，我們下期再見。精選留言：jueyoq 2019-05-17 09:52:03交互即人機交流。對于交流，人們更趨向于使用更自然更本能的方式。人做為中心，我們就更加注重輸入設(shè)備的優(yōu)化。從使用上來說，本質(zhì)上輸入設(shè)備要解決的問題就是文本的輸入與命令的未來 會逐漸過度到連續(xù)化的意圖的識別。輸出設(shè)備 要解決的問題是 如何保證多個程序共享或互斥的使用輸出設(shè)備化窗口的設(shè)計來解決多個程序的共享，設(shè)計焦點窗口實現(xiàn)用戶目的的識別。命令的解釋 是離散化的，而。對于顯示器我們通過虛擬最終 其設(shè)計原則就是 對于

14、計算機要讓其理解什么是輸入的數(shù)據(jù) 什么是命令。對于人 要讓其理解 輸出的信息，并知道下步該做什么。 15贊作者回復(fù)2019-05-17 11:53:52 涵 2019-05-17 05:44:03好，現(xiàn)在輸入設(shè)備越來越多樣化，意圖理解越來越復(fù)雜，甚至需要的，而如果人機交互意圖理在操作系統(tǒng)層，會否每種輸入設(shè)備都需要套操作系統(tǒng)?如果是這樣，那么會否人機交互意圖理解的架構(gòu)下沉到硬件也就是層，例如人臉識別?。 7贊作者回復(fù)2019-05-17 07:35:43人機交互肯定需要統(tǒng)的交互范式設(shè)計。從這個角度來說，把意圖理而慢了。到層并不劃算，因為迭代反我在你的視線里 2019-05-18 23:18:49

15、越來越nature，意味著越來越artifiacl。估計設(shè)備最好的交互就是類人，而不是代替人。 6贊 首發(fā)網(wǎng)作者回復(fù)2019-05-19 08:25:59嗯茍2019-05-17 14:46:40今天講的輸入、輸出設(shè)備交互的變化也是終端設(shè)備的。而對于開發(fā)者而言，般理解的架構(gòu)的是服務(wù)端架構(gòu)、？ 3贊架構(gòu)，掌握這些人機交互對我們這些開發(fā)所理解的架構(gòu)設(shè)計有什么影響呢作者回復(fù)2019-05-17 20:23:38 對于開發(fā)者而言，般理解的架構(gòu)的是服務(wù)端架構(gòu)、架構(gòu)這個是錯誤的理解。桌面端軟件也是需要架構(gòu)的。如果你是開發(fā)，那么理解交互確實意義不大，但是如果希望是個優(yōu)秀的架構(gòu)師，還是需要關(guān)注交互對我們架構(gòu)的

16、影響的。有銘 2019-05-17 10:36:24我認(rèn)為人機交互其實就是所謂的大前端 2贊Tesla 2019-05-17 09:11:37好。人機交互智能化，更趨近于人與人的交流。但是就算人類面對面，也有很多的理解歧義 還會受限于表達(dá)能力。這樣是不是意味著，除非有其他學(xué)科領(lǐng)悟的理論算法支持，如心理學(xué)這類，否則智能交互很難在交互效率和交互準(zhǔn)確性上做到平衡取舍？ 2贊作者回復(fù)2019-05-17 11:53:02這有定的可能性。人機交互范式目前是確定。互，但是越來越模糊是趨勢，最終如何我覺得還不太好Being 2019-05-28 11:20:54，您說的由操作系統(tǒng)來實現(xiàn)智能交互的基礎(chǔ)架構(gòu)，可

17、不可以理解為，對于智能處理，在操作系統(tǒng)抽象出套標(biāo)準(zhǔn)作為大模塊，為以智能為的交互提供統(tǒng)處理，讓交互則更聚焦于場景。 1贊作者回復(fù)2019-05-28 12:35:20是的williamcai 2019-05-27 08:29:21許，操作系統(tǒng)層面支持智能交互，當(dāng)前現(xiàn)狀是咋樣的 1贊作者回復(fù)2019-05-27 13:55:18現(xiàn)在還只是萌芽階段Geek 9102 2019-05-21 11:32:59在未來，必然將由操作系統(tǒng)來實現(xiàn)智能交互的基礎(chǔ)架構(gòu)。未來是這樣，是不是也意味著，如果只能交互的應(yīng)用，會逐漸被系統(tǒng)公司所吞并，商業(yè)模式也會有問題 1贊Adoy 2019-05-18 15:18:33讓到

18、了羅永浩的（狗頭護體） 1贊Aaron Cheung 2019-05-18 10:34:46補打卡10 交互是非常重要的環(huán) 1贊 首發(fā)網(wǎng)覺 2019-05-17 09:24:53感恩大佬隨喜大佬 1贊陳華應(yīng) 2019-07-02 18:48:32想請教下，對于 頭號玩家 這種科幻中構(gòu)造出來的人的思想可以置身其中的虛擬網(wǎng)絡(luò)世界，像但是又不局限于現(xiàn)實世界樣的交互方式在未來真的有可能實現(xiàn)嗎？zero 2019-07-02 09:28:05“我們不可能讓每個軟件都礎(chǔ)架構(gòu)。”去做輸入意圖的理解。在未來，必然將由操作系統(tǒng)來實現(xiàn)智能交互的基句話說清楚未來操作系統(tǒng)的模樣，許多人的描述像畫餅，而許已經(jīng)知道餅是啥餡的。wucx 2019-05-31 19:13:26通用能力在未來會下沉來提高上層的效率及建立標(biāo)準(zhǔn)。多樣的輸入處理能力、標(biāo)準(zhǔn)范式會在未來操作系統(tǒng)上