圖為印尼獅航波音737 MAX 8客機(jī)。據(jù)報(bào)道，印尼獅航是波音公司737 MAX飛機(jī)的最大客戶之一，正在考慮改用空客SE，計(jì)劃暫停與美國飛機(jī)制造商簽訂的現(xiàn)有訂單。圖片來源：視覺中國

最近波音飛機(jī)的墜落，嚴(yán)格說是人工智能影響人類的災(zāi)難性事件，也是智能化系統(tǒng)功能失效的典型案例。

波音737MAX8是波音成熟度最高的機(jī)型，燃料消耗是同類機(jī)型的30%，但發(fā)動(dòng)機(jī)更改導(dǎo)致飛機(jī)機(jī)頭容易抬高。因此，它使用了一個(gè)機(jī)動(dòng)特性增強(qiáng)系統(tǒng)（MCAS），在飛機(jī)迎角過大時(shí)該系統(tǒng)會(huì)自動(dòng)下調(diào)機(jī)頭以進(jìn)入它設(shè)定的安全狀態(tài)。但從最近發(fā)生的事故來看，MCAS更像波音公司在737MAX8飛機(jī)上埋的炸彈。

獅航空難事故調(diào)查已有結(jié)論，其直接原因是機(jī)頭左側(cè)攻角傳感器故障，使MCAS錯(cuò)誤地連續(xù)26次進(jìn)入自殺式俯沖。獅航飛行員曾33次試圖拉升機(jī)頭，但最終人工操作沒能成功糾偏。埃塞俄比亞航空空難事故調(diào)查還在進(jìn)行，但從已經(jīng)披露的信息可以判斷，飛機(jī)在起飛后，連續(xù)出現(xiàn)了爬升和下降兩種飛行姿態(tài)，飛行員稱無法控制飛機(jī)，最后導(dǎo)致墜毀。

這兩起事故都是智能化系統(tǒng)功能錯(cuò)誤導(dǎo)致的飛機(jī)失控，屬功能安全事故。

什么是功能安全

功能安全是一門安全工程學(xué)科，專門研究復(fù)雜控制系統(tǒng)的功能失效避免。它的基礎(chǔ)標(biāo)準(zhǔn)是2000年發(fā)布的IEC61508。近20年來，針對(duì)各領(lǐng)域的安全相關(guān)系統(tǒng)，已經(jīng)發(fā)展出一個(gè)標(biāo)準(zhǔn)族群。

功能安全主要從3個(gè)方向展開研究：預(yù)期功能安全、硬件隨機(jī)性失效避免和系統(tǒng)性失效避免。其中，預(yù)期功能安全是系統(tǒng)性失效的一部分，它要求全面識(shí)別受控設(shè)備中的所有危險(xiǎn)，并把風(fēng)險(xiǎn)控制在可容忍范圍之內(nèi)。一旦受控設(shè)備中包含智能化系統(tǒng)時(shí)就極富挑戰(zhàn)——這也是目前面臨的新問題。

硬件隨機(jī)性失效避免要求組成安全相關(guān)系統(tǒng)的硬件系統(tǒng)必須具有足夠的可靠性、足夠的容錯(cuò)能力和診斷覆蓋率，系統(tǒng)性失效避免則要避免所有可能導(dǎo)致系統(tǒng)性失效的錯(cuò)誤和故障，如軟件功能安全、環(huán)境適應(yīng)性、檢測到故障時(shí)的系統(tǒng)行為等。

功能安全標(biāo)準(zhǔn)規(guī)定了各種原則、方法，是多個(gè)行業(yè)多年經(jīng)驗(yàn)的總結(jié)，對(duì)于提高復(fù)雜控制系統(tǒng)與保護(hù)系統(tǒng)執(zhí)行功能的可靠性，具有十分重要的指導(dǎo)意義。

MCAS存在的功能安全問題

埃塞俄比亞航空和獅航墜機(jī)事故原因都聚焦在波音737MAX8飛機(jī)的MCAS上。MCAS是一個(gè)安全相關(guān)系統(tǒng)，從功能安全視角看，它存在多個(gè)問題。

首先是設(shè)計(jì)缺陷，體現(xiàn)在：第一，波音公司在加裝MCAS系統(tǒng)時(shí)，忽視了發(fā)動(dòng)機(jī)更改會(huì)使飛機(jī)容易在大迎角飛行時(shí)失速，違背了本質(zhì)安全原則；第二，對(duì)MCAS系統(tǒng)的危險(xiǎn)評(píng)估定為有害等級(jí)而不是災(zāi)難級(jí)，定級(jí)有誤，說明設(shè)計(jì)者對(duì)MCAS失效可能造成的后果嚴(yán)重性估計(jì)不足，對(duì)這個(gè)系統(tǒng)的軟硬件都沒有配置足夠的魯棒性；第三，系統(tǒng)容錯(cuò)能力不足，即使是有害等級(jí)，MCAS系統(tǒng)僅采集左側(cè)傳感器數(shù)據(jù)作為啟動(dòng)條件也是不符合要求的；第四，對(duì)安全關(guān)鍵部件（如攻角傳感器）的故障，沒有診斷和報(bào)警；第五，出現(xiàn)死亡俯沖時(shí)，沒有明顯提示警告機(jī)組人員；第六，波音公司的培訓(xùn)資料從未提及該項(xiàng)功能，也沒有任何特別的培訓(xùn)課程。

其次是維護(hù)和操作問題。一個(gè)細(xì)節(jié)是，獅航飛機(jī)空難前帶著這個(gè)故障飛行了4次之多，事故前一天還出現(xiàn)過機(jī)頭持續(xù)下壓的危險(xiǎn)狀況，直到飛行員關(guān)閉MCAS才安全降落。此外，獅航的維修工作及程序未能解決涉事客機(jī)的問題，而客機(jī)關(guān)鍵零件（攻角傳感器）的安裝及校準(zhǔn)記錄不完整未受到重視。

最后是監(jiān)管問題。波音737MAX8在美聯(lián)邦航空管理局進(jìn)行新飛機(jī)的安全批準(zhǔn)時(shí)，為了加快進(jìn)度，把該機(jī)型MCAS系統(tǒng)的安全評(píng)估交給了波音，并要求工程師加快檢查進(jìn)度。這極大降低了監(jiān)管的力度和有效性。同時(shí)，這也違反了功能安全標(biāo)準(zhǔn)的規(guī)定，“對(duì)于失效后會(huì)導(dǎo)致嚴(yán)重后果的安全相關(guān)系統(tǒng)，必須由獨(dú)立的第三方評(píng)估后給出合格與否的結(jié)論”。

此外，波音提交的報(bào)告數(shù)據(jù)與實(shí)際不符，評(píng)估報(bào)告未發(fā)現(xiàn)MCAS的諸多設(shè)計(jì)缺陷，評(píng)估未要求飛行手冊上標(biāo)注MCAS且未要求特別的培訓(xùn)等，都是監(jiān)管上的紕漏。

功能安全標(biāo)準(zhǔn)要求采用全生命周期來管理安全相關(guān)系統(tǒng)，設(shè)計(jì)者有責(zé)任設(shè)計(jì)高安全完整性等級(jí)的安全相關(guān)系統(tǒng)，維護(hù)者有責(zé)任維護(hù)安全相關(guān)系統(tǒng)，監(jiān)管者有責(zé)任獨(dú)立評(píng)估安全相關(guān)系統(tǒng)的功能安全性能。但如果在設(shè)計(jì)上存在本質(zhì)缺陷，那么僅靠維護(hù)難以提高安全相關(guān)系統(tǒng)執(zhí)行功能的可靠性。設(shè)計(jì)者要考慮到維護(hù)者和使用者的能力限制。

新技術(shù)下復(fù)雜系統(tǒng)

面臨更多安全挑戰(zhàn)

聯(lián)想到獅航飛行員努力奮斗拉了33次機(jī)頭仍失敗墜機(jī)，聽到埃塞俄比亞航空的飛行員驚恐地報(bào)告無法控制飛機(jī)的聲音，所有人都會(huì)心疼不已。我們不禁要問，在智能化時(shí)代，我們應(yīng)如何趨利避害？

從智能制造到人工智能、從5G到工業(yè)互聯(lián)網(wǎng)，新的熱點(diǎn)層出不窮，新的技術(shù)不斷更新?lián)Q代，智能化系統(tǒng)越來越復(fù)雜。互聯(lián)互通、信息集成，要將系統(tǒng)所有邊界情況一網(wǎng)打盡是天方夜譚。這種情況下，無論是設(shè)計(jì)者還是監(jiān)管部門都嚴(yán)重缺乏經(jīng)驗(yàn)，面臨“你不知道自己不知道什么”的困境。

我們批評(píng)波音自己對(duì)自己的系統(tǒng)進(jìn)行評(píng)估，但實(shí)際上，對(duì)于類似MCAS這樣的系統(tǒng)，監(jiān)管部門的理解和評(píng)測能力很可能不足，也沒有相應(yīng)的標(biāo)準(zhǔn)。對(duì)復(fù)雜的智能化系統(tǒng)進(jìn)行功能安全評(píng)測一直是業(yè)內(nèi)難題。

在智能化系統(tǒng)控制的飛機(jī)、自動(dòng)駕駛汽車、現(xiàn)代化的工廠中，人的錯(cuò)誤可能是導(dǎo)致事故的重要原因。比如2009年6月1日法航447墜落事件中，空速管結(jié)冰導(dǎo)致飛行控制系統(tǒng)進(jìn)入故障模式，副駕駛持續(xù)拉桿的錯(cuò)誤動(dòng)作導(dǎo)致飛機(jī)失速墜落。在波音這架飛機(jī)上，駕駛員與MCAS一直在搶奪控制權(quán)，最終駕駛員失敗了。在危急時(shí)刻，該聽誰的？這需要針對(duì)每個(gè)功能進(jìn)行認(rèn)真研究。

另外，機(jī)器學(xué)習(xí)具有“黑箱”特質(zhì)（不確定性），面對(duì)相同情況時(shí)可能會(huì)產(chǎn)生不同結(jié)果。數(shù)據(jù)采集和學(xué)習(xí)系統(tǒng)的不完善，也可能導(dǎo)致無意的偏差和數(shù)據(jù)失真問題。以自動(dòng)駕駛汽車為例，機(jī)器學(xué)習(xí)訓(xùn)練的自動(dòng)駕駛汽車很有可能在學(xué)習(xí)了相關(guān)“學(xué)習(xí)資料”之后，仍會(huì)選擇徑直撞向穿熒光綠色背心的建筑工人。

因此，當(dāng)我們推行智能化與人工智能技術(shù)時(shí)，必須同步研究功能安全。

為智能制造保駕護(hù)航

波音飛機(jī)墜機(jī)事件不是孤立的功能安全事故案例。近年來的特斯拉和優(yōu)步自動(dòng)駕駛汽車事故、大眾汽車變速箱機(jī)電單元問題導(dǎo)致汽車失速事故、遼寧鋼鐵廠鋼包控制系統(tǒng)功能失效事故、美國得州煉油廠因液位計(jì)失靈導(dǎo)致的爆炸事故等，都是由于設(shè)備故障導(dǎo)致系統(tǒng)失控，最終發(fā)生嚴(yán)重事故。

面對(duì)更新?lián)Q代的新技術(shù)和“層出不窮”的熱點(diǎn)，我們必須理解風(fēng)險(xiǎn)埋藏在哪里，能夠識(shí)別出那些未知且不安全的部分，然后將它們的風(fēng)險(xiǎn)控制在可容忍范圍之內(nèi)，對(duì)它們進(jìn)行區(qū)分，拿出化解風(fēng)險(xiǎn)的方案并對(duì)其進(jìn)行驗(yàn)證。需要制定標(biāo)準(zhǔn)規(guī)范行業(yè)行為，比如，制定安全標(biāo)準(zhǔn)以規(guī)范數(shù)據(jù)采集和學(xué)習(xí)系統(tǒng)的開發(fā)行為，從而減少人工智能系統(tǒng)無意的偏差和數(shù)據(jù)失真問題。

埃塞俄比亞航空和獅航空難是巨大的悲劇，所有新技術(shù)失敗導(dǎo)致的事故都是人為的災(zāi)難。看到這些災(zāi)難，不禁對(duì)智能化和人工智能等新技術(shù)心存敬畏。希望我們能深入研究功能安全技術(shù)，用標(biāo)準(zhǔn)和法規(guī)來保障新技術(shù)在安全的框架內(nèi)發(fā)展。而任何一項(xiàng)新技術(shù)，也只有在解決了安全問題之后，才能真正為用戶所接受。

（作者系機(jī)械工業(yè)儀器儀表綜合技術(shù)經(jīng)濟(jì)研究所副總工程師、功能安全中心主任，國家安全生產(chǎn)專家組成員，國際權(quán)威機(jī)構(gòu)認(rèn)證的功能安全專家。）