2021年8月26日，蘭德公司網(wǎng)站發(fā)布報告，題為《evaluating the Effectiveness of Artificial Intelligence Systems in Intelligence Analysis》，作者是丹尼爾·伊什、賈里德·埃廷格和克里斯托弗·費里斯。報告要點如下：

研究的問題

（1）人工智能（AI）系統(tǒng)的效能衡量指標與情報分析的有效性有何關聯(lián)？

（2）在真實系統(tǒng)的開發(fā)以及可能尚未開發(fā)的假設系統(tǒng)中，如何反映人工智能對情報流程的支持？

（3）研究人員如何為情報流程建模以確定人工智能系統(tǒng)在該流程中對其產(chǎn)生的影響？

（4）哪些指標可以表征人工智能系統(tǒng)的效能？

美國軍方和情報界對開發(fā)和部署人工智能系統(tǒng)以支持情報分析表現(xiàn)出興趣，這既是利用新技術的機會，也是解決不斷激增的數(shù)據(jù)過剩的解決方案。然而，在國家安全環(huán)境中部署人工智能系統(tǒng)需要能夠衡量這些系統(tǒng)在其任務環(huán)境中的效能。

為了解決這個問題，作者首先介紹了人工智能系統(tǒng)在支持情報方面可以發(fā)揮的幾類作用（即自動分析、收集支持、評估支持和信息優(yōu)先排序），并定性分析了對各類人工智能系統(tǒng)表現(xiàn)產(chǎn)生影響的驅(qū)動因素。

然后，作者單獨挑出信息優(yōu)先排序系統(tǒng)，該系統(tǒng)可將情報分析師的注意力引導到有用的信息上，并允許他們忽略對其無用的信息，以進行定量分析。作者開發(fā)了一個簡單的數(shù)學模型來捕捉此類系統(tǒng)的一些錯誤后果，從而表明其效能不僅取決于系統(tǒng)的屬性，還取決于系統(tǒng)的使用方式。通過這個演練，作者展示了人工智能系統(tǒng)的計算影響以及可以預測表征人工智能系統(tǒng)效能的指標，這些指標可以幫助決策者了解人工智能對情報任務的實際價值。

主要發(fā)現(xiàn)

（1）使用與實際優(yōu)先級不匹配的指標會模糊系統(tǒng)表現(xiàn)并阻礙最佳系統(tǒng)的知情選擇

• 應在系統(tǒng)構(gòu)建之前選定測度指標，并以試圖估計部署人工智能系統(tǒng)的實際影響為導向。

（2）效能以及衡量它的指標不僅取決于系統(tǒng)屬性，還取決于系統(tǒng)的使用方式

• 決策者的一個關鍵考慮因素，是在用于構(gòu)建人工智能系統(tǒng)的資源之外專用于支持情報任務的資源量。

建議

• 從建立正確的指標開始。這需要詳細了解人工智能系統(tǒng)的使用方式，并選擇那些能夠成功反映其利用情況的指標。

• 定期重新評估（和重新調(diào)整）。由于系統(tǒng)周圍的世界在其部署后繼續(xù)演變，因此必須繼續(xù)將系統(tǒng)評估作為定期維護的一部分。

• 系統(tǒng)設計人員要有一套完善的指標來衡量人工智能系統(tǒng)的效能，通曉這些指標將有助于在設計新系統(tǒng)或維護現(xiàn)有系統(tǒng)的過程中與專家進行交流。

• 進一步研究評估人工智能系統(tǒng)效能的方法。