目前，許多大學都秉持全面綜合審查的理念。
在美國大學招生諮詢協會（NACAC）最近的一項調查中，70% 的招生官表示，在選擇申請者時，他們認為個人品質是一個重要的因素。
然而，現實中的審查並不能確保公平，招生工作也受到相關資源的限制。
為應對上述挑戰，幣安大學Benjamin Lira 領導的研究團隊訓練了一個名為「Robustly Optimized BERT Pretraining Approach（RoBERTa）」的語言模型，用於審查入學申請者課外或工作中的論文，並尋找其中蘊含的7 種個人品質。
研究結果表明，基於人工評分訓練的AI 模型能在幾分鐘內產生數百萬個個人品質分數，精確地複製人工評分，而且具有可解釋性和公平性。
相關研究論文以「Using artificial intelligence to assess personal qualities in college admissions」為題，已發表到Science 子刊Science Advances 上。
然而，研究團隊也強調：“沒有演算法能夠決定大學入學過程的目標，或者哪些個人品質最重要，在自動化審查過程之前需要大學明確其入學目標。”
AI 成功辨識個人品質
在許多大學中，全面綜合審查已成為一種廣泛採用的招生評估方法，該方法將個人品質視為至關重要的考慮因素。人們認為該方法可以促進公平，因為它允許申請者展示非認知技能和品格，而這些在標準化考試中無法反映出來。
然而，歷史上的案例顯示，綜合審查制度也可能帶來不公平，特別是在評估標準不明確、缺乏解釋或揭露的情況下。目前的綜合審查缺乏透明度，招生官員主要依賴個人陳述來評估申請者的品質，但這些細節對於申請者和公眾來說仍然不清晰。
改進綜合審查的方法包括採用更透明和系統化的評估方法，使用結構化的評分標準，以及進行多次獨立的評估。這些建議體現了心理測量原則的應用，可以提高評估的可靠性、有效性和可解釋性，從而減少潛在的偏見。
然而，現實中依然存在問題，主要包括大學招生官面臨不斷增加的申請數量，時間和資源的限制。如果資源無限，那麼可以更好地優化評估，實現更大的公平性。
在這項研究中，團隊借助AI 技術開發了一種能更好地評估個人品質的方法。首先，他們選取了去識別化的309594 份大學申請樣本，每份申請都包括一篇150 字的論文，描述申請者選擇的課外活動或工作。
接下來，研究人員和招生人員選取了其中的3,131 篇論文用來訓練語言模式—RoBERTa。他們在申請者的論文中尋找他們是否具有以下7 種品質：學習能力、毅力、目標追求、團隊合作、內在動力、領導能力和利他目標，而這些品質可以幫助確定哪些申請者最有可能在大學中成功。
最後，研究人員將這些微調的模型用於審查另外306463 篇文章，並為每篇文章評分。
結果發現，研究人員和招生人員在每篇文章中都找到了七種個人特質中的證據。有些個人品質比其他更常見。例如，他們分別在42% 和44% 的文章中識別出了「領導能力」；相比之下，他們只在19% 和21% 的文章中識別出了「毅力」。
AI 輔助判斷，而非取代
然而，這項研究也存在一定的限制。
首先，研究未包括Common Application 所要求的個人陳述，這限制了研究的廣度。未來的研究應考慮包括此要素，尤其是考慮到近期申請人的個人陳述是以PDF 附件形式提交的。
其次，資料中心化的高中GPA 僅基於一小部分申請人，這可能影響研究的代表性。未來的研究需要更多關注如何獲得更多可用數據。
第三，個人特質對大學畢業的預測效應在適度程度較高，但這只是相對於標準化考試成績。長期生活結果的預測具有複雜性，需要考慮多種因素。未來研究可以探索其他未考慮的因素，如學費支付、學術準備和支援等。
第四，研究僅關注大學畢業作為結果，而未考慮其他成功方面，如GPA、課外活動和社區貢獻。這需要更廣泛的共識，優化大學入學決策的目標和實施方式。未來的研究可以考慮更多方面的成功和其對個人品質的影響。
因此，本研究對全面審查和選擇性入學的當前狀況帶來了批判性的觀點。未來的研究和實踐應該中心化於在自動化流程之前明確全面審查的目標。
另外，研究還發現，坎貝爾定律表明，在高風險決策中（與低風險研究相對），對評估賦予的權重越大，就越容易引發扭曲的動機。例如，申請者可能會嘗試塑造自己的論文，也許使用AI 工具（如ChatGPT），來迎合招生官和訓練的演算法的要求。
值得注意的是，演算法也會犯錯，特別是在尋找模式方面。例如，研究微調的RoBERTa 模型為句子「I donated heroin to the children’s shelter」（我向兒童收容所捐贈了海洛因）賦予了極高的社會目標分數。
因此，研究建議使用AI 來輔助而不是替代人工判斷。沒有演算法能夠決定大學入學流程的目標，或哪些個人特質最為重要。將演算法視為人工判斷的補充而不是替代，也可以處理演算法迴避的問題，即在有矛盾證據的情況下，人們更傾向於信任人工決策者而不是演算法。
論文連結：
www.science.org/doi/10.1126/sciadv.adg9405
資訊來源：由0x資訊編譯自8BTC。版權所有，未經許可，不得轉載