我們經常談論使用分析來提高其他事物的質量。但是你最後一次考慮分析本身的質量是什麼時候？不幸的是，對於許多人來說，這是“永遠不會”。當我們這樣做時，總是要么太模糊要么太狹隘。
通常，有一個隱含的假設：分析專業人員生產高質量的東西僅僅是因為他們在技術上有能力。無論是預測建模、設計實驗、分類、細分，還是任何其他統計、高級分析、機器學習、數據科學甚至AI 產品，都無關緊要。
挑戰在於，有太多與技術專長無關的事情可能會出錯。更糟糕的是，即使是最先進和最有經驗的分析專業人員也常常不知道他們所犯的錯誤。多年來，我幫助組織實施了分析質量計劃，並且不能低估這種情況的普遍性。
如果你是一名分析專業人士，你需要有意識地、有條不紊地了解如何在工作中建立質量。如果你是企業或首席調查員，要知道擁有分析並不一定意味著擁有高質量的分析。你是一個組織的領導者？你的分析職能需要一個可辯護且記錄良好的質量流程。
這是怎麼做的？在我最近的一次演講中，與會者民意調查表明，只有大約1/3 的受訪者對他們的分析實踐有任何質量計劃或質量方法。所以，問題是：為什麼沒有一直這樣做？
將分析質量系統化的先例
有一些先例可以將分析質量的概念形式化。傳統的方法是同行評審，這確實是一種方法。由於它根據一些良好的技術實踐評估分析產品，因此它隱含地和定性地評估質量。
其他的稍微正式一點。歐洲統計系統的質量保證框架是官方統計領域的一個例子。在某些部門，存在具有質量影響的監管要求，例如金融服務中的模型風險管理要求。我懷疑那次談話中的大部分1/3 都有某種監管要求。這是我從其他地方的經驗中觀察到的。
現有方法有兩個主要缺點。首先，他們主要關注分析輸出，如精度，而不是產生質量分析的實踐。他們試圖衡量質量的症狀，而不是解決如何通過設計產生質量。
其次，範圍通常太窄，無法更廣泛地應用於分析實踐。對分析質量的監管要求自然關注特定方面。因此，這縮小了範圍，更不用說它迫使方法更加以合規為導向。
定義分析的“質量”
我們中的大多數人都希望我們所做的事情質量上乘——出於工藝的驕傲，出於聲譽的原因，因為這是正確的做法，等等。質量也是我們都直觀地理解的東西。你只是知道它什麼時候在那裡。
但質量也非常難以表達。許多對分析質量計劃的嘗試都無濟於事，因為它們從質量的概念開始，而不是它是什麼。
那什麼是“質量”呢？我們可以從美國質量協會所說的開始：
“在技術用法中，’質量’可以有兩個含義：
影響產品或服務滿足明確或隱含需求的能力的特徵； 沒有缺陷的產品或服務。 ”
無論哪種方式，它都是關於滿足某些標准或標準。其他成熟的質量專家和組織的定義是相似的。
這導致了缺陷的想法。每當某些東西不符合這些標准或標準時，我們就會有缺陷。這是可以衡量的，就像製造環境中經常使用的“每百萬機會的缺陷數”一樣。那麼，缺陷越少，質量就越高。
質量的質量方面呢？我們經常將質量與我們認為無法完全衡量的事物聯繫起來。但這仍然意味著人們對“高質量”的東西有一些期望，儘管是主觀的。否則，就沒有任何東西可以與我們的感知進行比較。每當未滿足該期望時，我們至少可以在概念上將其定義為缺陷。
分析質量的商業案例
為什麼分析專業人員以外的任何人都應該關心分析的質量？
也許最明顯的原因是風險管理。任何東西質量差通常都會產生負面影響，因此消除缺陷會降低相關風險。最顯著的風險是從有缺陷的分析中做出錯誤決策。此外，偏見和道德問題等因素會導致有時無法直接量化的風險。
其次，更好的質量意味著更多的分析價值。由於每個缺陷都會侵蝕價值或有效性，因此消除缺陷可以讓你從分析中獲得更多收益。
然後，是人的方面。隨著時間的推移，減少缺陷有助於培養分析消費者對分析的信任和信心。這會提高分析的舒適度，這是採用和投資回報率的關鍵組成部分。
分析缺陷在實踐中是如何發生的
誰，我？我不製造缺陷我知道我在做什麼。你怎麼敢。
我們都傾向於假設我們不會犯錯誤。每次我實施分析質量計劃時，即使是最資深的分析師也會發現發現的缺陷數量。分析中缺陷如何發生有兩個主要維度：能力和意圖。
第一，勝任力：你了解你的東西嗎？
分析人員不知道他/她在做什麼導致了許多低質量的分析。當沒有人意識到劣質時，這更可怕。不幸的是，太多人只有在它導致出現問題時才會發現。所有數據的流行使許多分析人員具有分析力學的技術知識，但對基本原理沒有完全理解。可以應用這些技術並不意味著一個人了解使用這些技術所涉及的一切。這種差距會導致非常可怕的缺陷。
二是分析師的意圖。你是故意這樣做的嗎？
需要明確的是，分析師可以完全勝任並故意做一些不符合規範的事情。最壞的情況是破壞。但是大多數時候人們確實是善意的，感知到的“缺陷”只是特定考慮的結果。它只需要證明和記錄。這並不總是發生，然後成為一個缺陷。
絕大多數錯誤的發生是因為了解他們的東西的分析師並不打算這樣做或忘記他們為什麼這樣做。粗心大意，疏忽大意，不注意細節，不勤奮等。他們是無辜的，但仍有缺陷。
其他因素會影響缺陷的發生方式。它們包括你是否善意，你對誰的最大利益，以及你是否關心。
數據質量如何？
數據質量差是分析專業人士抱怨的最大來源之一。重要的是要注意數據質量在很大程度上是分析專業人員的依賴和約束。有一些重要的例外，但數據質量不是他們的目標。
不要誤會我的意思。這並不是說分析專業人員不對數據質量負責。顯然，原料的質量是生產優質產品的關鍵因素。分析專業人員對了解和理解所用數據的質量負有絕對責任。他們需要知道並能夠解釋數據質量對其輸出的影響。
但他們的目標是從數據中創造一些東西，而不是讓數據沒有錯誤。他們必須處理數據質量，因為他們依賴於它，而且他們只是被動地這樣做。他們知道足以診斷數據質量問題，酌情應用修復，並解釋由數據質量引起的分析局限性。
分析專業人員不是數據管理專業人員。他們並不完全精通所有數據管理最佳（甚至標準）實踐。這本身就是一個完整的職業大多數時候，成分質量的責任屬於或應該屬於其他地方，特別是首席數據官(CDO) 或同等職位。
如果你在業務方面，請了解這一點：只要你期望並依賴分析專業人員來處理數據質量，數據質量就會保持被動，因此是不可預測的。在組織層面解決數據質量問題將允許分析專業人員在他們應該在真正的分析活動中使用他們的質量思想。
確保分析過程的質量
關鍵是，分析專業人員需要查看他們為生產優質產品所做的工作，而不是專注於導致他們生產優質產品的環境。我們在某種程度上都在否認——我們很少想到將質量定義為我們所做的事情的結果。我們喜歡到別處尋找我們自己進步的源泉。我最近看到的一條推文說“浴室裡的鏡子仍然有效”。
當然，這並不是分析專業人士獨有的。也就是說，在所有人中，分析專業人士難道不應該像DAI明所說的那樣了解如何“構建質量”？
分析質量有什麼用？我們需要檢查分析專業人員如何處理數據。設計上的分析是否合適？分析是否清晰一致？你能一步一步地追踪一切嗎？它是否無錯誤、透明和完整？一切都是合理的嗎？可複制性和再現性的失敗是分析過程中某些缺陷的結果。
由於沒有客戶、同事和合作者就沒有分析專業，分析工作的質量必然包括項目或任務交付的各個方面。這包括期望、理由和文檔等內容。
然後呢？
有一件事是肯定的：你不能把分析質量說成是存在的。
所有這一切還有很多，一個博客不會對這個話題做任何接近公正的事情。撇開細節不談（我還有更多），事實仍然是如何進行分析以確保質量是很少有人想到的。我們需要從那裡開始。
從我所看到的一切來看，分析專業人員是最反對應用分析原則的人。他們認為他們的產品是優質的，但從不像一個優秀的統計學家那樣檢查他們的假設。我遇到過很多經驗豐富的高級分析專家，他們對實施分析質量計劃時發現的所有缺陷感到震驚。有些人實際上變得非常防禦，並開始歸咎於其他事情，例如缺乏技能； 幸運的是，對於絕大多數人來說，這只是一次謙卑的學習經歷。
這在很大程度上只是人性——正如他們所說，醫生會造出最糟糕的病人。也就是說，真正“實時”分析的分析專家總是最受客戶和同事信賴的。
這確實需要改變分析專業人員對自己的看法。一位擁有數十年經驗的受人尊敬的統計學家評測說，他從未想過將統計和質量原則應用於統計本身。如果分析專業人士不打算系統地實現他們的分析質量，那麼誰會呢？
資訊來源：由0x資訊編譯自DATADRIVENINVESTOR，版權歸作者Michiko Wolcott所有，未經許可，不得轉載