在我之前的博客“誰負責你的分析質量？”中，我談到了確保分析工作質量的意義。我們很容易談論使用分析來提高其他事物的質量，但很少提到分析本身的質量。我還認為質量可以通過一種或另一種方式的缺陷來定義。這意味著完美的質量可以表示為沒有缺陷。
嗯，談論質量是一回事。我們如何在分析實踐中實施它？
數據質量如何與分析實踐的質量相關
分析中典型的質量問題通常與輸入數據的質量有關。正如我在之前的博客中所解釋的，數據質量在很大程度上是分析的依賴和約束。因此，這不是我們所說的分析質量的意思。
但是，我們可以利用從行業數據質量標準中學到的知識來構建分析質量。具體來說，考慮數據管理如何定義質量維度是有用的。儘管存在變化，但它們的定義相當明確（例如，參見DAMA 數據管理知識體系，第2 版）。然後可以根據以下一個或多個維度識別數據質量問題，即數據缺陷：
完整性：它的填充或完整程度如何？是否存在所有必需的數據？有效性：這些值在技術上是否符合定義的域？準確性：有錯誤嗎？一致性：內部和外部的價值觀是否一致？完整性：數據在數據對象內部和跨數據對像是否一致？及時性：它是否反映了感興趣的時間？唯一性：是否有任何重複或碎片？合理性：它是否合理地反映了現實？
分析實踐的質量維度
我們可以擴展這個想法來定義一組類似的分析維度：
適當性：分析設計和執行是否適合問題和需求？清晰：一切是否清晰，沒有歧義？一致性：分析工具和系統不可知嗎？每次運行相同的東西時，它是否會產生相同的結果？可追溯性：是否可以從頭到尾完全追溯分析的譜系？準確性：執行是否沒有錯誤？透明度：分析結果和分析本身可以解釋嗎？是否清楚地記錄了有關分析的所有內容，以便未參與的人能夠理解？完整性：邏輯是否沒有漏洞？是否考慮並考慮了所有重要的事情？正當性：一切都有正當理由嗎？選擇的風險、依賴性和局限性是什麼？
可複制性或再現性的失敗應至少在這些維度中的一個方面存在缺陷。
此外，重要的是要意識到沒有客戶、同事和合作者就沒有分析專業。然後，分析工作的質量必然包括項目交付方面的考慮，因為它們與項目的技術方面密切相關：
是否設定了明確的期望？這些期望得到滿足了嗎？一切，分析的和非分析的，都是合理的嗎？一切都記錄在案了嗎？項目是否沒有懸而未決的問題？是否驗證了所有期望和要求都已得到滿足？
管理分析項目的質量
現在我們有了維度，我們考慮管理分析中的質量意味著什麼。質量管理是一個生命週期，雖然有變化，但通常由以下組件組成。
質量策劃：定義要求、任務和活動，以將質量設計到產品中。質量保證：通過使用方法來減少缺陷並最大限度地提高實現質量期望的可能性來生產產品。質量控制：驗證產品符合質量要求。質量維護和改進：執行持續的活動以保持和改進產品質量。
因此，管理分析項目的質量涉及應用這些原則。應該注意的是，“質量保證”和“質量控制”經常互換使用，甚至被認為代表相同的想法。然而，對於我們的討論，我們保持上述區別。
將質量管理映射到分析
儘管並不總是明確的，但典型的分析項目生命週期包括以下階段：設計、開發、部署和使用。在設計階段，對分析和項目的各個方面進行規劃和設計。分析在開發階段開發，然後在部署階段可用。最後，用戶利用提供給他們的分析在使用階段做出業務或研究決策。然後：
質量計劃主要發生在設計階段，在這個階段我們定義如何計劃將質量設計到分析和項目中。質量保證是以最小化缺陷和最大化實現質量期望的可能性的方式進行項目和分析。由於這幾乎適用於與分析項目相關的所有內容，因此它涵蓋了從設計和開發到部署的各個方面。存在旨在實現質量目標的方法、標準和實踐。標準化方法也很重要，而不僅僅是例程和宏。分析從業者通常迴避預先定義，但可以標準化的東西比通常認為的要多得多。質量控制是驗證分析項目是否滿足質量要求。這通常包括檢查表、審查和審計。甚至設計也有可以驗證的執行方面。我們確實反對質量和生產力最佳實踐中的“檢查”概念。然而，項目滿足質量期望的驗證，尤其是獨立驗證是有價值的，有時甚至在分析中受到監管要求。質量維護和改進包括發布後或出版後活動。有兩個部分。第一個是分析及其使用的持續維護，主要涉及確保分析隨著時間的推移保持其外部有效性，並識別操作缺陷，例如係統問題和錯誤、數據結構的變化以及上下文和/或行為的變化。第二部分是改進下一個項目的分析質量實踐系統。
分析實踐中的質量控制
奇怪的是，關於分析質量的傳統概念都側重於質量控制，尤其是同行評審的形式。有時，審查甚至是監管要求的。這意味著分析中確實存在一些質量控制實踐和標準，但並不總是得到很好的實施。
有時，它們作為獨立審查系統存在。然而，擁有一個單獨的團隊並不總是合適的。雖然經常鼓勵甚至要求為此目的創建一個獨立的團隊，但它確實有缺點。此外，在小型組織中，這顯然更具挑戰性。
還有其他方法可以在保持一定程度的獨立性的同時實施質量控制實踐。 “如何”取決於需求和情況。
然而，在質量控制領域內將交付審核與專家審查分開是有用的。雖然專家評審對我們來說可能更熟悉，但他們都質疑項目中做了什麼。
專家評審的目的是根據良好的技術實踐評估分析。期刊出版物的同行評審是一個典型的例子。
然而，許多缺陷與技術專長無關。為了解決這個問題，交付審計實際上變成了一項審計職能。它根據要求進行檢查，確保分析師已完成他們所說的一切，驗證每個決定是否合理並記錄在案，並確認沒有明顯的戰術錯誤。
這種區別具有重要的實際意義。雖然專家審閱者必須是專家，但缺乏深厚的專業知識對於交付審核員來說是一種資產，因為無意義的問題通常會導致錯誤發現。專家評審員應該熟悉他或她正在評審的分析，但熟悉項目可能會損害公平交付審計的想法。
如果我們做好質量規劃和保證，那麼這很簡單。正如DAI明所說，我們“無法檢查產品的質量”，儘管總是需要一些獨立或其他方式的驗證。
實施分析實踐的質量計劃
了解什麼是質量及其在分析中的理論含義是一回事。實際上，許多分析經理和從業者都在努力使其成為現實。
那麼，我們如何做到這一點呢？有一件事是肯定的：我們不能把分析質量說成是存在的。現實情況是，分析質量通常仍然是一個白日夢。實施質量計劃的一些關鍵實際考慮因素包括：
先說第一件事。創建分析和分析項目的清單。你知道你在管理什麼質量嗎？定義角色和職責。誰做了什麼？你應該有一個獨立的團隊嗎？誰在什麼上簽字？最重要的是，誰將擁有質量計劃？定義流程和程序。工作流程是什麼樣的？你如何定義一個共同的活動流來使事情變得可預測？定義標準、政策和要求。將針對哪些缺陷進行識別？你需要清單、表格和可審計性標準嗎？是否有監管要求？名單還在繼續。建立基礎設施。至少，這包括文檔存儲、一些日誌記錄功能、共享計算環境和常用工具。如果你將結果分析產品化，則需要環境、工具和數據集進行測試，然後再轉移到生產環境。我從經驗中知道，單元測試不足以識別生產化分析中的缺陷。對所有分析人員進行基本質量原則和實踐的培訓。他們必須了解質量期望以及質量方法和技術。由於良好的質量實踐通常與分析從業者認為的優雅和高級背道而馳，因此需要轉變思維方式。
顯然，要實施成功的分析質量計劃還有很多工作要做。它需要能夠在不影響質量原則的情況下平衡業務的不同需求。有了一個可靠的框架，它就不像通常認為的那樣針對技術或分析類型。它還需要大量的紀律，而不是你想像的那麼多藝術
想知道更多？聯繫我們。
資訊來源：由0x資訊編譯自DATADRIVENINVESTOR，版權歸作者Michiko Wolcott所有，未經許可，不得轉載
