A Systematic Review on Theory Use in Software Engineering Experiments

這篇 paper [1] 主要提供了一個對於目前在 Software Engineering Experiments 中, 對於 Theory 使用的檢討之外, 其用來進行的方法, 同時也提供往後 Software Engineer 進行 Software Engineering Experiments 可以利用來判斷該選用什麼樣的 Theory 的方法.

如下圖所示意, 整體概念為自 Software Engineering Experiments 的範疇內, 定出一個 Factors 集合, 藉由串聯這些 Factors 集合, 對於所有目標的 Papers 作討論與分類, 最終結合將這些 Factors 串聯的方式, 以及利用 Papers 所作的驗證, 得到一個 Theory Use Model.


其中有價值的分為三部分. (1) 此 Process 本身, (2) 對於 Factors 進行串連的方法, 以及 (3) 一個呈現出具體成果的 Factors 集合.

此 Process 本身並非創新的提出, 而是一個 Common 的 Process, 但是這篇成功的 Paper 在討論 Software Engineering Experiments 的 Theory 使用上, 展示了此 Process 的合理使用. 自此可預見此 Process 會是往後相關延伸研究的基本 Process 之一.

對於 Factors 進行串聯的方法我認為是最有價值的部分. 往往我們可以列出許多的 Factors, 但是卻不知道怎樣對於 Factors 作取捨以及相互搭配, 主要原因我認為是所立足的基準點 ( Base ) 認識不清楚所致. 而這篇 paper 在整個過程中, 逐步穩固地解釋選擇 Factors 的合理理由, 同時以兩個軸去分析最重要的 Factors. 兩個軸分別是 (1) 對於 Theory Type 以及 Theory Components 的分析, (2) 對於 Theory Role 的分析, 這兩個軸事實上源自於同樣基準點 : 提供往後 Software Engineer 進行 Software Engineering Experiments 可以利用來判斷該選用什麼樣的 Theory 的方法, 換句話說, 跟如何選擇以及如何使用有很大的關係.

最終的部分, 一個呈現出具體成果的 Factors 集合, 我認為比較算是副產品. 除了可以驗證這樣的進行方式之外, 同時也是站在 Theory 於 Software Engineering Experiments 內, 以偏向 Empirical Study 的角度選擇了 Materials 以及相對的 Factors, 同時隨後進行的討論內容進一步證實了此 Factors 集合可以發揮的作用.

About Paper Writing

在 Paper 撰寫上我認為此篇 Paper 採用較為平鋪直敘的寫法. 首先在 Introduction 就說明問題, 以及本篇 Paper 所謹守的研究範圍. 接著承接研究目的及範圍, 說明上述的兩個主軸. 兩個主軸剛好對應到 Theory 本身的特性分析 ( Theory Type ) , 以及使用上的分析 ( Theory Role ), 因此分析立論一開始的空間感就很充足, 為之後的 Findings 解釋立下很說服人的基礎.

Section 3 說明此次 Review 的 Data 來源, 以及 Extract Data 的方法及原則. Section 4 則反向說明 Findings. 這裡的反向是指, 先從看完第三段後, 讀者可能會比較直覺想到的 Articles 與 Theories 之間的關係說明起, 再往回接到 Theory Roles 以及 Theory Types, Theory Components.我認為這樣寫的好處是不容易有文章閱讀上的斷點產生. 而後 Subsection 4.4, Subsection 4.5 則回歸到對於 Theory 出處以及所列為觀察的 Paper 之 Authors 之間, 對於 Theory 使用的分析, 我認為這邊事實上是回映到 Background 一開始的敘述. 回頭來稍微探討以 Theory 使用的觀點, Software Engineering 是否算是一個 Mature Science. Section 5 就以 Theory Use 為中心, 探討各項 Issues, 但是這邊我還看不出什麼 Regulation, 例如怎樣列出這些 Issues 之類的.

Remained Questions

• Paper 中提到, 對於所觀察的 Papers 選擇是自 1993 到 2002, 是否有特殊的理由 ? 或僅僅是因為 Time 以及 Effort 的考量而作此決定 ? 是否與 Empirical Study 的數量歷年增加比率有關 ?
• 本篇 Paper 本身是否也算是利用了 Role Theory ?
• Figure 1. 中, 左右的順序之意義為何 ?
• Figure 1. 中, Experiment 與 explain 所涵蓋的範圍是一樣嗎 ? 又所涵蓋的範圍應該怎樣解釋其意義. 同時 Theory 所涵蓋的範圍以及意義又是如何 ?
• 最後的 Section 5. Discussion 是否有任何的 Regulation 存在 ? 往後進行相似的 Researches 時, 應該怎樣進行 Discussion ?
  

References

[1] Jo E. Hannay, Dag I.K. Sjøberg, and Tore Dyba°, "A Systematic Review of Theory Use in Software Engineering Experiments," IEEE Transactions on Software Engineering, vol.33, no.2, pp.87-107, Feb. 2007