為什麼這篇p值顯著有問題鄉民發文收入到精華區：因為在p值顯著有問題這個討論話題中，有許多相關的文章在討論，這篇最有參考價值！作者youchen (youchen)看板Statistics標題[問題] P值大小與顯著、非常顯著...
各位高手先進大家好，最近我遇到一個問題，想尋求各位大大解惑...
我們知道P值的定義是“在H0成立（u1 - u2 = 0，或是u1 = u2）的情況下，
出現我們這次實驗結果的機率”。如果說機率過小（小於0.05或0.01）的話，
表示H0的假設可能是錯誤的，應該要reject。
但有些資料寫說，“P < 0.05表示顯著，P < 0.01表示非常顯著，
P < 0.001表示極為顯著”。
但是我又看到有參考資料表示說，“因為P值是表示機率，所以不能用P值來描述
顯著差異的程度，只有表示有，或無顯著差異”。
比如：不能說P < 0.01的結果比P < 0.05的結果還要顯著，
也不能說P < 0.01的差異程度比P < 0.05還要大。
但是，如果把H0: u1-u2 = 0畫成分布圖的話（如圖）
http://i.imgur.com/qYO5ddW.jpg
0.05或是0.01棄卻區（為求簡單化，請忽略單雙尾）。
也就是說如果u1 - u2的值位於0.01的棄卻區的話，u1和u2的差異
就是比位於0.05時還要大。
那這樣也不能說P < 0.01時的差異比P < 0.05時還要顯著嗎？
想請問一下以上論述的盲點在哪裡？
P值又是否可以表示顯著差異的程度呢？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 160.252.170.14
※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1465808622.A.972.html
推 fred1541: 其實是兩面相輔說法 06/13 19:22
推 andrew43: 想一下什麼是「顯著差異的程度」 06/13 21:01
→ andrew43: 另外，從你的描述來看，猜測你似乎在問effect size 06/13 21:06
推 methylin: 可以p值很小但effect size 也很小 06/14 08:12
推 methylin: 有很強的證據顯示差距只有一點點 06/14 08:15
推 sam7207: 下這樣的決策 犯錯的機會較小 <=> 口語說 顯著的證據 06/15 02:42
→ yhliu: (1) p值不是 "出現我們這次實驗結果的機率", 是 06/15 04:58
→ yhliu: "出現比目前結果更極端或同樣極端的機率". 06/15 04:59
→ yhliu: 另一定義是 "目前結果可判定顯著的最小顯著水準". 06/15 05:01
→ yhliu: 所以 p< 0.05 表 顯著水準在0.05以上目前結果是顯著的. 06/15 05:03
→ yhliu: (2) p當然可以代表 "顯著的程度", 但它不代表 "差異程度". 06/15 05:05
→ yhliu: "顯著程度" 是指在允許多大的顯著水準下, 也就是在允 06/15 05:08
→ yhliu: 許多大的型I誤機率下依目前結果能判定顯著, 也被當作 06/15 05:09
→ yhliu: "證據強度" 的一種指標. "差異程度" 則是指真實參數與 06/15 05:11
→ yhliu: 虛無假說距離多遠. 06/15 05:12
推 recorriendo: 理論上alpha是實驗開始前就選定的 P<alpha就是不顯著 06/17 02:23
→ recorriendo: alpha代表了你這個實驗能容忍的type I error rate 06/17 02:25
→ recorriendo: 所以實驗的可信度是和一開始就決定的alpha有關 不是P 06/17 02:26
→ recorriendo: 事實上你跑個簡單模擬就知道了 從符合H0的亂數中取 06/17 02:32
→ recorriendo: 1000次data來做檢驗 就發現其中會讓你拒絕H0的比例就 06/17 02:33
→ recorriendo: 是alpha 而這些錯誤拒絕H0的檢驗 P可以很小 也可以 06/17 02:35
→ recorriendo: 只比alpha小一點 06/17 02:35
推 bmka: ASA's statement on statistical significance and p-values 06/19 23:14
→ bmka: www.amstat.org/newsroom/pressreleases/P-ValueStatement.p 06/19 23:16
→ bmka: df 06/19 23:16
→ TOOYA: P值的定義就錯了 07/05 04:43