[爆卦]p值顯著差異是什麼?優點缺點精華區懶人包

為什麼這篇p值顯著差異鄉民發文收入到精華區:因為在p值顯著差異這個討論話題中,有許多相關的文章在討論,這篇最有參考價值!作者youchen (youchen)看板Statistics標題[問題] P值大小與顯著、非常顯著...


各位高手先進大家好,最近我遇到一個問題,想尋求各位大大解惑...

我們知道P值的定義是“在H0成立(u1 - u2 = 0,或是u1 = u2)的情況下,
出現我們這次實驗結果的機率”。如果說機率過小(小於0.05或0.01)的話,
表示H0的假設可能是錯誤的,應該要reject。
但有些資料寫說,“P < 0.05表示顯著,P < 0.01表示非常顯著,
P < 0.001表示極為顯著”。
但是我又看到有參考資料表示說,“因為P值是表示機率,所以不能用P值來描述
顯著差異的程度,只有表示有,或無顯著差異”。
比如:不能說P < 0.01的結果比P < 0.05的結果還要顯著,
也不能說P < 0.01的差異程度比P < 0.05還要大。


但是,如果把H0: u1-u2 = 0畫成分布圖的話(如圖)
http://i.imgur.com/qYO5ddW.jpg
若u1與u2的差異愈大,其u1 - u2的值就會愈接近兩邊2SD或3SD以外的
0.05或是0.01棄卻區(為求簡單化,請忽略單雙尾)。
也就是說如果u1 - u2的值位於0.01的棄卻區的話,u1和u2的差異
就是比位於0.05時還要大。
那這樣也不能說P < 0.01時的差異比P < 0.05時還要顯著嗎?


想請問一下以上論述的盲點在哪裡?
P值又是否可以表示顯著差異的程度呢?

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 160.252.170.14
※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1465808622.A.972.html
fred1541: 其實是兩面相輔說法 06/13 19:22
andrew43: 想一下什麼是「顯著差異的程度」 06/13 21:01
andrew43: 另外,從你的描述來看,猜測你似乎在問effect size 06/13 21:06
methylin: 可以p值很小但effect size 也很小 06/14 08:12
methylin: 有很強的證據顯示差距只有一點點 06/14 08:15
sam7207: 下這樣的決策 犯錯的機會較小 <=> 口語說 顯著的證據 06/15 02:42
yhliu: (1) p值不是 "出現我們這次實驗結果的機率", 是 06/15 04:58
yhliu: "出現比目前結果更極端或同樣極端的機率". 06/15 04:59
yhliu: 另一定義是 "目前結果可判定顯著的最小顯著水準". 06/15 05:01
yhliu: 所以 p< 0.05 表 顯著水準在0.05以上目前結果是顯著的. 06/15 05:03
yhliu: (2) p當然可以代表 "顯著的程度", 但它不代表 "差異程度". 06/15 05:05
yhliu: "顯著程度" 是指在允許多大的顯著水準下, 也就是在允 06/15 05:08
yhliu: 許多大的型I誤機率下依目前結果能判定顯著, 也被當作 06/15 05:09
yhliu: "證據強度" 的一種指標. "差異程度" 則是指真實參數與 06/15 05:11
yhliu: 虛無假說距離多遠. 06/15 05:12
recorriendo: 理論上alpha是實驗開始前就選定的 P<alpha就是不顯著 06/17 02:23
recorriendo: alpha代表了你這個實驗能容忍的type I error rate 06/17 02:25
recorriendo: 所以實驗的可信度是和一開始就決定的alpha有關 不是P 06/17 02:26
recorriendo: 事實上你跑個簡單模擬就知道了 從符合H0的亂數中取 06/17 02:32
recorriendo: 1000次data來做檢驗 就發現其中會讓你拒絕H0的比例就 06/17 02:33
recorriendo: 是alpha 而這些錯誤拒絕H0的檢驗 P可以很小 也可以 06/17 02:35
recorriendo: 只比alpha小一點 06/17 02:35
bmka: ASA's statement on statistical significance and p-values 06/19 23:14
bmka: www.amstat.org/newsroom/pressreleases/P-ValueStatement.p 06/19 23:16
bmka: df 06/19 23:16
TOOYA: P值的定義就錯了 07/05 04:43

你可能也想看看

搜尋相關網站