為什麼這篇variance符號鄉民發文收入到精華區：因為在variance符號這個討論話題中，有許多相關的文章在討論，這篇最有參考價值！作者gsuper (綠色蘇打心)看板Statistics標題Re: [問題]ANOVA是如何同時比較...
後來聽從版上的大大所說的
我專注在原始理論的部份
才發現我先前的問題都不是問題
ANOVA本身的前提就可以否定我自己提出的極端例子
------------------------------------------------------------------
可是
原始理論我有個重點不能理解
就是有關 MSt的定義 (迷之噓:那你不就是一知半解嗎? 答:我能說啥?
----------------------------推導開始----------------------------------
先設計一個狀況
N = 12 (總data數12個 也就是12個 Xij
k = 3 (組數3組
n1 = n2 = n3 = 4 (3組裡面的data各有4個
3組常態分布的samples
Variance沒有顯著差異
因此
可以很簡單的取得 s1^2 s2^2 s3^2
比照 Unpaired t test with pooled variance (Sp^2)
我嘗試去推導這個 ANOVA table 的 Sp^2
以下為推導過程 高手請略過
v1(s1^2) + v2(s2^2) + v3(s3^2)
______________________________ <- 這條橫線是除法符號 (冏....
Sp^2 =
v1 + v2 + v3
= (CSS1 + CSS2 + CSS3) / (N-k)
= SSerror / (N-k)
= MSe
= σ^2 (這樣寫不太對我知道....我只是想陳述理論...
= 母體變異數的 estimator
所以 MSe 的意義為
pooled variance of treatments
(這短短幾行花了我一整個下午去想 XDD)
尤其是要幫 MSe 定義真是太辛苦了
---------------OK MSe 的意義已經很清楚了
現在的問題就是MSt的定義了------------------
經過我的苦思
Sp^2 究竟要跟誰去比較 ?
答案當然是 MSt
可是MSt究竟是什麼?
非常非常努力思考過以後
我發現從常態分布的假設裡面
可以得到以下的邏輯關係
_ _ _ _
1. 3組樣本可以抽取出3個 Xi. ( X1. X2. X3.)
_
2. 3個 Xi. 可以代入一個 sampling distribution
3. 這個 sampling distribution 也是常態分布
4. sampling distribution 的標準差
原始data 的標準差
有 standard error 的關連性
想明白了這點以後
我開始嘗試去生產 sampling distribution 的 standard error
However !
以我殘破可憐的統計程度 (生統...很虛...
我不知道該怎麼生產 pooled standard error <---這是我自創的名詞不好意思...
因為我推測
MSt 是從 standard error 生產出來的玩意....
我嚐試了以下幾種算法
1. Sp^2 / N (直接用 Sp^2 轉換成sampling distribution的standard error
2. Sp^2 / k
s1^2 * v1 + s2^2 * v2 + s3^2 * v3
3. ___________________________________ 除以 N (樣本變異數加權以後
再轉換成
v1 + v2 + v3 standard error
s1^2 * v1 + s2^2 * v2 + s3^2 * v3
4. ___________________________________ 除以 k
v1 + v2 + v3
s1/n1^0.5 * v1 + s2/n2^0.5 * v2 + s3/n3^0.5 * v3
5. __________________________________________________ (算完各自的
standard error
v1 + v2 + v3 再進行加權
_ _ _ _ _ _
(X1.-X..)^2 + (X2.-X..)^2 + (X3.-X..)^2
6. __________________________________________
( k - 1 )
_ _ _ _ _ _
(X1.-X..)^2 * v1 + (X2.-X..)^2 * v2 + (X3.-X..)^2 * v3
7. _________________________________________________________
v1 + v2 + v3
經過了一番混戰之後 (約4個小時吧...
我發現一件事
不管哪一種算法都不能推導出 MSt
而且我還不知道哪一種算法是正確的 超想哭....
---------------------------------------------------------------------
問題總結
1. MSt 到底怎麼來的?
2. MSt 的正確定義究竟是什麼?
3. pooled standard error 究竟要怎麼取得?
----------------------------------------------------------------------
如果您看不懂我在說什麼...
絕對是我的表達方式不好... sorry
但是我盡力了....
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 61.231.236.46
※ 編輯: gsuper 來自: 61.231.236.46 (06/05 21:38)
※ 編輯: gsuper 來自: 61.231.236.46 (06/05 21:46)
※ 編輯: gsuper 來自: 61.231.236.46 (06/05 21:57)
※ 編輯: gsuper 來自: 61.231.236.46 (06/05 22:02)
※ 編輯: gsuper 來自: 61.231.236.46 (06/05 22:24)
※ 編輯: gsuper 來自: 61.231.236.46 (06/05 22:25)
→ gsuper:其實最後7種算法 1st=3rd 2nd=4th 我居然沒發現 06/05 22:28
※ 編輯: gsuper 來自: 61.231.236.46 (06/05 22:47)推 asaba:原PO 我覺得你應該買本中文統計課本看一下 囧 06/05 22:57
→ asaba:ANOVA中 k=2時 就是兩常態母體平均數是否相等的混合T檢定 06/05 23:05
→ asaba:所以Sp^2是跟MSE一樣的東西 06/05 23:06
→ gsuper:Yes! 我就是這麼想的...但是 ＭＳt 在unpaired t 裡面 06/05 23:09
→ gsuper:是沒有的...所以我才無從推導起.... 06/05 23:09
※ 編輯: gsuper 來自: 61.231.236.46 (06/05 23:10)→ asaba:MSTR再K=2時 =SSTR 把他展開再除MSE 用SP^2的方式寫 就OK了 06/05 23:16
^^^^^^^^^^^^^^^^^ ^^^^^^^^^^^^^^^ ^^^^^^^^^^^^^懂 為什麼要這樣做？ 轉換是怎麼做？
（感覺有前進一點了....可是還是沒有很了解....)
※ 編輯: gsuper 來自: 61.231.236.46 (06/05 23:31)
→ asaba:T分配是Z/根號"卡方(v)" 平方以後就是 Z^2/卡方(v) 06/05 23:53
→ asaba: 要除自由度v忘了打... 06/05 23:54
→ asaba:又Z^2等於卡方(1) 所以原式= [卡方(1)/1]/[卡方(v)/v] =F 06/05 23:55
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^天書.....
→ asaba:所以k=2時 你可整理 把F = MSTR/MSR = SSTR/MSE 06/06 00:12
→ asaba:=SSTR/Sp^2 = T^2 06/06 00:12
^^^^^^^^^^^^^^^^^^後勁很強....計算起來超合理的
但是還差一個定義問題 _
ＭＳｔ是要量化 ( X - u )^2 這個東西嗎？
(based on t test.....
不過我已經搞不清楚現在究竟是 population distribution
還是 sampling distribution
※ 編輯: gsuper 來自: 61.231.236.46 (06/06 00:33)
→ asaba:原PO不知道那些統計量之間的關係的話 06/06 01:08
→ asaba:自己要轉換的話 會有一點點難度@@ 06/06 01:08
→ lin15:對... 06/06 01:10
→ asaba:MSTR最後可以變成(X1bar+X2bar)^2/(1/n1+1/n2) 06/06 01:10
^^^^^^^^^^^^^^^^^^^^^^^^^^^_ _
這裡的感覺是 pooled X (not X..)
而且 pooled的方式跟 bonferroni t很類似...
→ asaba:MSE=Sp^2 就是[(n1-1)S1^2+(n2-1)S2^2]/n1+n2-2 06/06 01:11
→ asaba:相除以後 就是混合T統計量的平方 06/06 01:11
※ 編輯: gsuper 來自: 61.231.236.46 (06/06 01:28)→ asaba:原PO 你應該要先知道把SSTO分成SSE跟SSTR的意義是什麼... 06/06 09:18
→ asaba:除以分別的自由度 就是從平方合變成均方合 06/06 09:29
→ asaba:也就是變成了兩個卡方... 這可以證明 然後相除變Ｆ 06/06 09:33
所以我的問題應該就是不懂
F = t^2 吧... (when k = 2)
請問這是在哪方面的章節有提到?
我當初在念 F 和 t 的時候都沒看過這個等式...
※ 編輯: gsuper 來自: 61.231.236.46 (06/06 14:03)
※ 編輯: gsuper 來自: 61.231.236.46 (06/06 14:56)
→ asaba:這個應該是在ANOVA講完以後都會提一下的吧 06/07 01:12
我的生統課本沒提到
不過根據bmka大給的網址 還有 維機百科
都有提到這個等式
根據 F = t^2 (推導過程 unknown)
我只能暫時把 MSt 定義成這樣
_ _
np (Xp. - X..)^2 _
where np = pooled n Xp. = pooled mean of treatment
這兩個東西又是我自創的了
我是把MSt理解為一個 "pool" 的過程
把 np 移項到 Sp^2 的分母以後
會變成 sampling distribution 的 t^2
_ _
where F = MSt/MSe = (Xp.- X..)^2 = t^2
_____________
Sp^2 / np
可是沒辦法解釋 MSt 的 pool 過程
------------------------------------------------------------
So far
我決定暫時封印ANOVA的推導了
雖然很想了解理論來源
可是程度不足實在沒辦法
感謝bmka大大 和 asaba大大 的費心
※ 編輯: gsuper 來自: 61.231.247.229 (06/07 13:58)
※ 編輯: gsuper 來自: 61.231.247.229 (06/07 14:01)
※ 編輯: gsuper 來自: 61.231.247.229 (06/07 14:02)
※ 編輯: gsuper 來自: 61.231.246.12 (06/07 14:16)
→ bmka:不必著急, 統計方法要多用才會有感覺 06/11 09:40
→ bmka:如果不是科班出身的, 建議先玩玩data analysis 06/11 09:41
→ bmka:受過比較多數學訓練的人,讀統計比較輕鬆, 但也未必能讀得好 06/11 09:44
→ bmka:主要就是能不能抓住統計的直覺性 06/11 09:44