常常看到文章說
因為樣本數太少
無法用LISREL
因此用PLS跑
PLS優點是可以處理小樣本.....

但我有個疑問
我只知道PLS是用部分最小平方法來跑
那為何他就能處理小樣本呢?
而且文獻中只提到他的優點
並沒有說他的缺點
那大家都用PLS就好了何必用LISREL呢?

不知是否有SEM達人知道
謝謝

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.112.110.193

> -------------------------------------------------------------------------- <

作者: danny789 (這其中一定有什麼誤會) 看板: Statistics
標題: Re: [問題] SEM用PLS跑的問題與優缺點?
時間: Mon Apr 27 17:02:57 2009

※ 引述《dinotwo (呼呼)》之銘言：
: 標題: [問題] SEM用PLS跑的問題與優缺點?
: 時間: Tue Dec 19 19:53:51 2006
:
: 常常看到文章說
: 因為樣本數太少
: 無法用LISREL
: 因此用PLS跑
: PLS優點是可以處理小樣本.....
:
: 但我有個疑問
: 我只知道PLS是用部分最小平方法來跑
: 那為何他就能處理小樣本呢?
: 而且文獻中只提到他的優點
: 並沒有說他的缺點
: 那大家都用PLS就好了何必用LISREL呢?
:
: 不知是否有SEM達人知道
: 謝謝
:
: --
: ※ 發信站: 批踢踢實業坊(ptt.cc)
: ◆ From: 140.112.110.193
: 推 Altair:兩種方法的前提假設(嚴謹度)不同 SEM比較龜毛 12/20 10:44 : → Altair:至於優缺點比較 自個google一下吧 12/20 10:50
如果以嚴謹度來說, PLS 比 SEM 更龜毛
PLS之所以可以處理小樣本, 是因為 resample 的技術,
所以 sample size最小可以到 20 筆,並且分析的資料可以不用呈常態分配
(常態分配是很多統計方法的基本假設)
PLS同樣可以如傳統的SEM一樣, 分為二階段分析
(measurement model analysis & structural model analysis)以求更嚴謹

PLS與SEM最大不同之處是沒有 fit indices, 而是看所有 DV R-Sq 的值是否大於某值
(Chin, 1998)來評定此 Model 是否 fit

另外, PLS 有 SEM2 (第二代 SEM)之稱, 並被資管領域期刊 MIS Quarterly 作為
官方建議使用分析方法

軟體部份的話 PLS-Graph 是國外常用的軟體, 但不知道是 Chin 太忙還是怎樣, E-Mail
聯絡都沒下文, 但此軟體國內有某些教授有, 也許可以找到也說不定

除了 PLS-Graph 外, 還有 SmartPLS(德國)及Visual PLS(高應大)
SmartPLS 是 University of Hamburg 開發出來的軟體, 已經被應用了有幾年的時間,
並且已經有很多用此軟體分析的論文被國外重要期刊接受
http://www.smartpls.de (此軟體可免費註冊取得所需要的 Key)

Visual PLS雖然是國內寫的, 不過它只有負責 GUI 的部份, 核心還是使用 Chin 所開發的
DOS PLS, 不過解決了資料輸入及簡化 Model 的建構問題
http://www2.kuas.edu.tw/prof/fred/vpls/about.htm


感謝 cloud0242 的指教已更正為 chin 年紀大了(汗)
至於 The Partial Least Squares Approach to Structural Equation Modeling
的電子檔,因為年代久遠,還真的沒有 pdf 檔只有紙本,不過使用校際館藏合作, 還
是可以拿到影印本的.

--
Keroro軍曹對多啦a夢說:
PTT星球上有二國人...
一種是自認與其他人不同國的人
另一種是認為大家都是同一國的人

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 122.254.33.185
※ 編輯: danny789 來自: 122.254.33.185 (04/28 19:22)

> -------------------------------------------------------------------------- <

作者: ryeh (尋DFW的1元握壽司~) 看板: Statistics
標題: Re: [問題] SEM用PLS跑的問題與優缺點?
時間: Sat May 9 12:40:59 2009

有個問題請教一下：跑PLS時變數的range好像會影響coefficient，我的情形是大多數的
item都是用likert scale，但是有一、二個不是，好像這一、二個變數的range，例如用
1-1000 or 1-100 會有不同的coefficient，這正常嗎？要怎麼辦啊？

另外bootstrapping通常設多少次比較好？謝謝回答~


※ 引述《danny789 (這其中一定有什麼誤會)》之銘言：
: : --
: : ◆ From: 140.112.110.193
: : 推 Altair:兩種方法的前提假設(嚴謹度)不同 SEM比較龜毛 12/20 10:44 : : → Altair:至於優缺點比較 自個google一下吧 12/20 10:50 : 如果以嚴謹度來說, PLS 比 SEM 更龜毛
: PLS之所以可以處理小樣本, 是因為 resample 的技術,
: 所以 sample size最小可以到 20 筆,並且分析的資料可以不用呈常態分配
: (常態分配是很多統計方法的基本假設)
: PLS同樣可以如傳統的SEM一樣, 分為二階段分析
: (measurement model analysis & structural model analysis)以求更嚴謹
: PLS與SEM最大不同之處是沒有 fit indices, 而是看所有 DV R-Sq 的值是否大於某值
: (Chin, 1998)來評定此 Model 是否 fit
: 另外, PLS 有 SEM2 (第二代 SEM)之稱, 並被資管領域期刊 MIS Quarterly 作為
: 官方建議使用分析方法
: 軟體部份的話 PLS-Graph 是國外常用的軟體, 但不知道是 Chin 太忙還是怎樣, E-Mail
: 聯絡都沒下文, 但此軟體國內有某些教授有, 也許可以找到也說不定
: 除了 PLS-Graph 外, 還有 SmartPLS(德國)及Visual PLS(高應大)
: SmartPLS 是 University of Hamburg 開發出來的軟體, 已經被應用了有幾年的時間,
: 並且已經有很多用此軟體分析的論文被國外重要期刊接受
: http://www.smartpls.de (此軟體可免費註冊取得所需要的 Key)
: Visual PLS雖然是國內寫的, 不過它只有負責 GUI 的部份, 核心還是使用 Chin 所開發的
: DOS PLS, 不過解決了資料輸入及簡化 Model 的建構問題
: http://www2.kuas.edu.tw/prof/fred/vpls/about.htm
: 感謝 cloud0242 的指教已更正為 chin 年紀大了(汗)
: 至於 The Partial Least Squares Approach to Structural Equation Modeling
: 的電子檔,因為年代久遠,還真的沒有 pdf 檔只有紙本,不過使用校際館藏合作, 還
: 是可以拿到影印本的.

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 99.160.11.34

> -------------------------------------------------------------------------- <

作者: danny789 (這其中一定有什麼誤會) 看板: Statistics
標題: Re: [問題] SEM用PLS跑的問題與優缺點?
時間: Mon May 11 12:50:28 2009

※ 引述《ryeh (尋DFW的1元握壽司~)》之銘言：
: 標題: Re: [問題] SEM用PLS跑的問題與優缺點?
: 時間: Sat May 9 12:40:59 2009
:
: 有個問題請教一下：跑PLS時變數的range好像會影響coefficient，我的情形是大多數的
: item都是用likert scale，但是有一、二個不是，好像這一、二個變數的range，例如用
: 1-1000 or 1-100 會有不同的coefficient，這正常嗎？要怎麼辦啊？
:
: 另外bootstrapping通常設多少次比較好？謝謝回答~

就我所知 likert scale 是採用那一種, 並沒有學術上的證據可以證明有影響
而採用 1-1000 or 1-100 這種等距量表(我猜你的是這種)
其實在統計上與 likert scale 是類似的, 只是分的比較細而已
不過我有看過有些教授會將他轉成 likert scale, ex: 0-10 -> 1, 11-20 -> 2 ...

至於 bootstrapping 的 resample 通常設多少次比較好, 其實並沒有定論 ..
(軟體內定是100, 我也看過設為 200, 300 的)
不過 MISQ 有很多 paper 是採用 500, 我想這個數字是比較恰當的, 而且也有實際發表
的 paper 可引用

--
Keroro軍曹對多啦a夢說:
PTT星球上有二國人...
一種是自認與其他人不同國的人
另一種是認為大家都是同一國的人

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 122.254.33.185
※ 編輯: danny789 來自: 122.254.33.185 (05/11 12:54)

> -------------------------------------------------------------------------- <

作者: chenyutn (人生要死，何為苦心。) 看板: Statistics
標題: Re: [問題] SEM用PLS跑的問題與優缺點?
時間: Tue May 12 14:01:33 2009

※ 引述《danny789 (這其中一定有什麼誤會)》之銘言：
: 標題: Re: [問題] SEM用PLS跑的問題與優缺點?
: 時間: Mon May 11 12:50:28 2009
:
: ※ 引述《ryeh (尋DFW的1元握壽司~)》之銘言：
: : 標題: Re: [問題] SEM用PLS跑的問題與優缺點?
: : 時間: Sat May 9 12:40:59 2009
: :
: : 有個問題請教一下：跑PLS時變數的range好像會影響coefficient，我的情形是大多數的
: : item都是用likert scale，但是有一、二個不是，好像這一、二個變數的range，例如用
: : 1-1000 or 1-100 會有不同的coefficient，這正常嗎？要怎麼辦啊？
: :
: : 另外bootstrapping通常設多少次比較好？謝謝回答~
:
: 就我所知 likert scale 是採用那一種, 並沒有學術上的證據可以證明有影響
: 而採用 1-1000 or 1-100 這種等距量表(我猜你的是這種)
: 其實在統計上與 likert scale 是類似的, 只是分的比較細而已
: 不過我有看過有些教授會將他轉成 likert scale, ex: 0-10 -> 1, 11-20 -> 2 ...
:
: 至於 bootstrapping 的 resample 通常設多少次比較好, 其實並沒有定論 ..
: (軟體內定是100, 我也看過設為 200, 300 的)
: 不過 MISQ 有很多 paper 是採用 500, 我想這個數字是比較恰當的, 而且也有實際發表
: 的 paper 可引用
:
: --
: Keroro軍曹對多啦a夢說:
: PTT星球上有二國人...
: 一種是自認與其他人不同國的人
: 另一種是認為大家都是同一國的人
:
: --
: ※ 發信站: 批踢踢實業坊(ptt.cc)
: ◆ From: 122.254.33.185
: ※ 編輯: danny789 來自: 122.254.33.185 (05/11 12:54)
: 推 chenyutn:bootstrap大約一千次就很足夠了 05/11 22:53 : → chenyutn:畢竟現在電腦跑得很快啊 05/11 22:53 : → danny789:老實說我有作過實驗resample設300-1000差異不大,並不是電 05/12 08:31 : → danny789:腦速度的問題,而且在MIS領域我真沒看過設1000的paper 05/12 08:33 : → danny789:所以resample並不是設越大越好,也必須有文獻支持吧? 05/12 08:34
想說乾脆回文好了XD

Preacher, K. J., & Hayes, A. F. (2008). Asymptotic and resampling strategies
for assessing and comparing indirect effects in multiple mediator models

這是其中的一段：

There is no consensus as to how many bootstrap samples should
be generated, except that more is better. Given that the percentile end-
points are estimated using extremes of the sampling distribution and
that, for BCa intervals, a good estimate of the acceleration constant
is needed, it is important to minimize sampling variance in these es-
timates. We recommend at least 5,000 resamples for final reporting,
although 1,000 is probably sufficient for preliminary analyses. There
is little reason to use fewer, given the speed of today’s desktop comput-
ing technology.

這段也是我的立論基礎，雖然在數字設定多少才算大方面仍沒有立論，但resample
的確是設越大越好。

我想，這應該不會因傳播或MIS領域不同而變吧？

還是說，有別的研究者有不同意見的？由於我是傳播領域的，所以看的多半是傳播
類的paper，但這幾篇都有討論到resample數，不知道其他領域（例如統計）的paper
是不是也有討論到，而有不同意見？

--
◤◢ 玄妙系列作第二部《黃泉路》 全家、福客多、OK便利商店熱賣中 ▊▋▌▍▎
▇▆◣▅▇▇▅▆▇█▋ ▇▆▇▍▄▇ ▇▅▂▄▆▇▏ ▇ ．
． ▏ ‧ ═▉ ▎ 發生過命案的三重賓館857號房 ▏ ‧
… ═ ▉ ▏ 憑空傳來的詭異歌聲 ▏ ▎ ． ‥
‥ ． ═ ˙▊ ▉ ‧ 歸來的惡靈即將帶走他們的性命.◢▉ .
． ◣ ﹎ ▄ ‧ ▊ ▉▇◣ ▄▅ http://kuso.cc/4ltv ﹒ ▎▊ ▆ ﹊

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 114.42.91.208
※ 編輯: chenyutn 來自: 114.42.91.208 (05/12 14:05)

> -------------------------------------------------------------------------- <

作者: danny789 (這其中一定有什麼誤會) 看板: Statistics
標題: Re: [問題] SEM用PLS跑的問題與優缺點?
時間: Tue May 12 22:57:22 2009

※ 引述《chenyutn (人生要死，何為苦心。)》之銘言：
: 標題: Re: [問題] SEM用PLS跑的問題與優缺點?
: 時間: Tue May 12 14:01:33 2009
:
: : 推 chenyutn:bootstrap大約一千次就很足夠了 05/11 22:53 : : → chenyutn:畢竟現在電腦跑得很快啊 05/11 22:53 : : → danny789:老實說我有作過實驗resample設300-1000差異不大,並不是電 05/12 08:31 : : → danny789:腦速度的問題,而且在MIS領域我真沒看過設1000的paper 05/12 08:33 : : → danny789:所以resample並不是設越大越好,也必須有文獻支持吧? 05/12 08:34 :
: 想說乾脆回文好了XD
:
: Preacher, K. J., & Hayes, A. F. (2008). Asymptotic and resampling strategies
: for assessing and comparing indirect effects in multiple mediator models
:
: 這是其中的一段：
:
: There is no consensus as to how many bootstrap samples should
: be generated, except that more is better. Given that the percentile end-
: points are estimated using extremes of the sampling distribution and
: that, for BCa intervals, a good estimate of the acceleration constant
: is needed, it is important to minimize sampling variance in these es-
: timates. We recommend at least 5,000 resamples for final reporting,
: although 1,000 is probably sufficient for preliminary analyses. There
: is little reason to use fewer, given the speed of today’s desktop comput-
: ing technology.
:
: 這段也是我的立論基礎，雖然在數字設定多少才算大方面仍沒有立論，但resample
: 的確是設越大越好。
:
: 我想，這應該不會因傳播或MIS領域不同而變吧？
:
: 還是說，有別的研究者有不同意見的？由於我是傳播領域的，所以看的多半是傳播
: 類的paper，但這幾篇都有討論到resample數，不知道其他領域（例如統計）的paper
: 是不是也有討論到，而有不同意見？

關於 resample 是不是設越大越好? 其實我找不到文獻支持, 所以我也不敢評論.

並且 Behavior Research Methods 是否是該領域不錯的 Journal 我也不懂
不過我用 ABI/INFORM Global 及 ScienceDirect (SDOL/SDOS) 都查無此
Journal title 不知何因 ?
還有此篇右下角有學術期刊所沒有的 "Copyright 2008 Psychonomic Society, Inc."
不知道這是指什麼?

關於這篇文獻(Preacher, 2008)的網路 pdf, 我初略的看了一下內容
我對此篇探討 PLS 而沒有提到 chin 感到有點疑惑, 當然也不是一定要引用 chin
只是有點怪

不知道是否有其他比較強(多)的證據或文獻可以證明 resample size 設越大越好?

以下引用 chin(2001)的 PLS-Graph User's Guide 內容片段
(已有 MIS 領域不錯的 Journal paper 引用)
The default Bootstrap options are 100 resamples with each sample consisting of the same number of
cases as your original sample set. The bootstrap procedure samples with replacement from your
original sample set. It continues to sample until it reaches the number of cases you specify (or the
default). This procedure is repeated until it reaches the number of bootstrap resamples you specify (or
the default of 100). In general, resamples of 200 tend to provide reasonable standard error estimates.

以下是快速找到的幾篇 MIS papers
Resample = 100
Henry, R.M., McCray, G.E., Purvis, R.L. Roberts, T.L. (2007) "Exploiting Organizational Knowledge in Developing IS Project Cost and Schedule Estimates: An Empirical Study", Information & Management, Vol. 44 No.6, pp.598-612.

Resample = 500
Ko, D., Kirsch, J.L., King, W.R. (2005) "Antecedents of knowledge transfer from consultants to clients in enterprise system implementations", MIS Quarterly, Vol. 29 No.1, pp.59-85.

Resample = 100 & 500
Goodhue, D., Lewis, W., and Thompson, R., (2007) "Statistical Power in Analyzing Interaction Effects: Questioning the Advantage of PLS With Product Indicators", Information Systems Research, Vol. 18 No.2, pp.211-227.

也許 Goodhue et al.(2007) 這篇是答案, 但我找不到 pdf 檔可以看(汗)
※ 編輯: danny789 來自: 122.254.33.185 (05/12 23:00)

> -------------------------------------------------------------------------- <

作者: danny789 (這其中一定有什麼誤會) 看板: Statistics
標題: Re: [問題] SEM用PLS跑的問題與優缺點?
時間: Thu May 14 16:54:52 2009

: 不知道是否有其他比較強(多)的證據或文獻可以證明 resample size 設越大越好?
:
: 以下引用 chin(2001)的 PLS-Graph User's Guide 內容片段
: (已有 MIS 領域不錯的 Journal paper 引用)
: The default Bootstrap options are 100 resamples with each sample consisting of the same number of
: cases as your original sample set. The bootstrap procedure samples with replacement from your
: original sample set. It continues to sample until it reaches the number of cases you specify (or the
: default). This procedure is repeated until it reaches the number of bootstrap resamples you specify (or
: the default of 100). In general, resamples of 200 tend to provide reasonable standard error estimates.
:
: 以下是快速找到的幾篇 MIS papers
: Resample = 100
: Henry, R.M., McCray, G.E., Purvis, R.L. Roberts, T.L. (2007) "Exploiting Organizational Knowledge in Developing IS Project Cost and Schedule Estimates: An Empirical Study", Information & Management, Vol. 44 No.6, pp.598-612.
:
: Resample = 500
: Ko, D., Kirsch, J.L., King, W.R. (2005) "Antecedents of knowledge transfer from consultants to clients in enterprise system implementations", MIS Quarterly, Vol. 29 No.1, pp.59-85.
:
: Resample = 100 & 500
: Goodhue, D., Lewis, W., and Thompson, R., (2007) "Statistical Power in Analyzing Interaction Effects: Questioning the Advantage of PLS With Product Indicators", Information Systems Research, Vol. 18 No.2, pp.211-227.
:
: 也許 Goodhue et al.(2007) 這篇是答案, 但我找不到 pdf 檔可以看(汗)

: → bmka:這個問題沒那麼複雜吧,先把bootstrap方法原理弄懂 05/12 23:01 : → bmka:resample 數目當然越大越好,至於要多大,那要看data distribut 05/12 23:03 : → bmka:跑久一點不會吃虧的 05/12 23:04
對於我來說 PLS 只是一個工具而已
我只要知道如何使用及瞭解它的假設及限制, 而能產出 outcome 並解讀就可以了
如同您會操作電腦, 但您知道半導體是如何製造的嗎? 畢竟電腦只是一個工具而已

也許您只是站在純數學的觀點來看, 認為 resample 設越大越好
但這樣反而太過操弄統計這個工具了, 這樣統計的結果真的就是事實的結果嗎?
如果您可以提供文獻證明 resample 設越大越好, 那我也可以修正我原來的看法.

若如您所言, 對於 resample 設越大越好, 我一個合理的懷疑
那麼這許多作研究的學者應該會有人提到這點, 但是並沒有 ...
至少我看過的 papers 沒人提到此點

而且我相信這些學者的電腦應該不會太差, resample 設100萬也不是問題才對
所以我認為這並不是電腦執行速度的問題

我後來還是找到了 Goodhue et al.(2007) 這篇 pdf 檔 (ISR 在 MIS 排前五大期刊)
也許底下的片段可以解答您的問題, 所以我的建議還是設 500 比較恰當
因為這是大多數學者所使用的數值

It might be suggested that we should use bootstrapping
with 500 resamples (rather than 100). Five hundred
resamples is the usual recommendation when
using bootstrapping to estimate a parameter using a
single sample (Chin 1998). However, we draw 500
samples (500 researchers) from the same population
for each cell in our analysis, and use bootstrapping
with 100 resamples on each of those. This amounts to
50,000 resamples for each cell, and hence we expect
that moving from 50,000 to 250,000 resamples in each
cell would not affect the outcome.

--
Keroro軍曹對多啦a夢說:
PTT星球上有二國人...
一種是自認與其他人不同國的人
另一種是認為大家都是同一國的人

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 122.254.33.185
※ 編輯: danny789 來自: 122.254.33.185 (05/14 16:56)

> -------------------------------------------------------------------------- <

作者: chenyutn (人生要死，何為苦心。) 看板: Statistics
標題: Re: [問題] SEM用PLS跑的問題與優缺點?
時間: Sat May 16 00:18:08 2009

※ 引述《danny789 (這其中一定有什麼誤會)》之銘言：
: : 不知道是否有其他比較強(多)的證據或文獻可以證明 resample size 設越大越好?
: : 以下引用 chin(2001)的 PLS-Graph User's Guide 內容片段
: : (已有 MIS 領域不錯的 Journal paper 引用)
: : The default Bootstrap options are 100 resamples with each sample consisting of the same number of
: : cases as your original sample set. The bootstrap procedure samples with replacement from your
: : original sample set. It continues to sample until it reaches the number of cases you specify (or the
: : default). This procedure is repeated until it reaches the number of bootstrap resamples you specify (or
: : the default of 100). In general, resamples of 200 tend to provide reasonable standard error estimates.
: : 以下是快速找到的幾篇 MIS papers
: : Resample = 100
: : Henry, R.M., McCray, G.E., Purvis, R.L. Roberts, T.L. (2007) "Exploiting Organizational Knowledge in Developing IS Project Cost and Schedule Estimates: An Empirical Study", Information & Management, Vol. 44 No.6, pp.598-612.
: : Resample = 500
: : Ko, D., Kirsch, J.L., King, W.R. (2005) "Antecedents of knowledge transfer from consultants to clients in enterprise system implementations", MIS Quarterly, Vol. 29 No.1, pp.59-85.
: : Resample = 100 & 500
: : Goodhue, D., Lewis, W., and Thompson, R., (2007) "Statistical Power in Analyzing Interaction Effects: Questioning the Advantage of PLS With Product Indicators", Information Systems Research, Vol. 18 No.2, pp.211-227.
: : 也許 Goodhue et al.(2007) 這篇是答案, 但我找不到 pdf 檔可以看(汗)
: : → bmka:這個問題沒那麼複雜吧,先把bootstrap方法原理弄懂 05/12 23:01 : : → bmka:resample 數目當然越大越好,至於要多大,那要看data distribut 05/12 23:03 : : → bmka:跑久一點不會吃虧的 05/12 23:04 : 對於我來說 PLS 只是一個工具而已
: 我只要知道如何使用及瞭解它的假設及限制, 而能產出 outcome 並解讀就可以了
: 如同您會操作電腦, 但您知道半導體是如何製造的嗎? 畢竟電腦只是一個工具而已
: 也許您只是站在純數學的觀點來看, 認為 resample 設越大越好
: 但這樣反而太過操弄統計這個工具了, 這樣統計的結果真的就是事實的結果嗎?
: 如果您可以提供文獻證明 resample 設越大越好, 那我也可以修正我原來的看法.
: 若如您所言, 對於 resample 設越大越好, 我一個合理的懷疑
: 那麼這許多作研究的學者應該會有人提到這點, 但是並沒有 ...
: 至少我看過的 papers 沒人提到此點
: 而且我相信這些學者的電腦應該不會太差, resample 設100萬也不是問題才對
: 所以我認為這並不是電腦執行速度的問題
: 我後來還是找到了 Goodhue et al.(2007) 這篇 pdf 檔 (ISR 在 MIS 排前五大期刊)
: 也許底下的片段可以解答您的問題, 所以我的建議還是設 500 比較恰當
: 因為這是大多數學者所使用的數值
: It might be suggested that we should use bootstrapping
: with 500 resamples (rather than 100). Five hundred
: resamples is the usual recommendation when
: using bootstrapping to estimate a parameter using a
: single sample (Chin 1998). However, we draw 500
: samples (500 researchers) from the same population
: for each cell in our analysis, and use bootstrapping
: with 100 resamples on each of those. This amounts to
: 50,000 resamples for each cell, and hence we expect
: that moving from 50,000 to 250,000 resamples in each
: cell would not affect the outcome.

bootstrapping的目的本就是
Estimate parameters that we don't know how to estimate analytically
(Howell, 2002, http://tinyurl.com/q6v3c2) .

以下取自Stata的guidelines（http://www.stata.com/support/faqs/stat/reps.html），
懶得翻了，僅標重點。

這段告訴我們一點：

數字設多大不一定，但越大必然會獲得越精確的CI估計。
只是我們需不需要這麼精確的數字而已。

我想其實danny789板友也是想表達這個意思，只是在回文時我太注重500這個數字了，
因為我覺得能越精確當然越好啊。:P

所以bmka板友前幾篇推文給的建議非常實用，設個500次、1000次跑看看，
再跟2000次比較一下有沒有太大的差異，如果沒有，就放心報告吧。


How large should the bootstrapped samples be relative to the total number
of cases in the dataset?


In terms of the number of replications, there is no fixed answer such as
“250” or “1,000”to the question. The right answer is that you should
choose an infinite number of replications because, at a formal level, that
is what the bootstrap requires.

The key to the usefulness of the bootstrap is that it converges in terms of
numbers of replications reasonably quickly, and so running a finite number
of replications is good enough—assuming the number of replications chosen
is large enough.

The above statement contains the key to choosing the right number of
replications. Here is the recipe:

1. Choose a large but tolerable number of replications. Obtain the
bootstrap estimates.

2. Change the random-number seed. Obtain the bootstrap estimates
again, using the same number of replications.

3. Do the results change meaningfully? If so, the first number you chose
was too small. Try a larger number. If results are similar enough, you
probably have a large enough number. To be sure, you should probably
perform step 2 a few more times, but I seldom do.

Whether results change meaningfully is a matter of judgment and has to be
interpreted given the problem at hand. How accurately do you need the
standard errors, confidence intervals, etc.? Often, a few digits of precision
is good enough because, even if you had the standard error calculated
perfectly, you have to ask yourself how much you believe your model in terms
of all the other assumptions that went into it. For instance, in a Becker
earnings model of the return to schooling, you might tell me that return is
6% with a standard error of 1, and I might believe you. If you told me the
return is 6.10394884% and the standard error is .9899394, you have more
precision but have not provided any additional useful information.


--
◤◢ 玄妙系列作第二部《黃泉路》 全家、福客多、OK便利商店熱賣中 ▊▋▌▍▎
▇▆◣▅▇▇▅▆▇█▋ ▇▆▇▍▄▇ ▇▅▂▄▆▇▏ ▇ ．
． ▏ ‧ ═▉ ▎ 發生過命案的三重賓館857號房 ▏ ‧
… ═ ▉ ▏ 憑空傳來的詭異歌聲 ▏ ▎ ． ‥
‥ ． ═ ˙▊ ▉ ‧ 歸來的惡靈即將帶走他們的性命.◢▉ .
． ◣ ﹎ ▄ ‧ ▊ ▉▇◣ ▄▅ http://kuso.cc/4ltv ﹒ ▎▊ ▆ ﹊

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 114.45.174.165

> -------------------------------------------------------------------------- <

作者: chenyutn (人生要死，何為苦心。) 看板: Statistics
標題: Re: [問題] SEM用PLS跑的問題與優缺點?
時間: Tue Jun 2 13:12:31 2009

我後來直接寄信去問Dr. Goodue了。


Dr. Goodhue,

sorry for my poor English, I am a graduate student in Taiwan, having a question
about your article "Statistical Power in Analyzing Interaction Effects:
Questioning the Advantage of PLS With Product Indicators". I wonder how many
bootstrapping resamples would be enough for estimating the parameter? Is that
"the more, the better" making sense? And, why the five hundred resamples is the
usual recommendation?

An article of Stata (http://www.stata.com/support/faqs/stat/reps.html) suggests
that "the right answer is that you should choose an infinite number of
replications because, at a formal level, that is what the bootstrap requires",
and recommend three steps for identifying the reasonable number of resamples:

"1. Choose a large but tolerable number of replications. Obtain the bootstrap
estimates.

2. Change the random-number seed. Obtain the bootstrap estimates again, using
the same number of replications.

3. Do the results change meaningfully? If so, the first number you chose was
too small. Try a larger number. If results are similar enough, you probably
have a large enough number. To be sure, you should probably perform step 2
a few more times, but I seldom do."

Is that true?

I hope I've explained my questions well, and hope they make sense.


Thanks for your help!

Chen, Y-T



剛剛收到Dr. Goodue的回覆：

Chen,

Attached is the material from the paper on the number of resamples. As you can
see, we did carry out a version of what is recommended by Stata.


他那篇文章的部份內容，也確實是依照比較不同resamples數而來，可見Appendix E:
Comparing Bootstrapping With 100 and 500 Resamples。


因此，跟我之前所提的論點一樣（這樣下結論應該可以吧）。



※ 引述《chenyutn (人生要死，何為苦心。)》之銘言：
: ※ 引述《danny789 (這其中一定有什麼誤會)》之銘言：
: : 對於我來說 PLS 只是一個工具而已
: : 我只要知道如何使用及瞭解它的假設及限制, 而能產出 outcome 並解讀就可以了
: : 如同您會操作電腦, 但您知道半導體是如何製造的嗎? 畢竟電腦只是一個工具而已
: : 也許您只是站在純數學的觀點來看, 認為 resample 設越大越好
: : 但這樣反而太過操弄統計這個工具了, 這樣統計的結果真的就是事實的結果嗎?
: : 如果您可以提供文獻證明 resample 設越大越好, 那我也可以修正我原來的看法.
: : 若如您所言, 對於 resample 設越大越好, 我一個合理的懷疑
: : 那麼這許多作研究的學者應該會有人提到這點, 但是並沒有 ...
: : 至少我看過的 papers 沒人提到此點
: : 而且我相信這些學者的電腦應該不會太差, resample 設100萬也不是問題才對
: : 所以我認為這並不是電腦執行速度的問題
: : 我後來還是找到了 Goodhue et al.(2007) 這篇 pdf 檔 (ISR 在 MIS 排前五大期刊)
: : 也許底下的片段可以解答您的問題, 所以我的建議還是設 500 比較恰當
: : 因為這是大多數學者所使用的數值
: : It might be suggested that we should use bootstrapping
: : with 500 resamples (rather than 100). Five hundred
: : resamples is the usual recommendation when
: : using bootstrapping to estimate a parameter using a
: : single sample (Chin 1998). However, we draw 500
: : samples (500 researchers) from the same population
: : for each cell in our analysis, and use bootstrapping
: : with 100 resamples on each of those. This amounts to
: : 50,000 resamples for each cell, and hence we expect
: : that moving from 50,000 to 250,000 resamples in each
: : cell would not affect the outcome.
: bootstrapping的目的本就是
: Estimate parameters that we don't know how to estimate analytically
: (Howell, 2002, http://tinyurl.com/q6v3c2) .
: 以下取自Stata的guidelines（http://www.stata.com/support/faqs/stat/reps.html），
: 懶得翻了，僅標重點。
: 這段告訴我們一點：
: 數字設多大不一定，但越大必然會獲得越精確的CI估計。
: 只是我們需不需要這麼精確的數字而已。
: 我想其實danny789板友也是想表達這個意思，只是在回文時我太注重500這個數字了，
: 因為我覺得能越精確當然越好啊。:P
: 所以bmka板友前幾篇推文給的建議非常實用，設個500次、1000次跑看看，
: 再跟2000次比較一下有沒有太大的差異，如果沒有，就放心報告吧。
: How large should the bootstrapped samples be relative to the total number
: of cases in the dataset?
: In terms of the number of replications, there is no fixed answer such as
: “250” or “1,000”to the question. The right answer is that you should
: choose an infinite number of replications because, at a formal level, that
: is what the bootstrap requires.
: The key to the usefulness of the bootstrap is that it converges in terms of
: numbers of replications reasonably quickly, and so running a finite number
: of replications is good enough—assuming the number of replications chosen
: is large enough.
: The above statement contains the key to choosing the right number of
: replications. Here is the recipe:
: 1. Choose a large but tolerable number of replications. Obtain the
: bootstrap estimates.
: 2. Change the random-number seed. Obtain the bootstrap estimates
: again, using the same number of replications.
: 3. Do the results change meaningfully? If so, the first number you chose
: was too small. Try a larger number. If results are similar enough, you
: probably have a large enough number. To be sure, you should probably
: perform step 2 a few more times, but I seldom do.
: Whether results change meaningfully is a matter of judgment and has to be
: interpreted given the problem at hand. How accurately do you need the
: standard errors, confidence intervals, etc.? Often, a few digits of precision
: is good enough because, even if you had the standard error calculated
: perfectly, you have to ask yourself how much you believe your model in terms
: of all the other assumptions that went into it. For instance, in a Becker
: earnings model of the return to schooling, you might tell me that return is
: 6% with a standard error of 1, and I might believe you. If you told me the
: return is 6.10394884% and the standard error is .9899394, you have more
: precision but have not provided any additional useful information.

--
◤◢ 玄妙系列作第二部《黃泉路》 全家、福客多、OK便利商店熱賣中 ▊▋▌▍▎
▇▆◣▅▇▇▅▆▇█▋ ▇▆▇▍▄▇ ▇▅▂▄▆▇▏ ▇ ．
． ▏ ‧ ═▉ ▎ 發生過命案的三重賓館857號房 ▏ ‧
… ═ ▉ ▏ 憑空傳來的詭異歌聲 ▏ ▎ ． ‥
‥ ． ═ ˙▊ ▉ ‧ 歸來的惡靈即將帶走他們的性命.◢▉ .
． ◣ ﹎ ▄ ‧ ▊ ▉▇◣ ▄▅ http://kuso.cc/4ltv ﹒ ▎▊ ▆ ﹊

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 114.42.90.187

> -------------------------------------------------------------------------- <

作者: danny789 (這其中一定有什麼誤會) 看板: Statistics
標題: Re: [問題] SEM用PLS跑的問題與優缺點?
時間: Tue Jun 9 16:33:58 2009

※ 引述《chenyutn (人生要死，何為苦心。)》之銘言：
: 我後來直接寄信去問Dr. Goodue了。
: Dr. Goodhue,
: sorry for my poor English, I am a graduate student in Taiwan, having a question
: about your article "Statistical Power in Analyzing Interaction Effects:
: Questioning the Advantage of PLS With Product Indicators". I wonder how many
: bootstrapping resamples would be enough for estimating the parameter? Is that
: "the more, the better" making sense? And, why the five hundred resamples is the
: usual recommendation?
: An article of Stata (http://www.stata.com/support/faqs/stat/reps.html) suggests
: that "the right answer is that you should choose an infinite number of
: replications because, at a formal level, that is what the bootstrap requires",
: and recommend three steps for identifying the reasonable number of resamples:
: "1. Choose a large but tolerable number of replications. Obtain the bootstrap
: estimates.
: 2. Change the random-number seed. Obtain the bootstrap estimates again, using
: the same number of replications.
: 3. Do the results change meaningfully? If so, the first number you chose was
: too small. Try a larger number. If results are similar enough, you probably
: have a large enough number. To be sure, you should probably perform step 2
: a few more times, but I seldom do."
: Is that true?
: I hope I've explained my questions well, and hope they make sense.
: Thanks for your help!
: Chen, Y-T
: 剛剛收到Dr. Goodue的回覆：
: Chen,
: Attached is the material from the paper on the number of resamples. As you can
: see, we did carry out a version of what is recommended by Stata.
: 他那篇文章的部份內容，也確實是依照比較不同resamples數而來，可見Appendix E:
: Comparing Bootstrapping With 100 and 500 Resamples。
: 因此，跟我之前所提的論點一樣（這樣下結論應該可以吧）。

我去找了 Appendix E 來看(原來是放在Web site)確實如您所言
也由於您依照科學精神來求證(不是指您問作者此事), 確實如您所言我們也可以下結論了
但如果有更多的文獻來支持會更有說服力一點
雖然我們開始的看法不同, 而且也各自引用文獻來表達不同的看法及觀點
但我想我們彼此也可以得到成長, 我個人對您表達高度的肯定(這樣會不會太惡心?)

另外, 我有些事想對 bmka 說 (如果您還有在看這些討論的話)
也許您是這方面的專家, 我也歡迎您熱心的加入討論
但 "個人的看法" 在研究中是最不重要的
如果您有某些看法, 必須要引用文獻來支持(或佐證)

套用某教授的說法: (純引用,有點粗,我沒有其他的意思,但很貼切)
博士論文還有一點參考價值, 碩士論文是個屁, 個人看法則連屁都不如
(簡單說就是沒有經過外界的考驗)
論文發表在國內期刊有一點參考價值,發表在國外重要期刊則是重要的參考文獻
(不是媚外,但事實如此)

尤其是有份量的文獻支持是最重要的, 而不是 "我認為", "隨便google就一堆" 等等
像您說 "我所提的檢驗的方法(比較500, 1000, 2000的結果)" 這個除非您有將研究結果
發表在重要的期刊中, 不然很難讓人當做參考文獻
所以才要提出實際上的文獻(作者,年份,paper title等), 讓自己的看法更有說服力


最後您在前篇說
>我注意到你引用的都是最近這幾年的paper
>不知你的領域是否在這幾年才突然"發現"這個方法

老實說我真的很吃驚您會這樣說,學術上的研究是一點一滴慢慢在進步的
而且最重要的是, 您的研究是站在前人的研究基礎上來的
當然引用的文獻要以最新的為優先, 我不知道我引用最近這幾年的paper有何問題?
如果您寫的paper大部份都引用舊的或前幾年的文獻,可能還會被質疑有抄襲的嫌疑
所以一般的指導教授都會要求引用最新的文獻, 這並不是什麼奇怪的事.

不過確實在 MIS 領域中, PLS 是在2000年左右才慢慢有學者使用(主要是 MIS Quarterly)
為何呢? 因為 PLS 是被高度質疑的, 此點在 Goodhue et al.(2007)此篇中也有提到
可能您會很奇怪? PLS 又不是什麼新東西, 早就是個研究到爛掉的東西, 為何還會被質疑
原因很簡單, PLS 並沒有被 "實證研究" 證實在是可靠值得信賴的工具(至少在MIS領域)
這也是 Goodhue 此篇研究努力的目標(您看他又多了一篇paper可以發表)

抱歉! 一時心血來朝寫的落落長
※ 編輯: danny789 來自: 122.254.33.185 (06/09 16:41)