為什麼這篇linux下載檔案鄉民發文收入到精華區：因為在linux下載檔案這個討論話題中，有許多相關的文章在討論，這篇最有參考價值！作者luenchang (luen)看板Linux標題[問題] wget同時下載固定數目的檔案時間F...
請教 linux, bash的先進、專家。我需要下載一些 gene data sets. 在網上找到了用
cat file | xargs wget 這樣的 commands. 但是研究單位裡要求一次只能同時下載8個
檔案，第一批8個檔案下載完，再接著下載第2批8個檔案，直到所有檔案下載。請教一下
以下問題
(1) 不知道我以下的code要如何改，才能一次頂多下載8個檔案?
(2) 如果有些檔案已經先部分下載了，用 wget --continue是否可以重啟下載?
(3) 如果有些檔案已經先完全下載了，該如何避免重複下載?
以下是我的code. cat接的檔案是下載檔案的路徑。這一個有63個路徑。其他的還有幾百
個。
# Change current directory to the output folder
cd ${dir_PRJNA579178}
cat ${dir_PRJNA579178}/data-access-download-links_no-header.tsv | wc -l
# 63
# Change end of file symbol to Linux
dos2unix data-access-download-links_no-header.tsv
# Download files in current directory without having to specify output file
paths
## xargs -n 1: cat will pass one argument at a time (-n 1) to wget
## xargs -P 8 wget: execute at most 8 parallel wget processes at a time (-P 8)
cat data-access-download-links_no-header.tsv | xargs -n 1 -P 8 wget
--limit-rate=2m
感謝指教
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 110.174.219.126 (澳大利亞)
※ 文章網址: https://www.ptt.cc/bbs/Linux/M.1614319042.A.97F.html
推 filiaslayers: 比較簡單就是把檔案分成8份，開8個shell，每個shell 02/26 14:30
→ filiaslayers: 一次抓一個，那就會最多8個了 02/26 14:30