為什麼這篇Jupyter notebook 卡 住鄉民發文收入到精華區：因為在Jupyter notebook 卡 住這個討論話題中，有許多相關的文章在討論，這篇最有參考價值！作者lericee (艾瑞克)看板Python標題[問題] python有記憶體限制嗎時間Wed A...
大家好
網路上查沒查到相關的問題..
不知道是不是該在這裡發問
我是用anaconda的jupyter notebook
去跑sklearn 的svm
我用的數據約兩萬多筆 欄位有17個
在training的時候用迴圈讓他一次是用不同的數目去train
(100 200 500 1000)
train的時候已也幾個欄位而已 並不是全部17個
但就會卡住 跑很久 四個模型跑了一個多小時還沒好
但我個別跑1000的也只要10秒而已
想說會不會是記憶體的關係嗎?
但看工作管理員記憶體也沒跑滿
後來用IDLE去做一樣的事
也是一樣
而且分給python的記憶體差不多就100MB
然後我個別跑的時候 train data超過4000的時候也是會跑不出來
想請問這樣是哪裡有問題嗎?
ps. 程式方面應該是沒有錯 因為是跟著網路上的教學做的 幾乎一模一樣
且單一跑跑得出來
新手發問 請多包涵 謝謝<(_ _)>
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.13.120
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1534315751.A.807.html
※ 編輯: lericee (140.112.13.120), 08/15/2018 14:49:35
→ djshen: 看複雜度 08/15 15:00
謝謝d大 不過其實我沒有完全瞭解svm..
以我所知svm時間複雜度好像是O(n^2)的樣子吧?
所以我size先以小的先慢慢變大
100 200 500 1000 其實都在做一樣的事
各自跑 0.2 1 8 10秒 這樣
只是用回圈一起跑就會跑不出來
空間我就不太清楚.. 不過看網路上好像都幾十萬筆在跑的樣子
用個幾千就會跑不出來了嗎??
至於資料分類有20種
※ 編輯: lericee (140.112.13.120), 08/15/2018 15:35:33
→ f496328mm: SVM 很慢 08/15 17:54
→ f496328mm: 主要是 SVM 背後的演算法相對複雜，tree 簡單多了 08/15 17:55
哦哦 謝謝~
我想說一起跑應該也就加起來 大概20幾秒
所以真的可能是還沒跑完囉?
※ 編輯: lericee (140.112.13.120), 08/15/2018 18:35:46
→ lericee: 另外想問一下anaconda的運作是怎麼運作呢? 因為我有時候 08/15 18:45
→ lericee: 同樣的code 在anaconda跑幾十分鐘出不來 用本機IDLE 一分 08/15 18:46
→ lericee: 鐘就好了 anaconda是在伺服器運作嗎 還是也用本機處理呢? 08/15 18:47
推 goldflower: 複雜度應該是2-3之間 但是迴圈跑不出來沒啥道理 08/15 19:31
→ goldflower: 你有把verbose打開看看有沒有東西嗎 08/15 19:31
推 goldflower: 你說anaconda跑不出來是指jupyter/ipython嗎? 08/15 19:40
verbose 是指 fit(..., verbose=1) 嗎
我試試看
我用anaconda 的jupyter notebook 然後一直顯示在運行中 In[*] 這樣
痾.. 不好意思 verbose是什麼呀..>"<
我是查到model.fit(~~~,verbose=1) 這個
不過我svm.fit()好像不能用的樣子 說沒這個參數
還是是別的東西嗎@@
推 handsomeLin: 一看就知道你的迴圈沒寫好啊 08/15 20:13
但是有時候又可以欸@@ 雖然大部份不行就是我跑三個的時候可以 跑四個就不行了
或是我跑[100,200,500]時可以 跑[1000,1500,2000]就不行
※ 編輯: lericee (140.112.13.120), 08/15/2018 20:34:11
※ 編輯: lericee (140.112.13.120), 08/15/2018 21:42:50
推 goldflower: verbose就是print訓練過程而已 08/15 21:56
推 goldflower: 我剛查sklearn下面的svm都有verbose才對@@ 08/15 22:00
推 goldflower: 阿 你會不會沒做normalize 08/15 22:07
推 goldflower: 你可以設定max_iter確認問題是不是在收斂條件上 08/15 22:32
對欸 我沒有做normalize 因為我之前用內建iris data試的時候
發現沒有normalize也做得蠻好的 所以就沒用來試試看@@
https://imgur.com/a/WCt56AG
https://imgur.com/a/rQoNjEr
然後付上我短短的code
https://imgur.com/a/eR5M9BO
然後這是 沒verbose參數 @@
還有下面是para=[100,200,500]的結果有出來
※ 編輯: lericee (140.112.233.9), 08/15/2018 23:26:36
※ 編輯: lericee (140.112.233.9), 08/15/2018 23:35:30
推 Falldog: 先看看你的python是不是跑64bit的版本吧 08/16 00:09
我看官網是寫64 (3.5.2) 電腦也是64位元※ 編輯: lericee (140.112.233.9), 08/16/2018 01:18:38
→ goldflower: normalize後還是跑不出大筆的結果嗎? 08/16 02:13
有了欸! 而且快超多的@@
非常謝謝g大熱心的回答!
※ 編輯: lericee (140.112.233.9), 08/16/2018 10:49:50
→ lericee: 也謝謝其他人的幫忙~~ 08/16 12:08
推 goldflower: 讚讚讚 恭喜成功 08/16 18:00
→ lericee: 真的感謝G大的熱心幫忙 Q_Q 08/16 22:28
推 ggirls: 什麽是normalize? 08/21 17:27
→ ggirls: 什麽是normalize? 08/21 17:27
把參數數值scale成0~1※ 編輯: lericee (140.112.233.9), 08/23/2018 00:16:21
→ s860134: 中文貼切一點叫歸一化 08/23 20:26