timboywang 發表於 13-12-31 19:15

上市櫃 券商買賣日報表查詢系統 自動化下載 使用問題

pythonist本帖子的原作者,因為原本的帖子無法做回覆的動作,所以另外發新帖子,想請教一下,今天要執行時,OTC的部份,檔案無法下載,麻煩能幫忙解決,感恩...TKS

tmjftony 發表於 14-1-1 21:51

的確不能用了..自2013/12/30開始...是不是政府又偷偷改了...

pythonist 發表於 14-1-3 19:55

2013/12/30證券櫃檯買賣中心改版,券商買賣證券日報表查詢系統(一般交易)
的資料抓取連結其實還是跟

http://www.coco-in.net/thread-19432-1-1.html

11樓一樣,只是不能用POST,要改用GET。

所以只要把程式第113行由原來的
urllib.urlretrieve(otc_link, id + '.csv', data = postdata)
改成
urllib.urlretrieve('{}?{}'.format(otc_link, postdata), id + '.csv')
就可以了(Python程式要注意縮排)。

最近證券櫃檯買賣中心有時會有流量管制,短時間抓資料太快會抓到106 bytes的檔案
(空資料),繼續抓太快會抓到730 bytes的檔案(錯誤html檔),再繼續抓太快會被封IP,
直到1000多秒後或斷線再連線拿到新IP後才能開始抓。以下連結有討論解決方法。

http://www.coco-in.net/thread-28278-1-1.html

timboywang 發表於 14-1-6 00:09

pythonist 發表於 14-1-3 19:55 static/image/common/back.gif
2013/12/30證券櫃檯買賣中心改版,券商買賣證券日報表查詢系統(一般交易)
的資料抓取連結其實還是跟
...

太感謝大大的解答及提醒,此程式讓我抓資料提高很大的效率,所以不能沒有它,再次感思!!!

tmjftony 發表於 14-1-17 17:53

感謝pythonist大大,原本已經死心了,今天偶而逛一下才發現原來有解!
頁: [1]
查看完整版本: 上市櫃 券商買賣日報表查詢系統 自動化下載 使用問題