上市櫃 券商買賣日報表查詢系統 自動化下載 使用問題
pythonist本帖子的原作者,因為原本的帖子無法做回覆的動作,所以另外發新帖子,想請教一下,今天要執行時,OTC的部份,檔案無法下載,麻煩能幫忙解決,感恩...TKS 的確不能用了..自2013/12/30開始...是不是政府又偷偷改了... 2013/12/30證券櫃檯買賣中心改版,券商買賣證券日報表查詢系統(一般交易)的資料抓取連結其實還是跟
http://www.coco-in.net/thread-19432-1-1.html
11樓一樣,只是不能用POST,要改用GET。
所以只要把程式第113行由原來的
urllib.urlretrieve(otc_link, id + '.csv', data = postdata)
改成
urllib.urlretrieve('{}?{}'.format(otc_link, postdata), id + '.csv')
就可以了(Python程式要注意縮排)。
最近證券櫃檯買賣中心有時會有流量管制,短時間抓資料太快會抓到106 bytes的檔案
(空資料),繼續抓太快會抓到730 bytes的檔案(錯誤html檔),再繼續抓太快會被封IP,
直到1000多秒後或斷線再連線拿到新IP後才能開始抓。以下連結有討論解決方法。
http://www.coco-in.net/thread-28278-1-1.html
pythonist 發表於 14-1-3 19:55 static/image/common/back.gif
2013/12/30證券櫃檯買賣中心改版,券商買賣證券日報表查詢系統(一般交易)
的資料抓取連結其實還是跟
...
太感謝大大的解答及提醒,此程式讓我抓資料提高很大的效率,所以不能沒有它,再次感思!!! 感謝pythonist大大,原本已經死心了,今天偶而逛一下才發現原來有解!
頁:
[1]