請問到哪邊可以抓個股的開高收低成交量等資訊

tanym0131 · 發表於 13-8-11 16:04

如果自己想要做個股分析，但是關於個股的歷史成交資訊，即開高收低成交量等。要去哪邊抓？我目前有寫vba去證交所抓，但是要把幾千檔資料權抓回來，還真需要一些時間，因為是第一次抓，從2000年開始！有點懶得給他跑完。不知道各位大大，有沒有其他方式。
1)我有看盤軟體，但是我有自己的分析方式，看盤軟體並不支援。
2)我有MC，但是要把所有個股都加入資料視窗，怕MC掛掉
有其他方式嗎？感恩不盡。

Acer2266 · 發表於 13-8-11 16:59

如果你有 MC 就開下去讓他回補就好
只是不知道能夠回補多久的資料
MC 操不壞的 XD
了不起掛掉不然慢慢等就好了

pythonist · 發表於 13-8-11 20:43

本帖最後由 pythonist 於 13-8-11 20:49 編輯

以上市公司（資料自民國82年1月4日起開始提供） 2330 為例

http://www.twse.com.tw/ch/trading/exchange/STOCK_DAY/genpage/Report199301/199301_F3_1_8_2303.php?STK_NO=2303&myear=1993&mmon=01

或是直接抓csv檔

http://www.twse.com.tw/ch/trading/exchange/STOCK_DAY/STOCK_DAY_print.php?genpage=genpage/Report199301/199301_F3_1_8_2303.php&type=csv

更改紅色字體部份就可以一個月一個月抓了。

pythonist · 發表於 13-8-11 20:58

以上櫃公司（資料自民國88年1月起開始提供） 5302 為例

http://www.gretai.org.tw/ch/stock/aftertrading/daily_trading_info/download_st43.php?mm=1&stk_no=5302&yy=1999

更改紅色字體部份就可以一個月一個月抓了。
請用POST的方法抓，不要用GET的方法抓。

tanym0131 · 發表於 13-8-12 12:57

大大，感恩。

tanym0131 · 發表於 13-8-12 12:59

pythonist 發表於 13-8-11 20:58
以上櫃公司（資料自民國88年1月起開始提供） 5302 為例

http://www.gretai.org.tw/ch/stock/aftertradin ...

我目前有寫vba去證交所抓，但是要把幾千檔資料權抓回來，還真需要一些時間，因為是第一次抓，從2000年開始！有點懶得給他跑完。不知道各位大大，有沒有其他方式。

dido · 發表於 13-8-12 13:08

tanym0131 發表於 13-8-12 12:59
我目前有寫vba去證交所抓，但是要把幾千檔資料權抓回來，還真需要一些時間，因為是第一次抓，從2000年開 ...

這講法很怪
13年的資料 x 每年255日交易日 x (上市+上櫃) = 6630 web page
如果你昨天開始抓也早早就抓完了

tanym0131 · 發表於 13-8-12 13:19

dido 發表於 13-8-12 13:08
這講法很怪
13年的資料 x 每年255日交易日 x (上市+上櫃) = 6630 web page
如果你昨天開始抓也早早就抓 ...

如果13年資料，每年12個月，上市加上櫃共1000家好了。
13 x 12 x 1000 = 156000個page
156000 * 10秒(抓的時間加上處理時間) / 60(秒) / 60(分) / 24(小時) = 約18天
是可以啦，好吧，就給他跑個18天(不知道有沒有給他算錯^^)

Sirius · 發表於 13-8-12 17:00

tanym0131 發表於 13-8-12 13:19
如果13年資料，每年12個月，上市加上櫃共1000家好了。
13 x 12 x 1000 = 156000個page
156000 * 10秒(抓 ...

這樣抓資料
交易所網管人員可能要恨死你

Sirius · 發表於 13-8-12 17:00

不知你的看盤軟體能否匯出資料？
可以的話，試試利用AutoIt把資料匯出
以前在本論壇有人這樣做過，但那篇刪了

主要關鍵在於看盤軟體是否提供長期資料並能讓你匯出來
可以的話就好辦了

Sirius · 發表於 13-8-12 17:18

1101.7z (54.14 KB, 下載次數: 931)

附件是我之前匯出的1101台泥資料

格式是
西元年月日,O,H,L,C,V
沒有標頭列

若覺得適合，且符合你的需要的話，我可以提供這樣的個股歷史資料

pythonist · 發表於 13-8-12 21:46

最近剛抓過。

基本上，只要網速不要太慢，用八核心電腦同時開八個processes去抓，不需要18天，也不需要1.8天，連1.8個小時都不用，只要92分鐘。

抓下來的檔案包括上市（資料自民國82年1月4日起開始提供）、上櫃（資料自民國88年1月起開始提供）共1719家公司，194352個檔案。

Sirius · 發表於 13-8-13 08:50

joey0415 發表於 13-8-12 23:45
用八核心電腦同時開八個processes去抓

這方法是vba還是python呢？

P大當然用Python囉

抓大量網頁資料時儘量別造成網站負荷過大，免得被列為拒絕往來戶
或是網頁改採驗證後才能下載就麻煩了
自己在連續下載大量資料時，習慣會讓程式中途稍休息一下

pythonist · 發表於 13-8-13 09:26

joey0415 發表於 13-8-12 23:45
用八核心電腦同時開八個processes去抓

這方法是vba還是python呢？

Python 2.6以上版本用multiprocessing
Python 3.2以上版本用concurrent.futures中的ProcessPoolExecutor

Sirius · 發表於 13-8-13 17:55

Sirius 發表於 13-8-12 17:18
附件是我之前匯出的1101台泥資料

格式是

個股歷史資料這兩天弄好後會發在歷史資料版給需要的人下載
但格式就如同那個1101台泥的資料一般，檔名也只用股票代號
若要匯入所用的軟體，要自行把中文名稱補上（你用MC，我用AB，這作法不同）

匯出的資料需要分好上市、上櫃嗎？
原本的匯出程式是不分的，我還是分二次匯好了

補充一下
樣本資料中的成交量單位是「張」，不是「股」
交易所的是「股」，我下載後會轉成「張」，不足1000股的則視為1張

		自動登錄	找回密碼
密碼			註冊

[其他程式語言] 請問到哪邊可以抓個股的開高收低成交量等資訊

評分

評分

評分

評分

評分

評分