pythonist 發表於 12-8-14 00:24

上市櫃 券商買賣日報表查詢系統 自動化下載

上市買賣日報表查詢系統:
本系統僅提供集中市場當日交易資料
一般、零股交易報表產製時間:每交易日下午4時
鉅額交易報表產製時間:每交易日下午5時30分

如瀏覽報表過於頻繁,疑似程式抓取行為,將暫停您瀏覽並顯示訊息。
上櫃券商買賣證券日報表查詢系統:
請按[代碼查詢]鍵選取證券代碼或輸入正確代碼進行查詢
***每交易日下午三時三十五分起提供最新券商買賣股票資訊***




本程式沒做任何錯誤處理。下午四、五點左,右太多程式在抓資料,有時會卡住。八九點以後執行幾乎都能順利跑完。
本程式用到Python 2.7.3和lxml。程式只抓股票代號0000~9999的資料。




siriusxp 發表於 12-8-19 20:54

請問這只能抓當天的嗎??

還是可以抓歷史DATA

pythonist 發表於 12-8-22 21:05

siriusxp 發表於 12-8-19 20:54 static/image/common/back.gif
請問這只能抓當天的嗎??

還是可以抓歷史DATA

目前官方網站只提供最新一個交易日資料。

pythonist 發表於 12-8-22 21:17



以上Python 2.7程式會產生6個列表




sii.txt      上市
otc.txt      上櫃
pub.txt      公開發行
rotc.txt      興櫃
siiotc.txt      上市櫃政府公債
futopt.txt      期貨及選擇權

jiuhtsair 發表於 12-8-23 22:56

感恩.............{:4_160:}

ccn1015 發表於 12-10-1 11:54

可以請問一下版主,你是到哪邊抓CSV檔?!! 我用vba好像就只能用他列印的網頁碼,這樣每次我都要測試PAGE有多少頁,又要設休息時間,程式跑的時間好像有點太久了,若版主可以好心告知一下csv檔案的網頁碼的話,小弟將感激不盡

siriusxp 發表於 12-10-2 11:08

實在是太讚啦
感激不盡

gogo8888 發表於 12-10-2 20:10

pythonist大大,能否請教一下,關於sii那個pagelink是用什麼工具/方式查得的?謝謝。

pythonist 發表於 12-10-9 21:59

ccn1015 發表於 12-10-1 11:54 static/image/common/back.gif
可以請問一下版主,你是到哪邊抓CSV檔?!! 我用vba好像就只能用他列印的網頁碼,這樣每次我都要測試PAGE有多 ...

上市公司以2330為例

1.        抓取
http://bsr.twse.com.tw/bshtm/bsMenu.aspx?HiddenField_page=PAGE_BS&HiddenField_spDate=&__EVENTARGUMENT=&__EVENTTARGET=&__EVENTVALIDATION=%2FwEWCALEh%2FLbCwLjpuXcAwKN4Ij0CwLB5ZfoCQLjk6TKBwKY8en5CwLdkpmPAQL6n7vzC85o%2BZOc3CbEnEINewpQOooAAAAA&__VIEWSTATE=%2FwEPDwUKMTczNDk4NzY0Mg9kFgICAQ9kFgwCBQ8WAh4JaW5uZXJodG1sBQoyMDEyLzA4LzAzZAIGDxYCHwAFCDIwMTIwODAzZAIIDw8WBh4JRm9udF9Cb2xkZx4EXyFTQgKEEB4JRm9yZUNvbG9yCj1kZAIKD2QWAgIBDw9kFgIeB09uQ2xpY2sFHGphdmFzY3JpcHQ6YnV0Q2xlYXJfQ2xpY2soKTtkAgwPDxYGHwFoHwIChBAfAwpHZGQCDg8PFgIeB1Zpc2libGVoZGRkrlNAWrt5h0rbFKKwjmcC%2FQAAAAA%3D&btnOK=%E6%9F%A5%E8%A9%A2&hidTASKNO=&txtTASKNO=2330
分析內容得到總頁數,假設是48

2.        抓取
http://bsr.twse.com.tw/bshtm/bsContent.aspx?StartNumber=2330&FocusIndex=All_48
就可以抓到全部48頁的html。經過程式分析後寫入csv檔

3.        其實
http://bsr.twse.com.tw/bshtm/bsContent.aspx?StartNumber=2330&download=csv
也可以抓一個csv檔下來,可惜某些欄位沒對齊,有些欄位有漏掉,還不如步驟2自已寫程式由html轉csv

pythonist 發表於 12-10-9 22:09

ccn1015 發表於 12-10-1 11:54 static/image/common/back.gif
可以請問一下版主,你是到哪邊抓CSV檔?!! 我用vba好像就只能用他列印的網頁碼,這樣每次我都要測試PAGE有多 ...

上櫃公司以3105為例,直接抓
http://www.gretai.org.tw/ch/stock/aftertrading/broker_trading/download_ALLCSV.php?curstk=3105&fromw=0&numbern=100&stk_date=1011009
一定要用POST的方法抓,不能用GET的方法抓。GET和POST的區別請自行google一下。

pythonist 發表於 12-10-9 22:19

gogo8888 發表於 12-10-2 20:10 static/image/common/back.gif
pythonist大大,能否請教一下,關於sii那個pagelink是用什麼工具/方式查得的?謝謝。 ...

各大瀏覽器都可以,如

Firefox + Firebug
Opera 的 Opera Dragonfly
Google Chrome 的開發人員工具
IE 的F12開發者工具

chwqk 發表於 12-10-10 01:41

sgx資料
摩台報價資料
因為excel無法匯入外部資料
抓得到CSV檔嗎??

gogo8888 發表於 12-10-11 00:05

pythonist 發表於 12-10-9 22:19 static/image/common/back.gif
各大瀏覽器都可以,如

Firefox + Firebug


謝謝您。我先研究一下,如果不懂,不知能否請教您。謝謝。

pure 發表於 12-10-11 02:26

請問P大 解壓縮後要怎麼執行阿{:5_226:}

Sirius 發表於 12-11-11 11:08

要有安裝 lxml 這個模組才能正常執行

如果是用Windows,可參考一下這篇

在下載的網頁上有很多其他東西,搜尋 lxml 會較快找到
要選配合你環境的 lxml 安裝版本


以上是因有人問了個問題,我想還是在此補充一下,因為是與本篇有直接相關的

頁: [1] 2
查看完整版本: 上市櫃 券商買賣日報表查詢系統 自動化下載