COCO研究院

 找回密碼
 註冊
搜索
查看: 50149|回復: 23

上市櫃 券商買賣日報表查詢系統 自動化下載

[複製鏈接]
發表於 12-8-14 00:24 | 顯示全部樓層 |閱讀模式
上市  買賣日報表查詢系統:
本系統僅提供集中市場當日交易資料
一般、零股交易報表產製時間:每交易日下午4時
鉅額交易報表產製時間:每交易日下午5時30分

如瀏覽報表過於頻繁,疑似程式抓取行為,將暫停您瀏覽並顯示訊息。
上櫃  券商買賣證券日報表查詢系統:
請按[代碼查詢]鍵選取證券代碼或輸入正確代碼進行查詢
***每交易日下午三時三十五分起提供最新券商買賣股票資訊***




本程式沒做任何錯誤處理。下午四、五點左,右太多程式在抓資料,有時會卡住。八九點以後執行幾乎都能順利跑完。
本程式用到Python 2.7.3和lxml。程式只抓股票代號0000~9999的資料。

code.png bshtm_brokerBS.zip (53.24 KB, 下載次數: 5660)


評分

參與人數 9金錢 +19 收起 理由
unknown + 2 按一個讚
heavenweaver + 2 太強了
Sirius + 2 之前竟沒注意到這好東西
kuli + 4 太強了!
enochyu + 2 按一個讚!
joey0415 + 2 太強了!
jackshy + 2 太強了!
cococharles + 1 按一個讚!
shex + 2 太強了!雖然還不知道怎麼用!

查看全部評分

發表於 12-8-19 20:54 | 顯示全部樓層
請問這只能抓當天的嗎??

還是可以抓歷史DATA
 樓主| 發表於 12-8-22 21:05 | 顯示全部樓層
siriusxp 發表於 12-8-19 20:54
請問這只能抓當天的嗎??

還是可以抓歷史DATA

目前官方網站只提供最新一個交易日資料。
 樓主| 發表於 12-8-22 21:17 | 顯示全部樓層
demo2.png

以上Python 2.7程式會產生6個列表

demo2.zip (83.77 KB, 下載次數: 2512)


sii.txt        上市
otc.txt        上櫃
pub.txt        公開發行
rotc.txt        興櫃
siiotc.txt        上市櫃政府公債
futopt.txt        期貨及選擇權

評分

參與人數 1金錢 +2 收起 理由
heavenweaver + 2 感謝分享

查看全部評分

發表於 12-8-23 22:56 | 顯示全部樓層
感恩.............
發表於 12-10-1 11:54 | 顯示全部樓層
可以請問一下版主,你是到哪邊抓CSV檔?!! 我用vba好像就只能用他列印的網頁碼,這樣每次我都要測試PAGE有多少頁,又要設休息時間,程式跑的時間好像有點太久了,若版主可以好心告知一下csv檔案的網頁碼的話,小弟將感激不盡
發表於 12-10-2 11:08 | 顯示全部樓層
實在是太讚啦
感激不盡
發表於 12-10-2 20:10 | 顯示全部樓層
pythonist大大,能否請教一下,關於sii那個pagelink是用什麼工具/方式查得的?謝謝。
 樓主| 發表於 12-10-9 21:59 | 顯示全部樓層
ccn1015 發表於 12-10-1 11:54
可以請問一下版主,你是到哪邊抓CSV檔?!! 我用vba好像就只能用他列印的網頁碼,這樣每次我都要測試PAGE有多 ...

上市公司以2330為例

1.        抓取
http://bsr.twse.com.tw/bshtm/bsMenu.aspx?HiddenField_page=PAGE_BS&HiddenField_spDate=&__EVENTARGUMENT=&__EVENTTARGET=&__EVENTVALIDATION=%2FwEWCALEh%2FLbCwLjpuXcAwKN4Ij0CwLB5ZfoCQLjk6TKBwKY8en5CwLdkpmPAQL6n7vzC85o%2BZOc3CbEnEINewpQOooAAAAA&__VIEWSTATE=%2FwEPDwUKMTczNDk4NzY0Mg9kFgICAQ9kFgwCBQ8WAh4JaW5uZXJodG1sBQoyMDEyLzA4LzAzZAIGDxYCHwAFCDIwMTIwODAzZAIIDw8WBh4JRm9udF9Cb2xkZx4EXyFTQgKEEB4JRm9yZUNvbG9yCj1kZAIKD2QWAgIBDw9kFgIeB09uQ2xpY2sFHGphdmFzY3JpcHQ6YnV0Q2xlYXJfQ2xpY2soKTtkAgwPDxYGHwFoHwIChBAfAwpHZGQCDg8PFgIeB1Zpc2libGVoZGRkrlNAWrt5h0rbFKKwjmcC%2FQAAAAA%3D&btnOK=%E6%9F%A5%E8%A9%A2&hidTASKNO=&txtTASKNO=2330
分析內容得到總頁數,假設是48

2.        抓取
http://bsr.twse.com.tw/bshtm/bsContent.aspx?StartNumber=2330&FocusIndex=All_48
就可以抓到全部48頁的html。經過程式分析後寫入csv檔

3.        其實
http://bsr.twse.com.tw/bshtm/bsContent.aspx?StartNumber=2330&download=csv
也可以抓一個csv檔下來,可惜某些欄位沒對齊,有些欄位有漏掉,還不如步驟2自已寫程式由html轉csv
 樓主| 發表於 12-10-9 22:09 | 顯示全部樓層
ccn1015 發表於 12-10-1 11:54
可以請問一下版主,你是到哪邊抓CSV檔?!! 我用vba好像就只能用他列印的網頁碼,這樣每次我都要測試PAGE有多 ...

上櫃公司以3105為例,直接抓
http://www.gretai.org.tw/ch/stock/aftertrading/broker_trading/download_ALLCSV.php?curstk=3105&fromw=0&numbern=100&stk_date=1011009
一定要用POST的方法抓,不能用GET的方法抓。GET和POST的區別請自行google一下。

評分

參與人數 2金錢 +8 收起 理由
heavenweaver + 2 感謝分享
joey0415 + 6 太強了!

查看全部評分

 樓主| 發表於 12-10-9 22:19 | 顯示全部樓層
gogo8888 發表於 12-10-2 20:10
pythonist大大,能否請教一下,關於sii那個pagelink是用什麼工具/方式查得的?謝謝。 ...

各大瀏覽器都可以,如

Firefox + Firebug
Opera 的 Opera Dragonfly
Google Chrome 的開發人員工具
IE 的F12開發者工具
發表於 12-10-10 01:41 | 顯示全部樓層
sgx資料
摩台報價資料
因為excel無法匯入外部資料
抓得到CSV檔嗎??
發表於 12-10-11 00:05 | 顯示全部樓層
pythonist 發表於 12-10-9 22:19
各大瀏覽器都可以,如

Firefox + Firebug

謝謝您。我先研究一下,如果不懂,不知能否請教您。謝謝。

發表於 12-10-11 02:26 | 顯示全部樓層
請問P大 解壓縮後  要怎麼執行阿
發表於 12-11-11 11:08 | 顯示全部樓層
要有安裝 lxml 這個模組才能正常執行

如果是用Windows,可參考一下這篇

在下載的網頁上有很多其他東西,搜尋 lxml 會較快找到
要選配合你環境的 lxml 安裝版本


以上是因有人問了個問題,我想還是在此補充一下,因為是與本篇有直接相關的

您需要登錄後才可以回帖 登錄 | 註冊

本版積分規則

手機版|Archiver|站長信箱|廣告洽詢|COCO研究院

GMT+8, 24-11-5 02:17

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.

快速回復 返回頂部 返回列表
理財討論網站 |