roxxot 發表於 12-1-4 17:26

請教用python 抓歷史資料

大家好

看過版上的文章後,想到手抓 TWSE 的 "發行量加權股價指數歷史資料"
它的link如下
http://www.twse.com.tw/ch/trading/indices/MI_5MINS_HIST/MI_5MINS_HIST.php
查詢的form 為 myear 和 mmon
http://www.twse.com.tw/ch/trading/indices/MI_5MINS_HIST/MI_5MINS_HIST.php?myear=100&mmon=01
但網頁上的另存CSV檔的指令該如下,一直看不出來。

想透過python 把""發行量加權股價指數歷史資料""的每月資料,用每個CSV存下來。
卡在如何儲存的部份,請大家幫忙看看

謝謝大家

綠茶妹 發表於 12-1-4 21:04

COCO右上角的google搜尋打入python可以找到很多相關的文章,
參考著來改應該不會太難。
(有問題不要問我,我滿久沒有用python了)
自動抓近30日期交所期貨rpt檔的python程式
抓取月營收的python碼

pythonist 發表於 12-1-4 21:37

88 年01月 ~ 101 年01月 發行量加權股價指數歷史資料


roxxot 發表於 12-1-5 16:19

To 綠茶妹
謝謝您提供的程式連結,因為之前看到你發的1分鐘大盤資料的python code
所以想去抓每日的加權資料。
To pythonist
感謝您提供抓好的資料,感激不盡。
可否請問您,是否是用python寫code去做的,還是手動一個月一個月抓的
如果是code可否賜教,謝謝

pythonist 發表於 12-1-5 21:49

本帖最後由 pythonist 於 12-1-5 11:34 PM 編輯

那個“另存csv“的html碼是


<img border="0/" onclick="exportReportData('csv');" src="/ch/images/save_csv.gif">

表示點擊後才由server端動態產生csv報表提供下載。

可以寫支Python程式透過Selenium去操作Google Chrome,模擬點擊“另存csv“的動作就可以自動抓取從1999年1月至2012月1月共157個月的csv報表。通常是存在C:\Users\your_user_account\Downloads




以上程式是假設Google Chrome會自動儲存csv檔,如果儲存前會出現確認視窗,Selenium也有相關的api可以處理這種case。
頁: [1]
查看完整版本: 請教用python 抓歷史資料