COCO研究院

 找回密碼
 註冊
搜索
12
返回列表 發新帖
樓主: MorganLiu

下載網頁的問題

[複製鏈接]
 樓主| 發表於 12-3-5 19:19 | 顯示全部樓層
是"信用額度總量管制餘額表"
這個表格沒錯

不懂!
整個網頁下載是指Excel外部連結?
這只能做最新交易日 ...
HSIEN 發表於 12-3-5 03:23 PM



    ex:
http://www.twse.com.tw/ch/tradin ... nput_date=101/03/02

我是python做連結,下載整個網頁
再讓python處理
 樓主| 發表於 12-3-5 19:50 | 顯示全部樓層
是"信用額度總量管制餘額表"
這個表格沒錯

不懂!
整個網頁下載是指Excel外部連結?
這只能做最新交易日 ...
HSIEN 發表於 12-3-5 03:23 PM

你可以問問pythonist
他可能知道
發表於 12-3-5 22:14 | 顯示全部樓層
ex:


我是python做連結,下載整個網頁
再讓python處理
MorganLiu 發表於 12-3-5 07:19 PM


謝謝你的解說及URL
發表於 12-3-5 22:23 | 顯示全部樓層
2010年信用額度總量管制餘額表
pythonist 發表於 11-6-18 10:14 PM


{:4_84:}pythonist
測了很久都無法下載
請教上市的"信用額度總量管制餘額表"
http://www.twse.com.tw/ch/trading/exchange/TWT93U/TWT93U.php#
下載  .csv 的 正確 URL

拜託!!提供一下!
~謝謝你~
   
發表於 12-3-5 23:55 | 顯示全部樓層
方法跟
http://coco-in.net/thread-15410-1-5.html
的5樓一樣。

csv檔是動態產生的,以text/octet-stream的形式傳回來的。
網路上很多這種AJAX的動態資料,是網頁上某個img或button被點擊後,去資料庫撈raw data,經由程式動態產生cooked data。這種資料通常沒有所謂的"正確下載URL"。

可以寫支Python程式透過Selenium去操作Mozilla Firefox,模擬點擊“另存csv“的動作,攔截text/octet-stream,自動儲存檔案。

輸入底下的Python Code存成demo.py

TWT93U.png


在Ubuntu下開啟xterm
1.        如果已經有python,直接進到step 2,否則執行
        sudo apt-get install python
2.        sudo apt-get install python-setuptools
3.        sudo easy_install -U pip
4.        sudo pip install -U selenium
5.        sudo apt-get install firefox
6.        python demo.py 20120102 20120304
7.        大功告成,TWT93U20120102.csv ~ TWT93U20120303.csv自動抓取成功。
發表於 12-3-5 23:59 | 顯示全部樓層
2012年1月1日~ 2012年3月3日的信用額度總量管制餘額表。


TWT93U_20120303.zip (982.09 KB, 下載次數: 276)
發表於 12-3-6 09:33 | 顯示全部樓層
pythonist 大,謝謝你!


豆芽組還真看不懂
所以我得花點磨合 python 對應語法

真的,感謝教學
發表於 13-4-12 00:15 | 顯示全部樓層
非常感謝  pythonist 大   
最近在學python
已經很久了還能查到這樣的好文
受益良多
您需要登錄後才可以回帖 登錄 | 註冊

本版積分規則

手機版|Archiver|站長信箱|廣告洽詢|COCO研究院

GMT+8, 24-11-23 01:51

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.

快速回復 返回頂部 返回列表
理財討論網站 |