下載網頁的問題

MorganLiu

是"信用額度總量管制餘額表"
這個表格沒錯

不懂！
整個網頁下載是指Excel外部連結？
這只能做最新交易日 ...
HSIEN 發表於 12-3-5 03:23 PM

    ex:
http://www.twse.com.tw/ch/tradin ... nput_date=101/03/02

我是python做連結，下載整個網頁
再讓python處理

MorganLiu

是"信用額度總量管制餘額表"
這個表格沒錯

不懂！
整個網頁下載是指Excel外部連結？
這只能做最新交易日 ...
HSIEN 發表於 12-3-5 03:23 PM

你可以問問pythonist
他可能知道

HSIEN

ex:


我是python做連結，下載整個網頁
再讓python處理
MorganLiu 發表於 12-3-5 07:19 PM

謝謝你的解說及URL

HSIEN

2010年信用額度總量管制餘額表
pythonist 發表於 11-6-18 10:14 PM

{:4_84:}pythonist 大
測了很久都無法下載
請教上市的"信用額度總量管制餘額表"
http://www.twse.com.tw/ch/trading/exchange/TWT93U/TWT93U.php#
下載  .csv 的 正確 URL

拜託!!提供一下!
~謝謝你~
   

pythonist

方法跟
http://coco-in.net/thread-15410-1-5.html
的5樓一樣。

csv檔是動態產生的，以text/octet-stream的形式傳回來的。
網路上很多這種AJAX的動態資料，是網頁上某個img或button被點擊後，去資料庫撈raw data，經由程式動態產生cooked data。這種資料通常沒有所謂的"正確下載URL"。

可以寫支Python程式透過Selenium去操作Mozilla Firefox，模擬點擊“另存csv“的動作，攔截text/octet-stream，自動儲存檔案。

輸入底下的Python Code存成demo.py




在Ubuntu下開啟xterm
1.        如果已經有python，直接進到step 2，否則執行
        sudo apt-get install python
2.        sudo apt-get install python-setuptools
3.        sudo easy_install -U pip
4.        sudo pip install -U selenium
5.        sudo apt-get install firefox
6.        python demo.py 20120102 20120304
7.        大功告成，TWT93U20120102.csv ~ TWT93U20120303.csv自動抓取成功。

pythonist

2012年1月1日~ 2012年3月3日的信用額度總量管制餘額表。


TWT93U_20120303.zip (982.09 KB, 下載次數: 258)

12-3-5 23:59 上傳

點擊文件名下載附件

HSIEN

pythonist 大，謝謝你！


豆芽組還真看不懂
所以我得花點磨合 python 對應語法

真的，感謝教學

sleepycat

非常感謝  pythonist 大   
最近在學python
已經很久了還能查到這樣的好文
受益良多