|
|
方法跟
http://coco-in.net/thread-15410-1-5.html
的5樓一樣。
csv檔是動態產生的，以text/octet-stream的形式傳回來的。
網路上很多這種AJAX的動態資料，是網頁上某個img或button被點擊後，去資料庫撈raw data，經由程式動態產生cooked data。這種資料通常沒有所謂的"正確下載URL"。
可以寫支Python程式透過Selenium去操作Mozilla Firefox，模擬點擊“另存csv“的動作，攔截text/octet-stream，自動儲存檔案。
輸入底下的Python Code存成demo.py
在Ubuntu下開啟xterm
1. 如果已經有python，直接進到step 2，否則執行
sudo apt-get install python
2. sudo apt-get install python-setuptools
3. sudo easy_install -U pip
4. sudo pip install -U selenium
5. sudo apt-get install firefox
6. python demo.py 20120102 20120304
7. 大功告成，TWT93U20120102.csv ~ TWT93U20120303.csv自動抓取成功。 |
|
顯身卡
發表於 12-3-5 22:14
