請教以vba或python下載網頁的問題

MorganLiu

回復  MorganLiu

不好意思，想再請問您一下:
我參考您的例子，想以此類推自己試著練習試著下載其他資料， ...
Branson 發表於 11-5-4 05:53 PM

你可以看http://www.taifex.com.tw/chinese/3/3_1_2.asp的原始碼

saucer

謝謝分享....
努力學習中...

Branson

回復 2# hhy

抱歉，因為無法寄信給您，所以用回復文章的方式。網友 MorganLiu 建議我請教您我的問題，這是問題的連結：http://www.coco-in.net/viewthread.php?tid=7951&rpid=143485&ordertype=0&page=1#pid143485
非常感謝妳的分享。


感謝 MorganLiu 的回覆！我有注意到這一段的原始碼，但這樣還無法解釋參數 COMMODITY_ID 。而我在我舉的失敗的例子中
http://www.taifex.com.tw/chinese/3/7_9_1.asp
原始碼沒有任何 <INPUT> 的標頭，所以原本例子裡的規則也無法適用。。。


再次感謝各位的回答 <(_ _)>

hhy

回復 18# Branson

為什麼不能寄 新帳號不能pm了嗎
應該是想來這裡洗coco吧
那我們多洗一些吧

這個資料我已經抓好了
可以直接下載
http://coco-in.net/viewthread.php?tid=10143
但有點貴就是了

參數不是用猜的 以後沒猜到一兩次就算了
猜明天收多少點還比較容易中
你去網頁裡找"checkSubmit()"
慢慢就會發現產生連結的程式

cs, cpp, vba通通會
要不要多學一個網頁的(像是html)
資料不是抓不到 竟然可以賣500
省了不少lds的功夫喔

Branson

回復 19# hhy

感謝您的回應，可惜在下一直失敗的例子中，沒有像MorganLiu提起的<input>標頭，也沒有您提示的checkSubmit()程式。這兩個提示剛好都是在原本的例子才有的，所以對於以下鏈結：http://www.taifex.com.tw/chinese/3/7_9_1.asp
一直看不出該使用甚麼參數？


為甚麼參數不是像原本的例子一樣是 DATA_DATE 和 DATA_DATE1 呢？http://www.taifex.com.tw/chinese/3/7_9_1dl.asp?DATA_DATE=2011/5/3&DATA_DATE1=2011/5/4
明明是同一個網站的說？囧

剛好之前都沒有機會碰到網路程式語言
程式語言還真是學不完。。。
這樣對嗎？囧

感謝您的回答和資料提供
希望我有一天能存夠錢購買您的資料
我也不知道為甚麼不能 PM？ 囧
在下倒是沒有洗CoCo的念頭

hhy

回復 20# Branson

你不想賺coco以後怎麼買資料呢?
你不想洗那我洗

沒有<input>就找別的啊 為什麼一定要<input>
你回去看看checksubmit旁邊有什麼? 為什麼要看checksubmit?

另外 難道同一個網站參數就要一樣嗎? 囧
你寫兩次功能一樣的程式 各變數的名字都會一樣嗎?

語言當然學不完啦 我想也沒有人會學得完啦
我cpp, vb什麼的都不懂 只會按鍵精靈 還不是可以抓資料
不過多學總是比較好 但是能用最重要

這部分既然我賣的資料有人買了
我就不會跟你說太多
不然對買家不公平
又賺了1coco^^

Branson

回復 21# hhy

您 '原本' 的例子中 建議我去研究 checkSubmit() 這個函式 我完全可以理解但是我從頭到尾主要想請教的問題 是圍繞在新的例子上
http://www.taifex.com.tw/chinese/3/7_9_1.asp


您提示我去看看 checkSubmit() 旁邊有什麼 大概是指 value="下載" 這兩個字吧
可惜如我之前所報告過的 新的例子裡沒有 checkSubmit() 或是甚至 '類似' 的函式 可供我合理的推測正確的參數
新的網頁最接近 "下載" 兩個字的是 href="javascript:javascript:download()
可惜這函數並沒有原始程式碼可以參考

如果跟您買資料的人 也和我用一樣的心力研究原始程式碼 那當然會對他們造成不公平 :)

在下衷心希望 您可以在 '新的' 例子上 給大家一些提示 :)
因為舊的例子實在是和新的例子原始碼差很多 Orz （如果您有看過原始碼的話）
我從之前例子討論串所學的 實在是無法應用上

最後
其實我也只是和最初發起這個討論串的 rjwang 問一樣的問題
只是鏈結不同
在下自認對提出問題的態度也很認真
如果我的問題有幸被回答了
應該也只是和 rjwang 一樣的公平吧?

感謝各位的提示與指教 :)

hhy

回復 22# Branson

你說對了 全部都從"下載"那裏開始

hhy

回復  hhy

在下衷心希望 您可以在 '新的' 例子上 給大家一些提示 :)
Branson 發表於 11-5-6 04:30 PM

你是你 大家是大家

hhy

回復  hhy
在下自認對提出問題的態度也很認真
如果我的問題有幸被回答了
應該也只是和 rjwang 一樣的公平吧?
Branson 發表於 11-5-6 04:30 PM

有一句話騙了很多人
"一分耕耘 一分收獲"
應該改成沒有耕耘 沒有收穫
或說no pain no gain

努力不一定收穫(運氣) 也不一定成正比(天分)
我們只能保證 不耕耘就沒東西吃

你是很認真沒錯啊
但運氣差了點 就是有人買了那篇文 沒有的話我說不定會送你
也有人認真做單但還是一直停損啊 這樣講你懂吧?

你是不是也被那句話騙了呢?

Branson

回復 24# hhy

兄弟，一直以來，我發文請教的態度誠懇認真，字打了那麼多，給一點 稍微有誠意點 的提示不過分吧？我很清楚說過兩次了，你所謂的提示在我舉的連結裡根本不適用，

再來我講句良心話，你給的提示對新的連結根本對新手是 '誤導'。你自己都說過，為甚麼同個網站的網頁就要寫的一樣。
那為甚麼你給的提示要一樣呢？


正確答案是下面這幾個參數
http://www.taifex.com.tw/chinese/3/7_9_1dl.asp?
syear=2011&smonth=5&sday=5&eyear=2011&emonth=5&eday=5
關鍵字是 'name =' 附近的參數，這是我發現唯一可以同時解釋兩個網頁參數的關鍵字

簡單回答一下很難嗎...？
拜託
大家都有長眼睛

是阿
我是我
大家是大家
你要針對我
以為可以欺負新手洗文章
你就別怪我也針對你了

你想賺金幣是吧？
我在這裡鎮重向大家自告奮勇




凡是 hhy 販賣的任何公開資料
我這裡全部 免費 提供

請不要浪費你的金幣
去滿足他不曉得在想甚麼的優越感
（hhy 前面那些叫我買的歷史資料居然要賣五百？）

出來混不是像妳這樣的
是大家互相尊敬幫忙
你敬我一分我敬你三分
我看你好像也在這裡很久了
一不小心
辛苦累積的名聲和金幣可能嚴重減少
值得嗎？

Branson

[quote]
回復  hhy
在下衷心希望 您可以在 '新的' 例子上 給大家一些提示 :)
Branson 發表於 11-5-6 04:30 PM

[/quote]

你是你 大家是大家
hhy 發表於 11-5-6 10:50 PM

[quote]
回復  hhy
在下自認對提出問題的態度也很認真
如果我的問題有幸被回答了
應該也只是和 rjwang 一樣的公平吧?
Branson 發表於 11-5-6 04:30 PM

[/quote]

有一句話騙了很多人
"一分耕耘 一分收獲"
應該改成沒有耕耘 沒有收穫
或說no pain no gain

努力不一定收穫(運氣) 也不一定成正比(天分)
我們只能保證 不耕耘就沒東西吃

你是很認真沒錯啊
但運氣差了點 就是有人買了那篇文 沒有的話我說不定會送你
也有人認真做單但還是一直停損啊 這樣講你懂吧?

你是不是也被那句話騙了呢?
hhy 發表於 11-5-6 10:50 PM

你真是熱心助人，還不忘提醒我不要被騙，我幫妳備份一下，以免你刪文。
我也送你一句，你以後真的懂事，一定會後悔自己說過這些話（如果妳還有要用這個ID的話），
大家都有長眼睛。

jcpink

好厲害喔
大家都是高手

pythonist

下載  期貨每日交易行情。

輸入
c:\Python27\python.exe demo.py 201107 199807
就可以抓2011年7月往回至1998年7月的期貨每日交易行情。
全部抓完後再自動砍掉小於1000 bytes的.csv檔。

Win7 + Python 2.7.2測試通過。

1. import calendar, datetime, itertools, os, os.path, sys, urllib2
   
2. urllib2.install_opener(urllib2.build_opener(urllib2.HTTPCookieProcessor()))
   
3. ym12 = [(ym.year, ym.month) for ym in (datetime.datetime.strptime(a, '%Y%m') for a in sys.argv[1:3])]
   
4. map(lambda h: os.remove(h[0]), itertools.ifilter(lambda g: os.path.getsize(g[0]) < 1000, [('future_%d%02d.csv' % (r, s), open('future_%d%02d.csv' % (r, s), 'wb').write(urllib2.urlopen('http://www.taifex.com.tw/chinese/3/3_1_2dl.asp?COMMODITY_ID=all&DATA_DATE=%d/%02d/01&DATA_DATE1=%d/%02d/%02d' % (r, s, r, s, t), timeout=10).read())) for r, s, t in [(z, n, calendar.monthrange(z, n)[1]) for z, n in [(ym12[0][0] - ((i + 12 - ym12[0][1]) // 12), ym12[0][1] - i if i < ym12[0][1] else 12 - ((i - ym12[0][1]) % 12)) for i in range((ym12[0][0] - ym12[1][0]) * 12 + ym12[0][1] - ym12[1][1] + 1)]] if not os.path.exists('future_%d%02d.csv' % (r, s))]))

複製代碼

future_19980721_20110715.rar (2.3 MB, 下載次數: 367)

11-7-16 23:41 上傳

點擊文件名下載附件

pythonist

20110101~20110715    選擇權每日交易行情資料


option_20110715.rar (2.48 MB, 下載次數: 332)

11-7-17 10:19 上傳

點擊文件名下載附件