阿俊 發表於 21-4-20 22:14

python 在撿股讚抓取資料

本帖最後由 阿俊 於 21-4-20 22:16 編輯

Dear 版上高手大 :
近期想要在 ""撿股讚"" 網頁 ，用股價來抓取所有股票代號，不過在程式上遇到一些困難，不知道版上大大是否能幫忙看下哪裡有問題。 小弟的代碼如圖二,不過執行出來， 撈不出資料如圖一， 看起來像是 data 需要的參數沒代入。 不過小弟看不出哪有問題，再麻煩


Blake 發表於 21-4-20 22:22



https://stock.wespai.com/pick
股票代號不用寫程式。
用上面的link，把紅色這二個一點，就全列出來了。再copy到excel就結案了


阿俊 發表於 21-4-21 00:06

本帖最後由 阿俊 於 21-4-21 00:08 編輯

Blake 發表於 21-4-20 22:22
https://stock.wespai.com/pick
股票代號不用寫程式。
用上面的link，把紅色這二個一點，就全列出來了。 ...
感謝大大回復，抓股票代號只是第一步，後續要配合以前寫的資料自動抓我要的資料，所以才要寫程式    如圖一因為目前的代號是自已先整理 excel ，再用程式抓的。    所以規劃寫程式抓所有的股票代號，再搭配目前程式。

Blake 發表於 21-4-21 07:29

阿俊 發表於 21-4-21 00:06
感謝大大回復，抓股票代號只是第一步，後續要配合以前寫的資料自動抓我要的資料，所以才要寫程式    如圖 ...

很多網站都會鎖ip,建議抓yahoo, 它比較能撐。

mick 發表於 21-4-21 11:55

import requests
import pandas as pd

url = 'https://stock.wespai.com/pick/choice'

header = {
    'content-type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'referer': 'https://stock.wespai.com/pick',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.72 Safari/537.36'
}
#股價 5 元至 10 元
myobj = {'qry[]':'dv','id[]':'dv','val[]':'5;10'}
x = requests.post(url, data = myobj,headers=header)

print(x.text)
data = x.json()
print(data)
df = pd.DataFrame.from_dict(data)
df

mick 發表於 21-4-21 11:58

colab 網站跑 python 程式碼.



阿俊 發表於 21-4-21 15:32

感謝 mick 大的回覆， 小弟不久前參考網路上的例句，也試出來，原來是 headers 不能省略。
附上小弟的寫法供其他有需要的人參考，非常感恩.



頁: [1]
查看完整版本: python 在撿股讚抓取資料