小娃 發表於 11-5-12 00:54

ftp下載每日rpt檔(期貨及選擇權)2011.3.17起


小娃把Linux自動抓rpt檔的shell script和ftp設定好了,
建議大家近30日的資料還是上期交所抓,過期的資料再來ftp抓,
這樣子COCO的流量才能更有效率的使用。

ftp連進去有2個folder, future_rpt是期貨的rpt檔。
op_rpt是選擇權的rpt檔。本ftp只能下載不能上傳,檔案從2011.3.17起



以下分享自動抓rpt檔的shell script。
抓期貨rpt檔#!/bin/sh
today_tickfile=http://www.taifex.com.tw/DailyDownload/Daily_`date +%Y_%m_%d`.zip
wget -c -a /root/rpt/future_tick.log -P /home/cocoin/future_rpt/ $today_tickfile
抓選擇權rpt檔#!/bin/sh
today_tickfile=http://www.taifex.com.tw/OptionsDailyDownload/OptionsDaily_`date +%Y_%m_%d`.zip
wget -c -a /root/rpt/op_tick.log -P /home/cocoin/op_rpt/ $today_tickfile
自動排程工作的crontab檔案(新增最後2行)SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
HOME=/
# run-parts
01 * * * * root run-parts /etc/cron.hourly
02 4 * * * root run-parts /etc/cron.daily
22 4 * * 0 root run-parts /etc/cron.weekly
42 4 1 * * root run-parts /etc/cron.monthly
#wawa88123
00 3 * * * root /root/local/bakdzmysql.sh
#everyday am 3:00 backup
#everyday get rpt
00 18 * * * root /root/local/download_rpt_future.sh
05 18 * * * root /root/local/download_rpt_op.sh
我設定每天晚上6:00抓檔,不過說不定會有剛好server連不上的時候,
這個我就不敢保證了。

oneman001 發表於 11-5-12 01:02

小娃大
這資料有免費軟體可讀出來使用嗎

Branson 發表於 11-5-12 02:33

回復 1# 小娃


   小娃站長,請問FTP的資料可以從 2011/1/1 開始放起嗎?一是我剛好有缺一些 2011 年第一季的部份。二是這個起始點感覺也比較完整。
非常感謝妳的分享,最近我也開始寫些程式自動抓取台股的資料,如果妳有甚麼需要或是漏資料,我這裡也可以當備援。

Dogfaceman 發表於 11-5-12 08:57

yeah 第一個買
{:4_97:}
COCO有個會程式又熱心的站長
是大家的福氣~
福氣啦~{:4_113:}

小娃 發表於 11-5-12 09:02

回復 3# Branson


    晚上我回去開一個upload folder,徵求志願者上傳2011/1/1起的資料。
再整理好給大家使用。

verilog 發表於 11-5-12 14:27

推推推,我正需要。

小娃 發表於 11-5-14 09:59

回復 3# Branson

    整理好了,資料由今年1月1日起,歡迎大家來抓。因為我這一篇強制退款就不能再設價,
所以另外開一篇,本篇關閉。
http://www.coco-in.net/viewthread.php?tid=10548
頁: [1]
查看完整版本: ftp下載每日rpt檔(期貨及選擇權)2011.3.17起