AI或理財機器人以行銷為多

wctsengc

個人十幾年前還在上班累積操作資金的時候, 有過台股市值最大公司的類data scientist經歷, 也是Oracle ERP的data architect, 並受過SAP Data Warehousing 模組的訓練, 也就是之前上班十幾年的工作都是靠data吃飯(全職操作後更是努力地玩data, 近幾年趕流行也嘗試過AI). 對於不懂大數據或區塊鏈的, 改天也附上我曾寫過的掃盲文


近幾年理財機器人或是人工智慧(AI), 因為AlphaGo戰勝棋王的宣傳變得很夯, 不少人以為面對類似的市場戰局(抉擇), 人工智慧必定很有發揮的空間; 現實卻殘忍地告訴您, AI團隊努力了幾年卻宣告失敗了, 改轉進醫療相關領域, 可參考連結報導 zhuanlan.zhihu.com/p/31913355 (也有人說是假新聞)

簡化地告訴您, 人工展現智慧前, 必須有一段機器學習的過程; 而這機器學習(ML)通常可以這樣定義：「透過從過往的資料和經驗中學習並找到其運行規則。」然而正是這 [資料] 和[經驗] 侷限了一切!

黑天鵝的由來大家都知道吧? 話說古時候北半球的人, 一輩子根本沒機會看過南半球的天鵝有些是黑色的, 因此他的 [資料] 和[經驗] 就侷限在天鵝只會有白色的, 所以我們拿來訓練機器的資料也只能會有白色的(沒發生過的資料, 人類也無能更不可能預見出來), 當這種訓練下來的人工智慧機器, 後來遇到它沒見過的狀況(黑天鵝)時, 您還會認為它會做出有智慧的反應嗎? 哪怕它學習時用的演算法是什麼manifold regularization或是TSVM都沒三小路用

市場因為參與者眾多, 組成分子又會汰舊換新(不管是被抬出場或真正死亡), 市場老師的行為是一直在改變的, 對人工智慧機器來說, 就是不斷地用新出的黑天鵝(它的學習資料庫不存在這些資料), 去挑戰它好不容易用演算法搞出來的規則, 這只會讓它不斷地傻眼而已. 圍棋變數多但仍是有限解(雖窮舉後的資料龐大), 人類可以用有限解的部分集合(ex: 棋譜資料)去訓練電腦, 讓它能在限定時間內算出最佳可行解; 但交易市場屬於無限解... 很難辦!

結論回到好的操作方法絕對不是單從市場實戰經驗導出來的, 也可以看做在歷史資料(實戰經驗)中找賺錢的行為或方法, 是有問題的. 繼續重申 --- 正確的作法應是先有理論或model, 理論的涵蓋度夠廣後(把看不見黑天鵝的機率降低), 再用歷史資料去印證理論(model)在已發生資料中的實務可行性, 並且達到在 [不修正] 任何參數的前提下, 且在 [不同時間架構]中, 和 [不同商品] 間, 都有同樣水準以上的穿透性(以上 [三不] 最重要)


有人提問 ---

若給AI夠多的資料，涵蓋的範圍夠廣，譬如幾十年的資料，幾百個市場，正常人類考慮不了這麼大量的資訊，但對AI卻只是運算速度跟儲存空間的問題。就像一個累積幾百年歷史經驗的老師父，是不是能讓AI對戰人類（壽命只有幾十年和有限的思考力）取得優勢呢？

Ans: 現階段做不到, 未來我不敢說!
如果您對AI技術有一點了解的話, 搞AI很耗各種資源的. 舉自己例子來說(用R語言寫的, 不知用Python會不會比較快, 我是覺得不會), 曾經花過30天才準備完約3000筆訓練資料, 用等級最高的CPU i7來跑(沒有另加AGP), 跑個沒很難的演算法(SVM)讓機器去找rules, 不誇張需要跑3天, 您都會以為機器是不是當掉了! 所以您可以看到為啥前幾年AI流行的時候, 賣AGP可加速運算的nVidia股價大飆高. AGP能加速多少? 算很厲害讓機器三天改跑半天就好, 您還是很可能誤認是當機的(還只有三千筆而已) 哈哈

所以太小看現階段AI所需要的資源(軟. 硬體. 各種專家. 訓練資料), 幾十年的資料? 幾百個市場? 單一公司很難做到, 即便是google也難! 況且最大的問題在於各式訓練資料的準備(clean, ETL, label), 這需要很專精的domain expert和data scientist, 並且要花去最多的時間(可能要比訓練機器更久), 加上適格人才難尋啊! 如果在哪一個市場成功了, 保證google會出來大吹大擂, 就像當初打敗棋王一樣, 沒有這種行銷, 後面的投資者會繼續出錢? 股價怎辦? 怎麼吸引更多人才? ....???

確實跑多一點訓練資料, 有機會讓機器聰明一點, 但還是不脫主文所提過的 --- 沒發生過的資料, 人類不知道也無能力, 更不可能預見出來, 只能繼續發生遇見黑天鵝而傻眼的狀況

其實, 如果有真正強的domain expert和data scientist, 可以避免機器重複學類似的東西, 資料多若沒篩過, 不會比較好, 所以上面也說 data clean更費工

p.s. AGP是GPU古時候的說法, 用A (Accelerated)比較有加速感

有人問說: 新聞中的沃牛一號是如何辦到絕對獲利的？是短期現象（AI根據短時間（3年）的資料在短時間內沒遇到黑天鵝）還是自吹自擂的可能性比較大？

我的回答是: 請注意它的用詞是: [回測]的數據令人震驚; 我也常開發出回測令人震驚的策略, 實際上線使用後也真的令我震驚, 賠錢到趕忙讓程式下架. 絕對獲利就只是不賠另種說法而已, 要做到沒很難, 我每週公開的實單測試便屬於這種, 但要承受獲利低的缺點, 大多數情況都是trade-off, 很難兩者兼得的, 如果可以, 這種大發現會得諾貝爾獎 --- Harry Markowitz的論文得獎(同時獲利最大化+風險最小化)

關於人工智慧, 您可以把機器想像成很小的小孩, 看您要怎樣教育他, 每個人教育小孩的方法都不同. 這就是我說準備訓練資料時的domain expert最重要, 不是只有我們這種data scientist是關鍵. 根據完全同樣一份市場的報價歷史資料, 您可以將訓練資料準備成好幾種, 一種是讓機器去學遇到哪幾種狀況同時存在時去做交易的; 另一種是讓機器去學後面的人心計算是怎麼運作, 然後據此再去交易的, 而其他種則看domain expert的創意. 像小孩學課程一樣, 教材不同, 學出來的孩子技能也都不同. 當然教材笨笨的, 學出來的小孩也是笨笨的, 教材裡面沒涵蓋的(ex: 黑天鵝), 被教育出來的小孩要知道也難. 所以才強調AI的重點不在後面的技術, 反在於訓練資料的準備

wctsengc

academic 發表於 20-1-6 16:07
既然你認為我誤解了,那就是說看的人也不見得不會誤解,這不是很明顯的邏輯嗎?
所以你說看的人不見得會誤解 ...

您沒禮貌地直接給人家亂入, 說已經寫好的文章有語病, 還怕人家誤解, 沒有授權就逕自替我 [詳加說明], 我的回應只是再次強調就是原文的意思而已, 免得別人看了您的[詳加說明], 反倒真誤解了我的原意; 我的回應說: [可能]需要[再研究]看看, 您竟然又沒禮貌地曲解翻譯成什麼 老子...

讓我覺得更好笑的是, 在這個論壇要怎麼行文和發言(就算是您說的大言不慚好了), 還要先看是不是新人? 威望? 注重禮節與否或是有無道理就交與公評即可

academic

wctsengc 發表於 20-1-6 07:24
看的人不見得會誤解, 但您所謂的詳細說明只是您自己誤解後的看法, 您做不到的事情, 可能需要再研究看看
...

既然你認為我誤解了,那就是說看的人也不見得不會誤解,這不是很明顯的邏輯嗎?
所以你說看的人不見得會誤解'這句話的意義何在?
你既然要把你的想法個人經驗在這裡公開,心裡必然要有被詢問並且的並且質疑的心理準備.
不是這樣嗎?
你這種明顯違背邏輯的事情只用一句話說老子做得到,你做不到就自行研究吧,
實在有點好笑,不要忘了你在本論壇還是新人,並未尚未建立自己的威望.
如果要大言不慚也要等大家更了解你.

abab47036

其實不必回覆 懂你的人一開始就懂 不懂的人就算寫一本書解釋對方想法也不會改變

wctsengc

academic 發表於 19-12-24 20:44
並且達到在 [不修正] 任何參數的前提下, 且在 [不同時間架構]中, 和 [不同商品] 間, 都有同樣水準以上的穿 ...

我內文寫半天而且在結論段也提到 --- 在歷史資料(實戰經驗)中找賺錢的行為或方法, 是有問題的!
結果您未經授權的詳細說明竟然替我說: 要根據歷史資料 嘗試取得最佳參數值 ??? 到底是誰明顯違背邏輯? 於是我的回應只是再次強調就是原文[不修正] 任何參數的意思而已

wctsengc

academic 發表於 19-12-24 20:58
我也常開發出回測令人震驚的策略, 實際上線使用後也真的令我震驚, 賠錢到趕忙讓程式下架
----------------- ...

只能說尊重您的看法和經驗啦
您所說的程式交易基礎ABC
對於全職交易超過12年的人來說
他是最為注重的
不然很難存活下來

academic

並且達到在 [不修正] 任何參數的前提下, 且在 [不同時間架構]中, 和 [不同商品] 間, 都有同樣水準以上的穿透性(以上 [三不] 最重要)
---------------
關於以上這些話 對於沒有實際實戰 程式交易經驗的人 很容易 不了解或者誤解 我在這裡再詳細 說明一下 所謂不修正任何參數 這句話是有 語病的 因為 就算多麼好的程式 在剛開始撰寫的時候 這些參數的取得 還是要 根據歷史資料 嘗試取得最佳參數值 這種嘗試錯誤 就會有修正的過程, 怎麼會有所謂達到不修正任何參數這樣子的說法?
我想這句話應該修改成最佳參數 不會因為操作時期 的不同而必須做修正, 但是定位操作不同的商品 參數可能不修正嗎 至少價格就會 處在不同的範圍 許多參數又和價格有關 所以在不同的商品上面 參數的修正很難逃得掉 只能說大的架構大致不變.

academic

我也常開發出回測令人震驚的策略, 實際上線使用後也真的令我震驚, 賠錢到趕忙讓程式下架
--------------------
聽到這句話也讓我更加震驚 應該是評估回測的方法和標準有問題吧 舉例而言回測時間不夠長 或者 交易次數過多 額外費用沒有考慮進去
或者是指回落 最深的 谷底沒有列入考慮 因為沒有實際成交行為發生所以 程式回測 沒有列入... 等等等各種可能.

wctsengc

academic 發表於 19-12-24 20:44
並且達到在 [不修正] 任何參數的前提下, 且在 [不同時間架構]中, 和 [不同商品] 間, 都有同樣水準以上的穿 ...

看的人不見得會誤解, 但您所謂的詳細說明只是您自己誤解後的看法, 您做不到的事情, 可能需要再研究看看

academic

這個版面叫做程式交易討論區,不是程式交易學習區,不想討論只想學習,請勿打擾他人討論,閃到一邊涼快去吧!

academic

我到這裡來發表我的看法你說我亂入那麼去年12月4號你到我的主題論壇發言是是也算是亂入沒禮貌?
http://www.coco-in.net/forum.php?mod=viewthread&tid=150818,
你自己看看你 當初說什麼話.
當時我看到你的發言完全沒有認為你在找麻煩, 我是把你當成理性討論. 現在你對不同的看法就當成亂入?
你說你的發言可以接受公共評論, 那麼 我針對你的發言提出我的看法為什麼要經過你授權?
我質疑你原來發言的內容缺乏可行性和真實性不是在替代你做說明, 而是在表達我的看法想法.
什麼叫做沒禮貌? 你前去我的主題論壇發言就有禮貌嗎?  
為什麼你的發言被認為不合邏輯, 你就來一句 是我誤解,別人不見得會誤解 ,你也懶得解釋,
是的你沒有義務解釋, 對於所謂的公共評論你可以採取任何方式回應 是你的自由,
對於我指出你所謂的不需修正任何參數, 在我聽起來就像是 宣稱 雞蛋不是雞生出來的,
然後你說 如果我做不到就要自行再研究研究. 奇怪我為什麼要去做你說的事情,
然後沒有做到?就要去研究研究. 你開口授權 閉口授權, 你到底申請的什麼專利權 可以禁止他人發言自由?
事實上會寫程式的人大部分都心思慎密, 你說我是未經授權替你做說明, 我在原文裡說得很清楚 我是怕你的言論造成 觀眾誤解 我認為你的話應該做某種修正, 你可以不同意我的觀點, 提出反駁, 或者 繼續我行我素不予理會這是你的自由
為什麼我的不同看法 發表出來竟然被你臉上貼金解釋成我在替你做說明? 還必須要經過你的授權, 會說出這種話的人腦袋裡的邏輯思考可見一般, 這不是蓄意曲解 什麼是蓄意曲解?
在這一行做了12年又怎樣? 看看你自己公佈的可憐績效是長什麼樣子? 怎麼好意思大言不慚?
真的是匪夷所思?威夷所思?
另外有一些躲在陰暗角落默默支持版主反對我的看法的群眾, 請你們有種一點 , 光明正大勇敢的站出來, 針對話題內容說出你反對 我的原因,不要只會偷偷摸摸放冷箭給我負面評語.
最後再強調一句 這個地方叫做程式交易討論區不是叫做程式交易一言堂.

wctsengc

academic 發表於 20-1-21 19:47
我到這裡來發表我的看法你說我亂入那麼去年12月4號你到我的主題論壇發言是是也算是亂入沒禮貌?
http://www. ...

O.K. 是我沒有禮貌, 內容缺乏可行性和真實性, 邏輯思考又差, 而且績效可憐! 請您不要再糾結了!!!
您說我不解釋, 其實 http://www.coco-in.net/thread-151683-1-1.html
您說我績效可憐, 其實我在其他文裡提過正報酬年10%是我的目標, 夠養家活口 & 過上不錯的生活即可, 沒有暴富的能力, 我確實挺弱的; 還好十幾年來從來沒有任何營利企圖, 否則不知會被您如何形容? 同時幾個策略一起跑是程式交易者的慣性, 公布出來的只是1支策略的結果 --- http://www.coco-in.net/thread-151410-1-1.html
最後祝您的績效, 可以和您的發言一樣強悍!