由自然語言到ChatGPT大熱之路

筆者上周闡述和分析了生成式人工智能（AI）發展之路的序曲──傳統AI的起點。到2017年，谷歌（Google）推出一個稱為「變換器」（Transformer）的「深度學習」（deep learning）架構，以推進機器處理及了解文字的能力。所謂Transformer模型其實是使用一套數學技術，偵測一個系列中相互影響或依賴的資料原素，藉着由追蹤序列資料中的關係，學習上下文之間的脈絡及意義。這樣一來，一些研究機構便從中得到發展啟迪──即可以通過自然語言（尤其英文），當中的文法、詞彙、字出現的頻率及先後次序，來發現字與字之間的關係，從而能夠製造出一個聊天機械人，可以自行產生答案作答，與傳統人工智能 ...

（節錄）全文共2005字