從n元文法到神經語言模型
2022-05-29 22:46:42

資料來源

https://www.bilibili.com/video/BV11g4y1i7MW

80年代的n元語法
隱馬爾科夫模型
SVM
MRF
CRF
等等

提綱

1.n元文法
2.神經語言模型
3.問題思考

歷史

后面詞的出現受前面詞的影響,改進為條件概率,數據量太大

改進,當前詞只和前面n個詞相關,這樣就出現了n階馬爾科夫鏈

要解決的問題:

1.數據稀疏問題-會出現新的詞-很可能在訓練數據中從未出現過,需要數據平滑
2.領域自適應
3.以離散符號為統計單元,忽略了詞與詞之間的相似性-比如英文的單詞有不同的時態,但其實是一樣的意思


枯燥和乏味是相近詞-n元文法做不到

分析原因


帶來的問題:相似度沒有體現

想辦法解決,用連續空間去編碼,同時也要降低維度,one-hot維度太大

還有一個好處,同時算概率的時候,可以共享一些歷史數據
歷史數據-“很”是一樣的

怎么賦值呢?

神經語言模型


FNN怎么實現語言模型的計算?


1.查詞向量

2.計算后驗概率
(L_T)是查表
輸入是一個句子,

舉例說明

非線性變換

注意,這里輸入的是 “這本書很乏味”,這個完整的句子了,不再是 “這本書很”


需要n-1個詞的歷史數據
僅對小窗口的歷史信息進行建模
能不能把所有的歷史數據考慮進去

RNN登場

完整的圖


案例的RNN模型

梯度爆炸,彌散問題


能不能選擇性的遺忘一些東西?

LSTM登場

不管是RNN 還是LSTM 都只考慮了歷史,沒有考慮歷史哪個詞對當前影響性大
不同的影響性要賦予不同的權重

自注意力機制

考慮了語境信息

Transformer

Bert模型

問題思考


問題1:樣本的局限性
案例-脫貧困難,資源就那么點

問題2:和自然語言的局限性

問題3:東施效顰,沒有學到精髓

近年來老師團隊的成果

比如出租車,車很重要,車怎么可以賦予更高的權重?得到質量跟高的向量
論文1 - EMNLP 2017

光在文本上學也是有問題的,有時候的圖文結合的,所以要利用圖片信息
詞也不一樣,有些是抽象詞,有些是具體詞,具象詞,這種不同模態的詞,賦予不同的權重
論文2 -

不同此類的詞相互的影響

把上下文語境信息存起來,對一些頻繁訪問的上下文信息,記錄在緩存中
看起來挺新的,但其實很早就這么做了,基于緩存的n元文法,有點像外部記憶

上面的東西
基本是在解決問題1
包括把聲音的信息都拿進來

驚異度機制

借助外部儀器的圖像-探索大腦的解析形式
fMRI 核磁共振圖像

怎么從大腦圖像中重構語義信息?
三種方式
1.給一張圖片觀察fMRI核磁圖像
2.給一句句子觀察
3.給一張詞圖觀察圖像

有的時候會造一些相同的句子去理解一些說的話

所有論文

本文摘自 :https://www.cnblogs.com/


更多科技新聞 ......

欧美五月丁香六月综合合_成年在线视频免费观看完整版_交换国产精品视频一区_免费一本色道久久一区