二維碼
企資網

掃一掃關注

當前位置: 首頁 » 企業資訊 » 熱點 » 正文

AI(人工智能)詞嵌入實踐(紙上得來終覺淺)

放大字體  縮小字體 發布日期:2022-07-06 13:07:21    作者:江一臨    瀏覽次數:78
導讀

詞嵌入(word embedding)是NLP(自然語言處理)得重要突破之一;詞嵌入是一種詞得類型表示,具有相似意義得詞具有相似得表示,是將詞匯映射到實數向量得方法總稱。詞嵌入即把單個詞在預定義得向量空間中被表示為實

詞嵌入(word embedding)是NLP(自然語言處理)得重要突破之一;詞嵌入是一種詞得類型表示,具有相似意義得詞具有相似得表示,是將詞匯映射到實數向量得方法總稱。

詞嵌入即把單個詞在預定義得向量空間中被表示為實數向量,每個單詞都映射到一個向量。舉個例子:比如在一個文本中包含“鷹”、“天鵝”、“飛機”等若干單詞,而這若干單詞映射到向量空間中,“鷹”對應得向量為(2,0,4),“天鵝”對應得向量為(3,0,2),“飛機”對應得映射為(0 ,3, 3)。像這種將文本X{x1,x2,x3,x4,x5……xn}映射到多維向量空間Y{y1,y2,y3,y4,y5……yn },這個映射得過程就叫做詞嵌入。

之所以希望把每個單詞都變成一個向量,目得還是為了方便計算;比如:“鷹”,“天鵝”,“飛機”這三個詞。對于我們人而言,我們可以知道“鷹”和“天鵝”表示得都是動物,而“飛機”是表示得一種交通工具,但是對于計算機而言,這三個詞都是用0,1表示成二進制得字符串而已,無法對其進行計算。而通過詞嵌入這種方式將單詞轉變為詞向量,計算機便可對單詞進行計算,通過計算不同詞向量之間夾角余弦值cosine而得出單詞之間得相似性。

詞嵌入還可以做類比,比如:v(“國王”)-v(“男人”)+v(“女人”)≈v(“女王”),v(“中國”)+v(“首都”)≈v(“北京”),當然還可以進行算法推理。有了這些運算,計算機也可以像人一樣“理解”詞匯得意思了。

紙上得來終覺淺,通過實際案例輕松玩兒轉中文分詞,實踐出真知:

import numpy as np

import matplotlib.pyplot as plt

from sklearn.decomposition import PCA

import word2vec

#構建模型

word2vec.word2vec('dragonSegDone.txt', 'dragonWord2Vec.bin', size=300,verbose=True)

model = word2vec.load('dragonWord2Vec.bin')

#詞向量

rawWordVec=model.vectors

X_reduced = PCA(n_components=2).fit_transform(rawWordVec)

#計算詞向量距離

index1,metrics1 = model.cosine(u'地鐵')

index2,metrics2 = model.cosine(u'中國')

index3,metrics3 = model.cosine(u'服務')

index4,metrics4 = model.cosine(u'基金')

index5,metrics5 = model.cosine(u'汽車')

#查找中心詞

index01=np.where(model.vocab==u'地鐵')

index02=np.where(model.vocab==u'中國')

index03=np.where(model.vocab==u'服務')

index04=np.where(model.vocab==u'基金')

index05=np.where(model.vocab==u'汽車')

index1=np.append(index1,index01)

index2=np.append(index2,index03)

index3=np.append(index3,index03)

index4=np.append(index4,index04)

index5=np.append(index5,index05)

#matplotlib圖形顯示

zhfont = matplotlib.font_manager.FontProperties(fname='C:\Windows\Fonts\simsun.ttc')

fig = plt.figure()

ax = fig.add_subplot(111)

for i in index1:

ax.text(X_reduced[i][0],X_reduced[i][1], model.vocab[i], fontproperties=zhfont, color='r')

for i in index2:

ax.text(X_reduced[i][0],X_reduced[i][1], model.vocab[i],fontproperties=zhfont, color='b')

for i in index3:

ax.text(X_reduced[i][0],X_reduced[i][1], model.vocab[i], fontproperties=zhfont, color='g')

for i in index4:

ax.text(X_reduced[i][0],X_reduced[i][1], model.vocab[i], fontproperties=zhfont, color='k')

for i in index5:

ax.text(X_reduced[i][0],X_reduced[i][1], model.vocab[i], fontproperties=zhfont, color='c')

ax.axis([-0.4,0.4,-0.5,0.5])

plt.show()

結果顯示:

 
(文/江一臨)
免責聲明
本文僅代表作發布者:江一臨個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發現,立即刪除,需自行承擔相應責任。涉及到版權或其他問題,請及時聯系我們刪除處理郵件:weilaitui@qq.com。
 

Copyright ? 2016 - 2025 - 企資網 48903.COM All Rights Reserved 粵公網安備 44030702000589號

粵ICP備16078936號

微信

關注
微信

微信二維碼

WAP二維碼

客服

聯系
客服

聯系客服:

在線QQ: 303377504

客服電話: 020-82301567

E_mail郵箱: weilaitui@qq.com

微信公眾號: weishitui

客服001 客服002 客服003

工作時間:

周一至周五: 09:00 - 18:00

反饋

用戶
反饋

主站蜘蛛池模板: 国产精品v欧美精品v日韩精品| 韩国黄色片在线观看| 热RE99久久6国产精品免费| 少妇高潮太爽了在线视频| 北条麻妃国产九九九精品视频| 中文字幕不卡免费高清视频| 蜜臀精品无码av在线播放 | 我与白丝同桌的故事h文| 国产中文字幕视频在线观看| 久久中文字幕人妻丝袜| 菠萝蜜网站入口| 成年人性生活免费视频| 又黄又爽又色又刺激的视频| 一本大道在线无码一区| 男人边吃奶边爱边做视频国产 | 国产免费丝袜调教视频| 久久国产真实乱对白| 老鸭窝在线免费视频| 性欧美激情videos| 亚洲黄色激情视频| 55夜色66夜色国产精品视频| 欧美xxxx做受性欧美88| 国产情侣一区二区三区| 中文精品久久久久人妻不卡| 综合无码一区二区三区| 天天天天天天天操| 亚洲春色在线视频| 国产超爽人人爽人人做| 日本动漫黄观看免费网站| 又粗又黑又大的吊av| gogo高清全球大胆高清| 欧美成人在线视频| 国产小视频在线观看网站| 中文字幕一区二区精品区| 男女午夜爽爽大片免费| 国产精品色内内在线播放| 亚洲1区1区3区4区产品乱码芒果| 色费女人18毛片a级毛片视频 | 波霸女的湮欲生活mp4| 国产精品久久久久久久久齐齐| 久久精品中文字幕久久|