【自然言語処理】深層学習がもたらした自然言語処理研究の発展と変革

岡崎　直観

あらまし

岡崎　直観

Vol.105 No.5pp.397-400

発行日:2022/05/01

Online ISSN:2188-2355

Print ISSN:0913-5693

種別:特集　深層学習は情報・システムの研究をどう変えたか

専門分野:

キーワード:
自然言語処理, 深層学習,

本文:PDF(393.1KB)>>

あらまし:
単語埋込みベクトル，RNNやTransformerなどの系列変換モデル，注意機構，BERTやGPTなどの大規模事前学習済みモデルなど，深層学習は自然言語処理とともに発展した．一方で，大規模計算資源に支えられたデータ駆動形の研究開発が加速し，特徴量エンジニアリングはネットワーク構造の設計に置き換えられた．複合的なタスクもエンドツーエンドでモデル化されるようになり，人間の知的なタスクに対応するベンチマークデータが多く生み出され，研究の再現性に関する関心が高まった．本稿では，自然言語処理における深層学習の発展と，深層学習が自然言語処理の研究に与えた影響を解説する．

あらまし

ログイン

メニュー