【自然言語処理】深層学習がもたらした自然言語処理研究の発展と変革
Vol.105 No.5pp.397-400
発行日:2022/05/01
Online ISSN:2188-2355
Print ISSN:0913-5693
種別:特集 深層学習は情報・システムの研究をどう変えたか
専門分野:
本文:PDF(393.1KB)>>
あらまし:
単語埋込みベクトル,RNNやTransformerなどの系列変換モデル,注意機構,BERTやGPTなどの大規模事前学習済みモデルなど,深層学習は自然言語処理とともに発展した.一方で,大規模計算資源に支えられたデータ駆動形の研究開発が加速し,特徴量エンジニアリングはネットワーク構造の設計に置き換えられた.複合的なタスクもエンドツーエンドでモデル化されるようになり,人間の知的なタスクに対応するベンチマークデータが多く生み出され,研究の再現性に関する関心が高まった.本稿では,自然言語処理における深層学習の発展と,深層学習が自然言語処理の研究に与えた影響を解説する.