from Exploring the Use of LLMs and BERT for Language Tasks.
大規模言語モデル（LLMs）は、テキストの意味を理解し、感情分析やテキスト生成など多様なタスクをこなす深層学習モデルで、GoogleのBERTなどに応用されています。これらのモデルは、大量のテキストデータを用いて事前トレーニングされ、マスク言語モデル（MLM）という自己教師あり学習を活用します。その後、特定のタスクに合わせて微調整されます。モデルに特定のタスクを実行させるためには、プロンプトという指示が重要で、これによりモデルにコンテキストが与えられます。微調整技術には、特徴抽出、フルモデルの微調整、アダプタベースの微調整があり、それぞれ異なるレベルでモデルのパラメータを調整します。BERTのようなモデルは、微調整を通じてIMDB映画レビューの感情分析など、特定のタスクで高いパフォーマンスを達成することができます。