TWIML AIポッドキャストのNeurIPSシリーズにおいて、プリンストン大学のNLPグループのPhD学生であるDan Friedmanの研究について話し合いました。彼の論文「Learning Transformer Programs」では、トランスフォーマーモデルを人間が読めるプログラムに容易に変換できるようにするためのアーキテクチャの変更を提案しており、これによりモデルの解釈可能性が本質的に向上します。この研究のアプローチと以前のモデル理解手法の違いや、その機能とスケールの制限についても議論しました。Dan Friedmanと彼の研究に関連するリソースや関連エピソードについては、TWIMLのウェブサイトでさらに情報を得ることができます。
from Learning Transformer Programs with Dan Friedman – #667.
