乗車日記

自転車ときのこ

再読、ゼロから作るDeep Learning 2 自然言語編

再読、ゼロから作るDeep Learning 2 自然言語編。今回はAttentionとTransformerの仕組みが実装レベルで理解できた。コードを読んで理解するのがやはり重要で、その点でこのシリーズは素晴らしい。4年前に読んだ時はChatGPTもまだ流行ってなかったし、気合いが足りず、コードをちゃんと頭の中で動かさないで中途半端な読み方をしていたようだ。