This is a document from a talk I gave titled Understanding GPT usage from Transformer. I have been working with natural language for 2 months, so please let me know if there are any mistakes!

1. Transformerから理解する
GPTの使い方
いっちー/ icchy
Twitter: @P_ichikura
ChatGPT使い方ゆる共有会 2023.0408, ONLINE

2. 今日の概要
• Chat GPTの基盤である”Transformer”の凄さ！
• Chat GPTにどう聞けばよいの？

3. ”Transformer”について説明できない部分
• 位置エンコードについて
• 従来法との比較
• 学習時間の短縮について
• 特徴量の比較

4. “Transformer”の凄さ！
• 2017年 12月に”Attention Is All You Need”という論文で公表
• 長い文章に対する推定を可能にした（GPTモデルのエンコードに採用）
• Multi-Head Attentionの採用
• 畳み込みや再帰モデルではない特徴量抽出を実現
入力
出力
位置
エンコード
位置
エンコード
Multi-Head
Attention
・・・
Multi-Head
Attention ・・・
Multi-Head
Attention
・・・ 確率モデル

5. 日本語から英語への変換を考えると、、、
入力
出力
位置
エンコード
位置
エンコード
Multi-Head
Attention
・・・
Multi-Head
Attention ・・・
Multi-Head
Attention
・・・ 確率モデル
わたしはペンを持っている。
I have a pen.
[ わたし,
は,
ペン,
を,
持っている。]
[ I,
have ,
a,
pen.]
各単語ごとの
出現確率を計算
各単語ごとの
出現確率を計算
入力と出力
の位置合わせ
0
2
4
6
単語ごとの確率

6. “Transformer” VS “GPT”
Transformer
•長文/多言語の解析に対応
GPT
•さまざまなタスクへの適応

7. “Chat GPT”の使い方のコツ
• 抽象的な質問は可能な範囲で避ける！
• タスクと条件による書き分ける！
• 英語で書ける場合は英語で書く！

8. やってみ
た！

9. もっと細かいことはPromptエンジニアさんに、、、
この記事を読んでる
• https://qiita.com/sonesuke/items/24ac25322ae43b5651bc
Elicit
• 論文要約用に使う

10. 参考文献(より詳しく知りたい方へ)
• Ashish Vaswani, et al., “Attention Is All You Need”, 12 June 2017,
https://arxiv.org/abs/1706.03762#.
• David Foster, “生成Deep Learning”, OREILY, pp229-pp.306, 2020.
• 深層学習界の大前提Transformerの論文解説！
https://qiita.com/omiita/items/07e69aef6c156d23c538