深層学習本（Deep learning book by Ian Goodfellow） URL：http://www.deeplearningbook.org/

1. /
1

2. de
• x No
• k p L i a
R I Si
• mr
• Pc i Lh Tc i
• tn Pc i
• v
• lxN
• u M s i gi
• ag i gi
• 8 9 8 B 8 D
• D 6 CD 6 / G E 8
DB CD F8 F8B98 68
• 1C8E 8
• 6 B8 / D6 9 2 D
/ D6 9
• 8 C 9 6 B8 / D6 9
• C8 DB CD F8 CD D
• CD D 9 D 8 1 BD D E 6D
• 8 8 - A BD 68 A 9
• B 98 A 9

3. 8 3
6 1 / 8
8 3
1
/ 8
6 1 / 8 9 1 / 8

4. 8
/ 1
9 46

5. 9
65 1 / 8

7. 7 8 /
→ / 96 /
1
θ/

8. 9
1 / 6 9
positive phase negative phase
→ 8

11. 8
/ 16

12. 6
8
→ 8 3 21
444page 6 /
8 9 6

13. 1 /6 6
↓
9
31 /6 6
↓
9 8
8 → =0

14. 6
1 6 → 1 9 / 4 4
6 8

15. 5 1
9 8 5
9 / 5 65
9 / 5
5

16. /18
hallucinations fantasy particles
6 9
/

17. 1
9 8 6 7
logZ7 logp~ 1
7 /
7 /
7
1 7
logp~ 1

18. 698
/ 2 . 1

19. 9 6 /1
||
MCMC1 8
/
6 8 /

20. 9 6C
CD 9 6C
1 9D 1
2 8/
0 9D 0

21. 6 D
/ 8
CD8 1 9
C D / 2
||
2

22. /
8 9
6 D / C 8 1
9 12
8 9

23. M
SML P
PCD 9 6 8
C
S D 9 312 /L

24. L D2 8 8 6
P 4 M 1
6 9 /
C 6 6/ S

25. S
C 5 P L M2 SML8
6 CD6 9
D / 15 6

27. 61
2 /
8 7

28. 1
2 1 9 /9
a,b,c 1 68 /
• a 1
• b
• c 1 8

29. 8 2
/
19 2 1 6

30. 8
pseudolikelihood
3 / 6 3 1
p~0 k^n → k*n
9 /

31. 9
generalized pseudolikelihood estimator
→
8 31 m 6 /
m = 1 S(1) = 1,…,n →
m = n S(i) = {i} →

32. 1
1 8 26 / 2 6 9
3 / 1 / 1 8 6 9

33. 9 /
/1 p~(x)/ 86 31
p~ 3→ / 8 8

34. 4
4 3 / 68 1
8 4 9 3 8 64

35. 5 13/ 13 8 9
6

36. 8
3 3 /
SML / 8
3 1 /
→SML 8 6 9 16

37. /. 1
/. 1

38. 6 3 98
Z/ 1 1
1

39. 1/ 36
Z → xZ = 0
8 pdata 9

40. ||

41. 4
• x4
• logp~(x)1 4 46
• 46
• logp~(x)4 4 /
• 8 49
• 4 4 4

42. • 9 4 /
• 4 4 2 8
• 21 9 2 9
8
9 /6

43. 31 . /

44. ? pdata ?
q(x|y)8 8y6 x 1
4
→ 68 pdata48
4 / 4 9

45. 8
• 5/ p model1 6 9 / 4
• / 4 1 6 4 6
• Kingma 1 6 4
8 6

47. a c 7 1 - ,1 4 4 - - 4 / 4 1 8
e c C
E e Z c i
• 9 –logZ(θ)
• ΘE9 c
c NC6

48. 4
noise distribution p noise(x) 8 E/
1 p noise(x) 6 96 C

49. 69
4 1 8 1 /

50. 59
p joint 0 p train 8 /
6 1 /

51. p joint E
8 9 C / 615 8 9

52. 98
• logp~ model Back prop
• p noise 25 51 6
→NCE /

53. e sl v 1 / 1 3 1 - / 5
•
• r a →o c v
• ta
• ta 6
• 8m f e n
i 9
• c sl v
• f v c 5
• 6

54. 6 4
•
• 5 G 6 8 /
• GAN
• 5 G A / 1 9 8 G/

56. • 9
• Z 8 6
/
•
• /
) 6 5( 1

57. •
• 5 8
• /1 657 9 657

58. A
• 9 2
• 9
• 9
•
• 6 8 5
• 6 8 5/ 1 2 B

59. 6
||
6 89 / 1 5

60. 9
6 8 9
9 Z(θA) / 01

61. /
→ 9 691 9 8 /
/

63. 6 6
6 p0 p1 8
9 3
• p1 / 1
• p1 / 1 p0 / 6
• p0 p1 p0 6 p1 1
Z16 1

64. 1 1
141 / / 8 9 /
→ /6 1 /

65. p0 p1 6 9 8
p0 p1 / 58 bridge the gap
intermediate distributions 8
1. 1 annealed importance sampling, AIS
2. bridge sampling

66. DKL(p0||p1) I p0 p1 9 A6
8 S 1 / 1

67. 69 7
1. Z0 Z1/
2. Z0 I 1 8
3. A 2 8

68. 8 A
6
8 0 <= j <= n-1 / pnj pnj+1 S
→ 6 1 8 Znj+1 / Znj
→1 8 Z1 / Z0 8
9
→ 9 p1 8 p0 8I

69. 8 6
I / 8
9 A Tnj(x’|x) 1
Pnj(x) 1

70. 0 /
7 98 6 01

71. 6
A9 9 8 I / I / 1
7 1 log w(k) 1

72. 6 7
91 A A S
9 7 A 8 /
1 I 9
A 2

73. 3 1 /
AIS motivation 8
9 7
61 p* p0 p1 9

74. 4 1 /
d
7
6 7 8
a d be g
→ be 9 be 6

75. / 1 5
97
AIS/ 1
6 8 6

76. 89
AIS 1 /
/
796 89 /

77. 1 /
1
Desjardins/ 987 6 AIS 6
RBM