Presentasjon på JavaZone 2015: Alle prosjekter gjør valg man skulle ønske man kunne gjøre om i etterpåklokskapens klare lys. Vi tar for oss 11 erfaringer fra MAG og EDAG i Skattetetaen, bakgrunnen for valgene og konsekvensene de medførte. Sannsynligvis greit å vite om ditt prosjekt står ovenfor tilsvarende problemstillinger. Ifølge Oscar Wilde er "the only good thing to do with good advice is pass it on; it is never of any use to oneself". Allikevel vil vi beskrive 11 erfaringer som kan være nyttige for akkurat deg. Prosjektene MAG (Modernisering av grunnlagsdata) og EDAG (Elektronisk dialog med arbeidsgiver) nærmer seg avslutning, og har levert de første stegene i Skatteetatens moderniseringsmålbilde. Med et blikk i bakspeilet ser vi på designvalg som vi sannsynligvis ikke ville gjort om vi hadde hatt kunnskapen vi har i dag. Dette omfatter større og mindre valg som bruk av UUID som primærnøkkel, tilrettelegging av backup og restore, streaming, feilhåndtering, transaksjonstimeout og Jersey-avhengigheter. Rådene kan iallefall videreformidles til andre! http://t.co/tquXpmblsz

1. 11 erfaringer ditt prosjekt ikke behøver å gjenta
The only good thing to do with good advice
is pass it on; it is never of any use to oneself
~Oscar Wilde~
Javazone 2015
Trond Arve Wasskog
2015-09-10

2. Vi vil ha DevOps-driftere!
jobb@bekk.no

3. Tilbakemelding

5. 5

7. http://www.difi.no/artikkel/2015/06/ordningen-er-arets-digitale-suksesshistorie

8. 8

11. UUID
I

12. de305d54-75b4-431b-adb2-eb6b9e546014

13. Unngå koordinering av
distribuerte systemer

17. http://blog.mikemccandless.com/2014/05/choosing-fast-unique-identifier-uuid.html

18. Snowflake

19. Rammeverk Opprinnelse Bits Lokalitet Koordinering Kollisjoner
UUID v4 Java 128 Nei Nei Marginal
Snowflake Twitter 64 Ja ZooKeeper Unik
ObjectId MongoDB 96 Ja MongoDB Unik
Simpleflake Sawdust 64 Ja Nei Minimal
Instagram Instagram 64 Ja PostgreSQL Unik
Odd/Even
MySql
Flickr 64 Ja MySql Nei
Sequence Oracle Num(28) Ja Oracle Unik

20. Jersey-avhengigheter
II

22. Mikrotjeneste

23. Mikrotjeneste
Tilbyder A

24. Mikrotjeneste
Klient A
Tilbyder A

25. Mikrotjeneste
Klient A
Tilbyder A
Jersey-client 1.18

26. Mikrotjeneste
Klient B Klient C
Klient E Klient F
Klient A
Klient D
Tilbyder A Tilbyder B Tilbyder C
Tilbyder D Tilbyder E Tilbyder F
Jersey-client 1.18

27. Mikrotjeneste
Klient B Klient C
Klient E Klient F
Klient A
Klient D
Tilbyder A Tilbyder B Tilbyder C
Tilbyder D Tilbyder E Tilbyder F
Jersey-client 1.18
Jersey-client 2.21

28. Java EE

29. Java EE

30. Java EE
OSGi
Jigsaw

31. HTTP-clientJersey-client 2.21
Klient A
Jersey-client 1.18 Java SDK
AbstractAPI

32. Mikrotjenestemonolitt
III

39. magnet-core
magnet-iur magnet-bhg magnet-edag magnet-kop

40. magnet-core

42. Syntetiske IDer
IV

43. Partsnummer
D-nummer
06117225830
Tid

44. Partsnummer
D-nummer
06117225830
Fødselsnummer
16127225830
Tid

45. Partsnummer
D-nummer
06117225830
Fødselsnummer
16127225830
Tid

47. Partsnummer
D-nummer
06117225830
Tid

48. Partsnummer
D-nummer
06117225830
Partsnummer 2
D-nummer
07117225830
Tid

49. Partsnummer
D-nummer
06117225830
Partsnummer 2
D-nummer
07117225830
Tid

51. Bruk naturlig ID

53. Backup/Restore
V

55. Men den eller de som skulle gjennomføre
prosessen trykket feil og slettet/klargjorde
288 eller 280 eksisterende disker som var
fulle av bankdata, har digitoday.no fått vite.

57. Usynkronisert backup

58. Stopp verdikjeden

59. Backup av synkron replika

60. Virtual image snapshots

61. Immutable data

63. Feilhåndtering & Logging
VI

68. CRITICAL != CRITICAL

69. DevOps
+
Kontinuerlig Leveranse

70. Minnebasert prosessering
VII

71. XML
Dokument

72. XML
Dokument
<Abdera>
<JAXB>
Parse
Java VM
Stream

73. XML
Dokument
<Abdera>
<JAXB>
Parse
<Thread>
Behandle
Java VM
Stream Object

74. 95% av innsendingene er små

75. <1 % av innsendingene er store

76. Bank
2 700 000 konti

77. NAV Pensjon
2 500 000 inntektsmottakere

80. OutOfMemoryError

81. Heap size = 20 GB

82. Tidkrevende testing

83. Optimalisert XML-parsing

84. Komprimert lagring i minnet

85. Begrenset antall
samtidige innsendinger

86. Egne noder for store innsendinger

87. Stream processing!

88. Atom feed med innhold
VIII

89. How to use Atom for
Event-Driven Systems
Produsent Konsument

93. Komprimering

94. The "atom:content" element either contains
or links to the content of the entry.

95. Lenke til innhold

96. Variabel sidestørrelse

97. Enkelt design
IX

98. <Cache>
Map(ID,Fnr)
Map(ID,Orgnr)
Java VM
Slå opp
<Prosess>
Behandle
<Register>
ID<->Fnr
ID<->Orgnr
Hent

99. Transparent remote proxy

100. Enkelt!

101. Enkelt?Delta-endringer av cache
Overbelasting ved samtidig
oppdatering av cache
Bruker vi cache?
Timeout ved oppdatering av cache
Treig lasting av cacheTom cache
Delvis oppdatering av cache
OutOfMemoryError

102. Transparent remote proxy

103. Replikert cache

104. Transaksjonstimeout
X

106. http://www.cubrid.org/blog/dev-platform/understanding-jdbc-internals-and-timeout-configuration/

107. Fail fast

109. Transaksjonstimeout = MAX

110. Short
Transaction
Connection
Pool
Long
Transaction
Connection
Pool

111. Klient-timeout
XI

113. WAITING

114. WAITING
Health
check OK?
No
IN PROGRESS
Yes

115. WAITING
Health
check OK?
No
IN PROGRESS
Processing
complete?
FINISHED
Yes
Yes
Yes

116. WAITING
Health
check OK?
No
IN PROGRESS
Processing
complete?
FINISHED
Yes
Yes
Yes
Retry?No
Yes

117. WAITING
Health
check OK?
No
IN PROGRESS
Processing
complete?
FINISHED
Yes
Yes
Yes
Retry?No
Yes
No FAILED

118. 2, 7 millioner oppgaver

119. 21:39
Start
processing

120. 21:39
Start
processing
01:24
Client
timeout

121. Klient-timeout = Infrastrukturfeil

122. WAITING
Health
check OK?
No
IN PROGRESS
Processing
complete?
FINISHED
Yes
Yes
Yes
Retry?No
Yes

123. Server => Commit

124. 21:39
Start
processing
01:24
Client
timeout
01:25
First retry

125. 21:39
Start
processing
01:24
Client
timeout
01:25
First retry
08:31
Client
timeout

126. 21:39
Start
processing
01:24
Client
timeout
01:25
First retry
08:31
Client
timeout
...repeat 4
more
times
Final
timeout
FAILED

127. Tilpasset klient-timeout

128. Riktig feilhåndtering!

129. ?
The only good thing to do with
good advice is pass it on; it is
never of any use to oneself
~Oscar Wilde~
Takk for at dere hørte på!
trond.arve.wasskog@bekk.no