Zahra Mousavi, front-end udvikler & Mette Kia Krabbe Meyer, seniorforsker, Det Kgl. Bibliotek: Det Kgl. Bibliotek har i forskellige projekter anvendt automatiserede processer i arbejdet med billeder i samlingen
Zahra Mousavi, front-end udvikler & Mette Kia Krabbe Meyer, seniorforsker, Det Kgl. Bibliotek:
Det Kgl. Bibliotek har i forskellige projekter anvendt automatiserede processer i arbejdet med billeder i samlingen.Vi fortæller om erfaringerne med automatisk generering af metadata og med forskellige visualiseringsværktøjer og også om de mål, vi gerne vil nå i fremtiden, hvad billedbehandling og maskinlæring angår.
Similar to Zahra Mousavi, front-end udvikler & Mette Kia Krabbe Meyer, seniorforsker, Det Kgl. Bibliotek: Det Kgl. Bibliotek har i forskellige projekter anvendt automatiserede processer i arbejdet med billeder i samlingen
Leuven Europeana Plenary 2012: Old Maps OnlinePetr Pridal
Similar to Zahra Mousavi, front-end udvikler & Mette Kia Krabbe Meyer, seniorforsker, Det Kgl. Bibliotek: Det Kgl. Bibliotek har i forskellige projekter anvendt automatiserede processer i arbejdet med billeder i samlingen (20)
FULL ENJOY - 9953040155 Call Girls in New Ashok Nagar | Delhi
Zahra Mousavi, front-end udvikler & Mette Kia Krabbe Meyer, seniorforsker, Det Kgl. Bibliotek: Det Kgl. Bibliotek har i forskellige projekter anvendt automatiserede processer i arbejdet med billeder i samlingen
1. Human-in-the-loop
på Det Kgl. Bibliotek
Zahra Mousavi
MS i Artificial Intelligence, front-end udvikler
Mette Kia Krabbe Meyer
Ph.d. i Kunst- og Kulturvidenskab, seniorforsker
THE FUTURE IS NOW Billedgenkendelse og maskinlæring i arkiver,
på biblioteker og museer LFF-kursus torsdag 30. januar 2020
Historiens Hus, Odense
8. Trine Søndergaard: Strude #19
Erhvervet med bevilling fra Ny
Carlsbergfondet
Udstilles i ny permanent fotoudstilling
Kameraet og os 2020
9. Metadata
Digitaliserede fysiske
samlinger
Manuel inddatering
Datamining af scannede protokoller
Emneord genereret ved billedgenkendelse
Maskinelt tekstudtræk
Digitalt født materiale
Netarkivet (arkiveret med tekst og søges fx
i BlackLight eller som eksakt identisk
billedfil i tekst i tilknytning til billedet i
SolrWayback)
Titel
Mand på stranden
Ophav
Børgesen, Frederik fotograf,
botaniker
Ressourcetype
Fotografi
Emne
Strande
Mænd
Skove
Lokalitet
De Vestindiske Øer.
Id
DT134667.tif
Opstilling
Billedsamlingen. Topografisk
samling. Vestindien. Forel. Plac. |
Relateret
Det Kgl. Biblioteks billedsamling
Dimension
1964 x 1293 (pixels)
Ophavsret
Materialet er muligvis beskyttet af
10. februar 2020
Titel
Store flimmerblomster uden Duft. Hibiscus
Ophav
Eriksen, Birgitte
Ressourcetype
Akvarel
Oprindelsesdato
1908
Emne
Blomster
Planter
Botanik
Lokalitet
De Vestindiske Øer. St.Croix
Id
DT134736.tif
Opstilling
Billedsamlingen. Topografisk samling.
Vestindien. Planter og dyr. Tegninger 1 4°
Relateret
Det Kgl. Biblioteks billedsamling
Dimension
3844 x 2536 (pixels)
Ophavsret
12. Artificial Intelligence(AI) at the Royal Danish library (KB)
Challenges
AI solutions
Shortcomings of AI solutions
Human In The Loop solution
Future dreams and plans
Past Present Future
13. AI CVML
AI = Artificial Intelligence
ML = Machine Learning
CV = Computer Vision
Artificial Intelligence, Machine learning and Computer vision
14. Our challenges
Not enough resource to give images metadata
Not enough resource to make texts in the images searchable
or available to the user
Lots of (almost) identical images in the collections
16. Our major AI solutions until now
AI
Finding
similar
images
Labelling
images
Text
recognition
Text
Correction
17. Our AI solutions
- Finding similar images
Technology: t-SNE algorithm and RasterFairy
tool + sklearn(VGG16 imagenet)
Collections: Emdrup’s wallcharts
(anskuelsestavler) collection and KB’s Maps
and Atlas collection
URL:
http://labs.statsbiblioteket.dk/juxta/subject20
8/
18.
19. Our AI solutions
- Finding similar images
Technology: Bag-of-Features algorithm, MATLAB’s
Computer Vision Toolbox
Collections: part of portrait collection
20. Our AI solutions
- Labelling images
Project: AIM
Technology: Google vision API and Google
translation API
Collections: portrait and postcard
collection
Photograph
vintage clothing
Human behavior
Art
Antique
picture frame
visual arts
Vision API
Fotografi
Vintage tøj
Menneskelig adfærd
Kunst
Antik
Billedramme
visuel kunst
Translation API
21. Our AI solutions
- Text recognition
Project: AIM
Technology: Google vision API
Collections: portrait and postcard
collection
Det udvalgte Maleri paa Kunstmuseet er i de naæste Uger et ikke
særlig kendt, men fortrinligt Portræt af Christian II. Man kan ty
deligt se, hvem Portrættet fremstiller; Ligheden er dog lidt fjern,
og det maa formodes, at Kunstneren ikke har arbejdet lige efter sin
fornemme Model, men har maattet benytte en Tegning eller lig-
nende Mellemled; til Gengæld har han moret sig med at gøre meget
ud af de sære Hænder med lange sensible Fingre. Det interessante
Maleri, der er fra ca. 1515, lader sig ikke med Sikkerhed henføre
til en bestemt Kunstner
Vision
API
I O H A N N E S . K o n g e t i l D a n m a r k S v e r r i g o g N o r g e d e V e
n d e r s o g G o t h e r s H e r t u g i S l e s v i g H o l s t e n S t o r m , o g D
i t m a r G r e v e i D e b . o r D e l m e n h .
F o 2 . 2 4 5 6 . D o d . 2 5 1 3 . R e g . 3 2 . d a r
Vision
API
23. Shortcomings in relation with AI solutions
Errors in text recognition
Errors in labelling images
Error in translations
Not having a precise border
between an image and it’s similar
image
Output from AI techniques are not always
accurate or most of the times even not
accurate enough
Designed by gstudioimagen / Freepik
24. Human-in-the-Loop (HITL) Machine Learning
Designed by gstudioimagen / Freepik
AI System Human intelligence Reliable system
“Human-in-the-Loop machine learning refers to the need for human interaction with machine learning systems
to improve human performance, machine performance, or both.” Robert Munro
26. Traditional HITL
Project: AIM (Automatic Image
Metadata)
Purpose: Providing the opportunity to
correct translations, approve or reject a
label for a specific project or for all the
projects
30. Link graph from the Danish Netarchive for sites
mentioning commodore 64 or amiga
Massive amount of data (images,
photos, videos, etc)
We have what it takes
- Data
31. We have what it takes
- Human resource
Dedicated users willing to spend
their time on improvement of our
systems for free – 7,498,760 hours
corresponds to 65 years of work
(danmarksetfraluften - 2012)
Statistic from http://www5.kb.dk/danmarksetfraluften
Maybe you would also like to help us with our new project
32. Collaboration with Copenhagen
University, Department of Computer
Science, Image Section
Special thanks to:
Kim Steenstrup Pedersen and
colleagues
We have what it takes
- Expertise