Selenium scrape demo.

sudo apt install python3-full python3-pip mercurial chromium build-essential
hg clone https://hg.kewl.org/pub/museum
cd museum

Virtual environment

python3 -m venv ~/.venvs/museum

or

make venv

Activate virtual environment

TCSH

source ~/.venvs/museum/bin/activate.csh

BASH

source ~/.venvs/museum/bin/activate

Install dotenv

python -m pip install dotenv

NB Adding dotenv as a pyproject dependency in the virtual environment does not work.

Initial installation of scripts and dependencies

make install

Update installed scripts

make museum

Unique art works.

Fetch UUIDs of all art works.

index uuids.csv

URL = https://www.deckenmalerei.eu/malerei-maler_in
UUIDS = 2764
TOTAL = 2764

URL = https://www.deckenmalerei.eu/malerei-auftraggeber_in
UUIDS = 3625
TOTAL = 4053

URL = https://www.deckenmalerei.eu/malerei-vorlagengeber_in
UUIDS = 593
TOTAL = 4121

URL = https://www.deckenmalerei.eu/malerei-technik
UUIDS = 3069
TOTAL = 4407

URL = https://www.deckenmalerei.eu/malerei-material
UUIDS = 2646
TOTAL = 4549

FILE = uuids.csv

Determine all the art works properties.

analyse uuids.csv properties.txt

de2en.py properties.txt properties.csv

"DE","EN"
"ALTERNATIVE NAMEN","ALTERNATIVE NAMES"
"AUSRICHTUNG","ALIGNMENT"
"BREITE (M)","WIDTH (M)"
"DATIERUNG [MALEREI]","DATING [PAINTING]"
"DURCHMESSER (M)","DIAMETER (M)"
"ERSTELLUNG DES DATENSATZES","CREATION OF THE DATASET"
"HAT ARCHITEKT","HAS ARCHITECT"
"HAT AUFTRAGGEBER","HAS CLIENT"
"HAT BAUER / LANDWIRT","HAS FARMER / FARMER"
"HAT BEWOHNER","HAS RESIDENTS"
"HAT BEZUGSPERSON","HAS CAREGIVER"
"HAT BILDHAUER","HAS SCULPTOR"
"HAT BILDSCHNITZER","HAS SCULPTOR"
"HAT ENTWERFER","HAS DESIGNER"
"HAT KÜNSTLER","HAS ARTIST"
"HAT MALER","HAS PAINTER"
"HAT MALER -> QUADRATURMALER","HAS PAINTER -> SQUARE PAINTER"
"HAT MARMORIERER","HAS MARBLER"
"HAT STIFTER","HAS FOUNDER"
"HAT STUCKATEUR","HAS PLASTERER"
"HAT TEIL","HAS PART"
"HAT TISCHLER / KUNSTTISCHLER","HAS JOINER /ART CARPENTER"
"HAT VORLAGENGEBER","HAS TEMPLATE CONTRIBUTOR"
"HÖHE (M)","ALTITUDE (M)"
"ICONCLASS","ICONCLASS"
"ID","ID"
"INSCHRIFT","INSCRIPTION"
"IST DOKUMENTIERT IN","IS DOCUMENTED IN"
"IST TEIL VON","IS PART OF"
"LETZTE BEARBEITUNG","LAST UPDATE"
"LÄNGE (M)","LENGTH (M)"
"MATERIAL","MATERIAL"
"NAME","NAME"
"OBJEKT IM BILDINDEX","OBJECT IN IMAGE INDEX"
"OBJEKT IN DER GND","PROPERTY IN THE GND"
"POSITION","POSITION"
"PRIMÄRE IKONOGRAPHIE","PRIMARY ICONOGRAPHY"
"TECHNIK","TECHNOLOGY"
"TYP","TYPE"
"ZUGEHÖRIGKEIT","BELONGING"
"ZUSTAND","CONDITION"

sget https://www.deckenmalerei.eu/malerei-maler_in -b XPATH -v "//div[@class='entityListsPage']" --scroll malerei-maler_in.html

sget https://www.deckenmalerei.eu/f65cad80-c7f3-11e9-99f3-c9e55f39fadd -b XPATH -v "//div[@class='dataPage']" --scroll "the-holy-trinity-awaiting-mary-in-heaven.txt"

https://www.deckenmalerei.eu/f65cad80-c7f3-11e9-99f3-c9e55f39fadd

the-holy-trinity-awaiting-mary-in-heaven.txt

painting https://www.deckenmalerei.eu/b5b59eba-aca7-4000-a67c-01440cb068c0

URL = https://www.deckenmalerei.eu/b5b59eba-aca7-4000-a67c-01440cb068c0
DATIERUNG [MALEREI] = 1673
ERSTELLUNG DES DATENSATZES = 2024-03-22, 17:14
HAT AUFTRAGGEBER = Kielmanseck, Friedrich Christian von [Person]
HAT VORLAGENGEBER = Bouhours, Dominique [Person]
ICONCLASS = 24B6
ID = b5b59eba-aca7-4000-a67c-01440cb068c0
IST DOKUMENTIERT IN = L 79 – „CLARIOR IN TENEBRIS“ [Textteil]
IST TEIL VON = Die Embleme [Bildzyklus]
LETZTE BEARBEITUNG = 2024-03-22, 17:20
MATERIAL = Holz
NAME = L 79 – „CLARIOR IN TENEBRIS“
POSITION = Wand
PRIMÄRE IKONOGRAPHIE = 24B61
TECHNIK = Ölmalerei; Temperamalerei
TYP = Malerei
ZUSTAND = transloziert

URL = https://www.deckenmalerei.eu/6653845a-e6a4-42a4-8647-147b56890a7c
BREITE (M) = 4.5
DATIERUNG [MALEREI] = 1700-1750
ERSTELLUNG DES DATENSATZES = 2023-01-11, 13:00
HAT AUFTRAGGEBER = Schröder, Christian Albrecht [Person]
ICONCLASS = 71C128411
ID = 6653845a-e6a4-42a4-8647-147b56890a7c
IST DOKUMENTIERT IN = Die Deckenmalerei [Textteil]
IST TEIL VON = Raum [Raum]
LETZTE BEARBEITUNG = 2023-05-09, 15:58
LÄNGE (M) = 4
MATERIAL = Leimfarbe; Ölfarbe; Holz
NAME = Die Deckenmalerei
OBJEKT IM BILDINDEX = obj30148608
POSITION = Decke
PRIMÄRE IKONOGRAPHIE = 71M12
TECHNIK = Leimfarbe; Ölmalerei
TYP = Malerei
ZUSTAND = transloziert

URL = https://www.deckenmalerei.eu/f65cad80-c7f3-11e9-99f3-c9e55f39fadd
DATIERUNG [MALEREI] = 1760
ERSTELLUNG DES DATENSATZES = 2019-08-26, 12:23
HAT AUFTRAGGEBER = Seinsheim, Joseph Franz Maria Ignaz von [Person]
HAT MALER = Günther, Matthäus [Person]
ID = f65cad80-c7f3-11e9-99f3-c9e55f39fadd
IST DOKUMENTIERT IN = Die Heilige Dreifaltigkeit in Erwartung Mariens im Himmel [Textteil]
IST TEIL VON = Schlosskapelle [Raum]
LETZTE BEARBEITUNG = 2019-08-26, 12:23
NAME = Die Heilige Dreifaltigkeit in Erwartung Mariens im Himmel
OBJEKT IM BILDINDEX = obj20950969?part=1
POSITION = Decke
TECHNIK = Freskomalerei
TYP = Malerei

Windows 11 WSL2