Selenium scrape demo.

sudo apt install python3-full python3-pip mercurial chromium build-essential
hg clone https://hg.kewl.org/pub/museum
cd museum

Virtual environment

python3 -m venv ~/.venvs/museum

Activate virtual environment

TCSH

source ~/.venvs/wikiBASS/bin/activate.csh

BASH

source ~/.venvs/wikiBASS/bin/activate

Install dotenv

python -m pip install dotenv

NB Adding dotenv as a pyproject dependency in the virtual environment does not work.

Initial installation of scripts and dependencies

make install

Update installed scripts

make museum

Fetch UUIDs of all art works.

index uuids.csv

URL = https://www.deckenmalerei.eu/malerei-maler_in
UUIDS = 2764
TOTAL = 2764

URL = https://www.deckenmalerei.eu/malerei-auftraggeber_in
UUIDS = 3625
TOTAL = 4053

URL = https://www.deckenmalerei.eu/malerei-vorlagengeber_in
UUIDS = 593
TOTAL = 4121

URL = https://www.deckenmalerei.eu/malerei-technik
UUIDS = 3069
TOTAL = 4407

URL = https://www.deckenmalerei.eu/malerei-material
UUIDS = 2646
TOTAL = 4549

FILE = uuids.csv

sget https://www.deckenmalerei.eu/malerei-maler_in -b XPATH -v "//div[@class='entityListsPage']" --scroll malerei-maler_in.html

sget https://www.deckenmalerei.eu/f65cad80-c7f3-11e9-99f3-c9e55f39fadd -b XPATH -v "//div[@class='dataPage']" --scroll "the-holy-trinity-awaiting-mary-in-heaven.txt"

https://www.deckenmalerei.eu/f65cad80-c7f3-11e9-99f3-c9e55f39fadd

the-holy-trinity-awaiting-mary-in-heaven.txt

painting https://www.deckenmalerei.eu/b5b59eba-aca7-4000-a67c-01440cb068c0

URL = https://www.deckenmalerei.eu/b5b59eba-aca7-4000-a67c-01440cb068c0
DATIERUNG [MALEREI] = 1673
ERSTELLUNG DES DATENSATZES = 2024-03-22, 17:14
HAT AUFTRAGGEBER = Kielmanseck, Friedrich Christian von [Person]
HAT VORLAGENGEBER = Bouhours, Dominique [Person]
ICONCLASS = 24B6
ID = b5b59eba-aca7-4000-a67c-01440cb068c0
IST DOKUMENTIERT IN = L 79 – „CLARIOR IN TENEBRIS“ [Textteil]
IST TEIL VON = Die Embleme [Bildzyklus]
LETZTE BEARBEITUNG = 2024-03-22, 17:20
MATERIAL = Holz
NAME = L 79 – „CLARIOR IN TENEBRIS“
POSITION = Wand
PRIMÄRE IKONOGRAPHIE = 24B61
TECHNIK = Ölmalerei; Temperamalerei
TYP = Malerei
ZUSTAND = transloziert

URL = https://www.deckenmalerei.eu/6653845a-e6a4-42a4-8647-147b56890a7c
BREITE (M) = 4.5
DATIERUNG [MALEREI] = 1700-1750
ERSTELLUNG DES DATENSATZES = 2023-01-11, 13:00
HAT AUFTRAGGEBER = Schröder, Christian Albrecht [Person]
ICONCLASS = 71C128411
ID = 6653845a-e6a4-42a4-8647-147b56890a7c
IST DOKUMENTIERT IN = Die Deckenmalerei [Textteil]
IST TEIL VON = Raum [Raum]
LETZTE BEARBEITUNG = 2023-05-09, 15:58
LÄNGE (M) = 4
MATERIAL = Leimfarbe; Ölfarbe; Holz
NAME = Die Deckenmalerei
OBJEKT IM BILDINDEX = obj30148608
POSITION = Decke
PRIMÄRE IKONOGRAPHIE = 71M12
TECHNIK = Leimfarbe; Ölmalerei
TYP = Malerei
ZUSTAND = transloziert

URL = https://www.deckenmalerei.eu/f65cad80-c7f3-11e9-99f3-c9e55f39fadd
DATIERUNG [MALEREI] = 1760
ERSTELLUNG DES DATENSATZES = 2019-08-26, 12:23
HAT AUFTRAGGEBER = Seinsheim, Joseph Franz Maria Ignaz von [Person]
HAT MALER = Günther, Matthäus [Person]
ID = f65cad80-c7f3-11e9-99f3-c9e55f39fadd
IST DOKUMENTIERT IN = Die Heilige Dreifaltigkeit in Erwartung Mariens im Himmel [Textteil]
IST TEIL VON = Schlosskapelle [Raum]
LETZTE BEARBEITUNG = 2019-08-26, 12:23
NAME = Die Heilige Dreifaltigkeit in Erwartung Mariens im Himmel
OBJEKT IM BILDINDEX = obj20950969?part=1
POSITION = Decke
TECHNIK = Freskomalerei
TYP = Malerei

Windows 11 WSL2