Table of Contents
CPS Ceiling Paintings
Scrape demo using Python Selenium.
The demo scrapes the content of the Ceiling Paintings website and stores the data in SQLITE and Wikibase.
This project depends on CPS Wikibase and uses Wikibase docker deployment.
CPS
CPS tools have been written for and provided by the CPS (Computational Publishing Service) as part of NFDI4Culture hosted at Wikibase4Research at TIB.
Debian
Setup
sudo apt install python3-full python3-pip mercurial chromium chromium-driver build-essential sqlite3 hg clone https://hg.kewl.org/pub/cps_deckenmalerei cd cps_deckenmalerei
Create virtual environment
python3 -m venv ~/.venvs/cps_deckenmalerei
or
make venv
Activate virtual environment
TCSH
source ~/.venvs/cps_deckenmalerei/bin/activate.csh
BASH
source ~/.venvs/cps_deckenmalerei/bin/activate
Initial installation
make install
Update installation
hg pull -u make
Test
The object tool is used to test the installation and access to the deckenmalerei site.
It will fetch an “object” as referenced by its unique ID URL.
Example
object https://www.deckenmalerei.eu/4031249f-e7a4-41fd-853a-38422f9ba224 NAME = Die Stubendecke ID = 4031249f-e7a4-41fd-853a-38422f9ba224 https://www.deckenmalerei.eu/4031249f-e7a4-41fd-853a-38422f9ba224 TYP = Malerei https://www.deckenmalerei.eu/4031249f-e7a4-41fd-853a-38422f9ba224 ICONCLASS = 96A5(JUSTITIA) https://iconclass.org/de/96A5(JUSTITIA) TECHNIK = Ölmalerei MATERIAL = Holz; Ölfarbe POSITION = Decke LÄNGE (M) = 3.05 BREITE (M) = 3.8 DATIERUNG [MALEREI] = 1750-1800 IST DOKUMENTIERT IN = Die Stubendecke [Textteil] https://www.deckenmalerei.eu/cebff774-9083-4ac9-96d6-ae6e3b1168c1 IST TEIL VON = Die Stube im Nordwesten [Raum] https://www.deckenmalerei.eu/b80a399f-f693-48b4-88e7-9501e3b7a65a ERSTELLUNG DES DATENSATZES = 2024-10-16, 10:13 LETZTE BEARBEITUNG = 2024-10-18, 23:10 PHOTOGRAPHS = 1 [0] TYP = Foto https://deckenmalerei-bilder.badw.de/api/v1/objects/uuid/c7850023-9b3f-4427-a926-6fdc8dea2991/file/id/159989/file_version/name/preview BILDNACHWEIS = Landesamt für Denkmalpflege Schleswig-Holstein, Aufnahme Demmnick 1981 URHEBER = Demmnick LIZENZ = Rechte vorbehalten REPOSITORIUM = Forschungsdaten - Corpus der barocken Deckenmalerei
If this works we can proceed to scrape the site.
Ensembles and buildings
Ensembles and buildings can represent Castles or Palaces where ceiling paintings are found.
Buildings can be either self-contained or parts on an ensemble of buildings.
An index can be found here. A single ensemble or building object URL is found under the photograph represented by the HOUSE icon.
Generate list
This tool will take the building index and generate a text file of every building URL.
Each URL will be scraped later to store building data into an SQL database.
buildings etc/buildings.txt
Scrape
The site scraper can take a single building as a root object or a text file list of many buildings and it will descend into any rooms within a building to discover all the ceiling paintings.
Results are stored into an SQLITE database defined by the DB_FILE environment variable or /tmp/cps_deckenmalerei.db if that variable is not defined.
To define DB_FILE copy the file “dotenv” to “.env” and edit the entry DB_FILE as required, eg. DB_FILE=“etc/cps_deckenmalerei.db” or DB_FILE=“/tmp/cps_deckenmalerei.db”
The database stores data using the EAV record format during object discovery.
One building
Scrape a building as a root object.
scrape https://www.deckenmalerei.eu/3001232e-b122-463e-9705-b5ae84ffabf7
Bauwerk https://www.deckenmalerei.eu/3001232e-b122-463e-9705-b5ae84ffabf7
Foto https://previous.bildindex.de/bilder/fmc447862a.jpg
Foto https://previous.bildindex.de/bilder/fmc447867a.jpg
Foto https://previous.bildindex.de/bilder/fmd458399a.jpg
Foto https://previous.bildindex.de/bilder/fmd458403a.jpg
Gebäudeteil https://www.deckenmalerei.eu/012fcd29-8f0b-4e69-84b3-8d6a8f54402a
Foto https://previous.bildindex.de/bilder/fmd458408a.jpg
Foto https://previous.bildindex.de/bilder/fmd458407a.jpg
Raum https://www.deckenmalerei.eu/8d0cebd8-af31-4ca3-9b43-a248d41f419c
Foto https://previous.bildindex.de/bilder/fmd458540a.jpg
Malerei https://www.deckenmalerei.eu/678f074a-6724-43a3-b1b9-7c261d0235b4
Foto https://previous.bildindex.de/bilder/fmd10027909a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027904a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027905a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027906a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027907a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027908a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027910a.jpg
Malerei https://www.deckenmalerei.eu/b7cd3ec1-0e2e-411c-b720-22968f8e9320
Foto https://previous.bildindex.de/bilder/fmd458543a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027912a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027913a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027914a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027915a.jpg
Malereiteil https://www.deckenmalerei.eu/5d3f36f4-1668-4b56-9b9a-7155d8720722
Foto https://previous.bildindex.de/bilder/fmd10027911a.jpg
Gebäudeteil https://www.deckenmalerei.eu/74ffb6a7-81bb-4088-8372-917f2fadb39d
Foto https://previous.bildindex.de/bilder/fmd458402a.jpg
Raum https://www.deckenmalerei.eu/ac368f1b-6c4c-4a7b-ab0a-ab6bd880d3ee
Foto https://previous.bildindex.de/bilder/fmd458529a.jpg
Malerei https://www.deckenmalerei.eu/9e363a8d-17c7-48fe-b769-46b944cfa481
Foto https://previous.bildindex.de/bilder/fmd458530a.jpg
Raum https://www.deckenmalerei.eu/d1d878fc-1301-48be-bef7-c204350041cc
Malerei https://www.deckenmalerei.eu/b6e51418-025d-47d1-b5c2-482c70737628
Foto https://previous.bildindex.de/bilder/fmd458539a.jpg
Gebäudeteil https://www.deckenmalerei.eu/937078de-d0e9-4abf-9caa-564ecd999aa0
Foto https://previous.bildindex.de/bilder/fmd458402a.jpg
Foto https://previous.bildindex.de/bilder/fmd458385a.jpg
Foto https://previous.bildindex.de/bilder/fmd458389a.jpg
Foto https://previous.bildindex.de/bilder/fmd458409a.jpg
Raum https://www.deckenmalerei.eu/09c9712d-1d62-4f45-a7d7-7c93ae65f2c7
Foto https://previous.bildindex.de/bilder/fmd458490a.jpg
Malerei https://www.deckenmalerei.eu/0ff388ee-2519-4b05-bf8d-2ab63bc9ff00
Foto https://previous.bildindex.de/bilder/fmd458491a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027887a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027888a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027889a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027890a.jpg
Malereiteil https://www.deckenmalerei.eu/42bcd03b-baf0-46c6-a853-3f47605db8bd
Foto https://previous.bildindex.de/bilder/fmd10027886a.jpg
Raum https://www.deckenmalerei.eu/1269ab2e-9702-46ad-a051-375ae21170e4
Foto https://previous.bildindex.de/bilder/fmd458487a.jpg
Malerei https://www.deckenmalerei.eu/42ae2ea4-6914-41c7-b08d-c582c943f196
Foto https://previous.bildindex.de/bilder/fmd458486a.jpg
Malereiteil https://www.deckenmalerei.eu/c497bbc6-1fd6-4b43-875a-c91eca2703d8
Raum https://www.deckenmalerei.eu/15b029a3-49f1-4d02-9a6c-e7616c47bd6f
Malerei https://www.deckenmalerei.eu/02f102bf-5bd7-4a07-b5e8-a9aaee1711f1
Foto https://previous.bildindex.de/bilder/fmd458492a.jpg
Raum https://www.deckenmalerei.eu/432d2ea6-5c77-4887-8df9-f28cc0e90022
Foto https://previous.bildindex.de/bilder/fmd458473a.jpg
Foto https://previous.bildindex.de/bilder/fmd458474a.jpg
Foto https://previous.bildindex.de/bilder/fmd458475a.jpg
Foto https://previous.bildindex.de/bilder/fmd458477a.jpg
Foto https://previous.bildindex.de/bilder/fmd458479a.jpg
Malerei https://www.deckenmalerei.eu/428b9528-9d7c-4d99-9c91-270715442ad5
Foto https://previous.bildindex.de/bilder/fmd10027870a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027871a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027872a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027873a.jpg
Foto https://previous.bildindex.de/bilder/fmd458480a.jpg
Malereiteil https://www.deckenmalerei.eu/2ab627d4-8b79-40f6-bde1-dea9cfc3ab6b
Foto https://previous.bildindex.de/bilder/fmd458480a.jpg
Malereiteil https://www.deckenmalerei.eu/844821f9-9eb4-425d-8369-77d30ae72065
Foto https://previous.bildindex.de/bilder/fmd10027871a.jpg
Raum https://www.deckenmalerei.eu/892f27fc-d0d6-4bd2-8c08-397f7f3444b2
Foto https://previous.bildindex.de/bilder/fmd458493a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027874a.jpg
Foto https://previous.bildindex.de/bilder/fmd458494a.jpg
Foto https://previous.bildindex.de/bilder/fmd458495a.jpg
Malerei https://www.deckenmalerei.eu/192bf5b2-e61c-41da-b5bc-8b644bf6ae0e
Foto https://previous.bildindex.de/bilder/fmd10027876a.jpg
Malerei https://www.deckenmalerei.eu/546caf62-5e4c-40f6-a496-e07aec2f6a34
Foto https://previous.bildindex.de/bilder/fmd10027879a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027880a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027881a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027882a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027883a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027884a.jpg
Foto https://previous.bildindex.de/bilder/fmd458497a.jpg
Malereiteil https://www.deckenmalerei.eu/5c74b83f-d6ea-49ac-81a2-7460455cb49b
Foto https://previous.bildindex.de/bilder/fmd10027884a.jpg
Foto https://previous.bildindex.de/bilder/fmd458494a.jpg
Malereiteil https://www.deckenmalerei.eu/5cf18457-6541-4432-9694-5786fcd071c4
Foto https://previous.bildindex.de/bilder/fmd10027881a.jpg
Malereiteil https://www.deckenmalerei.eu/6a4e4fd5-8ab9-4c8d-941f-db5a1d168fbd
Foto https://previous.bildindex.de/bilder/fmd10027882a.jpg
Malereiteil https://www.deckenmalerei.eu/9a5928e6-b68e-4a16-953b-12f51b54307f
Foto https://previous.bildindex.de/bilder/fmd10027883a.jpg
Malereiteil https://www.deckenmalerei.eu/d278d568-d593-43f8-84b0-8237ac28bd89
Foto https://previous.bildindex.de/bilder/fmd458497a.jpg
Malereiteil https://www.deckenmalerei.eu/fa773ba4-ff9c-48df-aa06-a4952ceded49
Foto https://previous.bildindex.de/bilder/fmd10027880a.jpg
Malerei https://www.deckenmalerei.eu/66fa6059-44dc-40d1-91e9-51d2b73b202f
Foto https://previous.bildindex.de/bilder/fmd10027878a.jpg
Malerei https://www.deckenmalerei.eu/da141499-7f71-4b28-baf3-b6f12f8dbbc3
Foto https://previous.bildindex.de/bilder/fmd10027877a.jpg
Malerei https://www.deckenmalerei.eu/ddcae550-eb3d-4849-8526-9ea337945e75
Foto https://previous.bildindex.de/bilder/fmd10027875a.jpg
Raum https://www.deckenmalerei.eu/a756dc72-af3d-4de1-8b34-1147844abb22
Foto https://previous.bildindex.de/bilder/fmd447555a.jpg
Foto https://previous.bildindex.de/bilder/fmd458506a.jpg
Malerei https://www.deckenmalerei.eu/8a44563e-e8ce-4082-b44f-fe3a27c69831
Foto https://previous.bildindex.de/bilder/fmd458504a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027900a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027901a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027902a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027903a.jpg
Malereiteil https://www.deckenmalerei.eu/e133bebf-3d6b-476a-867b-6334c282ba71
Foto https://previous.bildindex.de/bilder/fmd10027899a.jpg
Malerei https://www.deckenmalerei.eu/e8fed344-b0b3-4b9a-acce-114c494407ea
Foto https://previous.bildindex.de/bilder/fmd10027898a.jpg
Foto https://previous.bildindex.de/bilder/fmd458506a.jpg
Raum https://www.deckenmalerei.eu/da1e0aa1-abde-4b54-a2fe-58d7bbc2964d
Foto https://previous.bildindex.de/bilder/fmd10027891a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027892a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027893a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027894a.jpg
Foto https://previous.bildindex.de/bilder/fmd10027895a.jpg
Foto https://previous.bildindex.de/bilder/fmd458509a.jpg
Malerei https://www.deckenmalerei.eu/4a9f91aa-d6fb-46df-8db6-54ba0c03618e
Foto https://previous.bildindex.de/bilder/fmd10027897a.jpg
Malereiteil https://www.deckenmalerei.eu/d5b2db3d-a08e-49f7-bd3e-2ee173f84b07
Foto https://previous.bildindex.de/bilder/fmd458510a.jpg
Many buildings
scrape etc/buildings.txt
SQL
The SQL database may be inspected manually but primarily it's used by the SQL to wikibase import tool.
Open database
Invoke sqlite3 with the path of the database created using the site scraper documented above.
$ sqlite3 /tmp/cps_deckenmalerei.db SQLite version 3.40.1 2022-12-28 14:03:47 Enter ".help" for usage hints.
Schema
Show the database schema.
sqlite> .schema
CREATE TABLE entity ('id' INTEGER PRIMARY KEY,'url' TEXT NOT NULL,'entity_id' INTEGER DEFAULT NULL REFERENCES id);
CREATE UNIQUE INDEX entity_index ON entity(url, entity_id);
CREATE TABLE attrib ('id' INTEGER PRIMARY KEY,'de_DE' TEXT NOT NULL,'en_GB' TEXT DEFAULT NULL);
CREATE UNIQUE INDEX attrib_de_DE_index ON attrib(de_DE);
CREATE INDEX attrib_en_GB_index ON attrib(en_GB);
CREATE TABLE eav_record ('id' INTEGER PRIMARY KEY,'entity_id' INTEGER NOT NULL,'attrib_id' INTEGER NOT NULL,'de_DE' TEXT NOT NULL,'en_GB' TEXT DEFAULT NULL,'url' TEXT DEFAULT NULL,FOREIGN KEY('entity_id') REFERENCES entity('id'),FOREIGN KEY('attrib_id') REFERENCES attrib('id'));
Entities
Show discovered entities. These are dependant upon the scraped objects.
sqlite> select * from entity; 1|https://www.deckenmalerei.eu/3001232e-b122-463e-9705-b5ae84ffabf7| 2|https://previous.bildindex.de/bilder/fmc447862a.jpg|1 3|https://previous.bildindex.de/bilder/fmc447867a.jpg|1 4|https://previous.bildindex.de/bilder/fmd458399a.jpg|1 5|https://previous.bildindex.de/bilder/fmd458403a.jpg|1 6|https://www.deckenmalerei.eu/012fcd29-8f0b-4e69-84b3-8d6a8f54402a|1 7|https://previous.bildindex.de/bilder/fmd458408a.jpg|6 8|https://previous.bildindex.de/bilder/fmd458407a.jpg|6 9|https://www.deckenmalerei.eu/8d0cebd8-af31-4ca3-9b43-a248d41f419c|6 10|https://previous.bildindex.de/bilder/fmd458540a.jpg|9 11|https://www.deckenmalerei.eu/678f074a-6724-43a3-b1b9-7c261d0235b4|9 12|https://previous.bildindex.de/bilder/fmd10027909a.jpg|11 13|https://previous.bildindex.de/bilder/fmd10027904a.jpg|11 14|https://previous.bildindex.de/bilder/fmd10027905a.jpg|11 15|https://previous.bildindex.de/bilder/fmd10027906a.jpg|11 16|https://previous.bildindex.de/bilder/fmd10027907a.jpg|11 17|https://previous.bildindex.de/bilder/fmd10027908a.jpg|11 18|https://previous.bildindex.de/bilder/fmd10027910a.jpg|11 19|https://www.deckenmalerei.eu/b7cd3ec1-0e2e-411c-b720-22968f8e9320|9 20|https://previous.bildindex.de/bilder/fmd458543a.jpg|19 21|https://previous.bildindex.de/bilder/fmd10027912a.jpg|19 22|https://previous.bildindex.de/bilder/fmd10027913a.jpg|19 23|https://previous.bildindex.de/bilder/fmd10027914a.jpg|19 24|https://previous.bildindex.de/bilder/fmd10027915a.jpg|19 25|https://www.deckenmalerei.eu/5d3f36f4-1668-4b56-9b9a-7155d8720722|19 26|https://previous.bildindex.de/bilder/fmd10027911a.jpg|25 27|https://www.deckenmalerei.eu/74ffb6a7-81bb-4088-8372-917f2fadb39d|1 28|https://previous.bildindex.de/bilder/fmd458402a.jpg|27 29|https://www.deckenmalerei.eu/ac368f1b-6c4c-4a7b-ab0a-ab6bd880d3ee|27 30|https://previous.bildindex.de/bilder/fmd458529a.jpg|29 31|https://www.deckenmalerei.eu/9e363a8d-17c7-48fe-b769-46b944cfa481|29 32|https://previous.bildindex.de/bilder/fmd458530a.jpg|31 33|https://www.deckenmalerei.eu/d1d878fc-1301-48be-bef7-c204350041cc|27 34|https://www.deckenmalerei.eu/b6e51418-025d-47d1-b5c2-482c70737628|33 35|https://previous.bildindex.de/bilder/fmd458539a.jpg|34 36|https://www.deckenmalerei.eu/937078de-d0e9-4abf-9caa-564ecd999aa0|1 37|https://previous.bildindex.de/bilder/fmd458402a.jpg|36 38|https://previous.bildindex.de/bilder/fmd458385a.jpg|36 39|https://previous.bildindex.de/bilder/fmd458389a.jpg|36 40|https://previous.bildindex.de/bilder/fmd458409a.jpg|36 41|https://www.deckenmalerei.eu/09c9712d-1d62-4f45-a7d7-7c93ae65f2c7|36 42|https://previous.bildindex.de/bilder/fmd458490a.jpg|41 43|https://www.deckenmalerei.eu/0ff388ee-2519-4b05-bf8d-2ab63bc9ff00|41 44|https://previous.bildindex.de/bilder/fmd458491a.jpg|43 45|https://previous.bildindex.de/bilder/fmd10027887a.jpg|43 46|https://previous.bildindex.de/bilder/fmd10027888a.jpg|43 47|https://previous.bildindex.de/bilder/fmd10027889a.jpg|43 48|https://previous.bildindex.de/bilder/fmd10027890a.jpg|43 49|https://www.deckenmalerei.eu/42bcd03b-baf0-46c6-a853-3f47605db8bd|43 50|https://previous.bildindex.de/bilder/fmd10027886a.jpg|49 51|https://www.deckenmalerei.eu/1269ab2e-9702-46ad-a051-375ae21170e4|36 52|https://previous.bildindex.de/bilder/fmd458487a.jpg|51 53|https://www.deckenmalerei.eu/42ae2ea4-6914-41c7-b08d-c582c943f196|51 54|https://previous.bildindex.de/bilder/fmd458486a.jpg|53 55|https://www.deckenmalerei.eu/c497bbc6-1fd6-4b43-875a-c91eca2703d8|53 56|https://www.deckenmalerei.eu/15b029a3-49f1-4d02-9a6c-e7616c47bd6f|36 57|https://www.deckenmalerei.eu/02f102bf-5bd7-4a07-b5e8-a9aaee1711f1|56 58|https://previous.bildindex.de/bilder/fmd458492a.jpg|57 59|https://www.deckenmalerei.eu/432d2ea6-5c77-4887-8df9-f28cc0e90022|36 60|https://previous.bildindex.de/bilder/fmd458473a.jpg|59 61|https://previous.bildindex.de/bilder/fmd458474a.jpg|59 62|https://previous.bildindex.de/bilder/fmd458475a.jpg|59 63|https://previous.bildindex.de/bilder/fmd458477a.jpg|59 64|https://previous.bildindex.de/bilder/fmd458479a.jpg|59 65|https://www.deckenmalerei.eu/428b9528-9d7c-4d99-9c91-270715442ad5|59 66|https://previous.bildindex.de/bilder/fmd10027870a.jpg|65 67|https://previous.bildindex.de/bilder/fmd10027871a.jpg|65 68|https://previous.bildindex.de/bilder/fmd10027872a.jpg|65 69|https://previous.bildindex.de/bilder/fmd10027873a.jpg|65 70|https://previous.bildindex.de/bilder/fmd458480a.jpg|65 71|https://www.deckenmalerei.eu/2ab627d4-8b79-40f6-bde1-dea9cfc3ab6b|65 72|https://previous.bildindex.de/bilder/fmd458480a.jpg|71 73|https://www.deckenmalerei.eu/844821f9-9eb4-425d-8369-77d30ae72065|65 74|https://previous.bildindex.de/bilder/fmd10027871a.jpg|73 75|https://www.deckenmalerei.eu/892f27fc-d0d6-4bd2-8c08-397f7f3444b2|36 76|https://previous.bildindex.de/bilder/fmd458493a.jpg|75 77|https://previous.bildindex.de/bilder/fmd10027874a.jpg|75 78|https://previous.bildindex.de/bilder/fmd458494a.jpg|75 79|https://previous.bildindex.de/bilder/fmd458495a.jpg|75 80|https://www.deckenmalerei.eu/192bf5b2-e61c-41da-b5bc-8b644bf6ae0e|75 81|https://previous.bildindex.de/bilder/fmd10027876a.jpg|80 82|https://www.deckenmalerei.eu/546caf62-5e4c-40f6-a496-e07aec2f6a34|75 83|https://previous.bildindex.de/bilder/fmd10027879a.jpg|82 84|https://previous.bildindex.de/bilder/fmd10027880a.jpg|82 85|https://previous.bildindex.de/bilder/fmd10027881a.jpg|82 86|https://previous.bildindex.de/bilder/fmd10027882a.jpg|82 87|https://previous.bildindex.de/bilder/fmd10027883a.jpg|82 88|https://previous.bildindex.de/bilder/fmd10027884a.jpg|82 89|https://previous.bildindex.de/bilder/fmd458497a.jpg|82 90|https://www.deckenmalerei.eu/5c74b83f-d6ea-49ac-81a2-7460455cb49b|82 91|https://previous.bildindex.de/bilder/fmd10027884a.jpg|90 92|https://previous.bildindex.de/bilder/fmd458494a.jpg|90 93|https://www.deckenmalerei.eu/5cf18457-6541-4432-9694-5786fcd071c4|82 94|https://previous.bildindex.de/bilder/fmd10027881a.jpg|93 95|https://www.deckenmalerei.eu/6a4e4fd5-8ab9-4c8d-941f-db5a1d168fbd|82 96|https://previous.bildindex.de/bilder/fmd10027882a.jpg|95 97|https://www.deckenmalerei.eu/9a5928e6-b68e-4a16-953b-12f51b54307f|82 98|https://previous.bildindex.de/bilder/fmd10027883a.jpg|97 99|https://www.deckenmalerei.eu/d278d568-d593-43f8-84b0-8237ac28bd89|82 100|https://previous.bildindex.de/bilder/fmd458497a.jpg|99 101|https://www.deckenmalerei.eu/fa773ba4-ff9c-48df-aa06-a4952ceded49|82 102|https://previous.bildindex.de/bilder/fmd10027880a.jpg|101 103|https://www.deckenmalerei.eu/66fa6059-44dc-40d1-91e9-51d2b73b202f|75 104|https://previous.bildindex.de/bilder/fmd10027878a.jpg|103 105|https://www.deckenmalerei.eu/da141499-7f71-4b28-baf3-b6f12f8dbbc3|75 106|https://previous.bildindex.de/bilder/fmd10027877a.jpg|105 107|https://www.deckenmalerei.eu/ddcae550-eb3d-4849-8526-9ea337945e75|75 108|https://previous.bildindex.de/bilder/fmd10027875a.jpg|107 109|https://www.deckenmalerei.eu/a756dc72-af3d-4de1-8b34-1147844abb22|36 110|https://previous.bildindex.de/bilder/fmd447555a.jpg|109 111|https://previous.bildindex.de/bilder/fmd458506a.jpg|109 112|https://www.deckenmalerei.eu/8a44563e-e8ce-4082-b44f-fe3a27c69831|109 113|https://previous.bildindex.de/bilder/fmd458504a.jpg|112 114|https://previous.bildindex.de/bilder/fmd10027900a.jpg|112 115|https://previous.bildindex.de/bilder/fmd10027901a.jpg|112 116|https://previous.bildindex.de/bilder/fmd10027902a.jpg|112 117|https://previous.bildindex.de/bilder/fmd10027903a.jpg|112 118|https://www.deckenmalerei.eu/e133bebf-3d6b-476a-867b-6334c282ba71|112 119|https://previous.bildindex.de/bilder/fmd10027899a.jpg|118 120|https://www.deckenmalerei.eu/e8fed344-b0b3-4b9a-acce-114c494407ea|109 121|https://previous.bildindex.de/bilder/fmd10027898a.jpg|120 122|https://previous.bildindex.de/bilder/fmd458506a.jpg|120 123|https://www.deckenmalerei.eu/da1e0aa1-abde-4b54-a2fe-58d7bbc2964d|36 124|https://previous.bildindex.de/bilder/fmd10027891a.jpg|123 125|https://previous.bildindex.de/bilder/fmd10027892a.jpg|123 126|https://previous.bildindex.de/bilder/fmd10027893a.jpg|123 127|https://previous.bildindex.de/bilder/fmd10027894a.jpg|123 128|https://previous.bildindex.de/bilder/fmd10027895a.jpg|123 129|https://previous.bildindex.de/bilder/fmd458509a.jpg|123 130|https://www.deckenmalerei.eu/4a9f91aa-d6fb-46df-8db6-54ba0c03618e|123 131|https://previous.bildindex.de/bilder/fmd10027897a.jpg|130 132|https://www.deckenmalerei.eu/d5b2db3d-a08e-49f7-bd3e-2ee173f84b07|130 133|https://previous.bildindex.de/bilder/fmd458510a.jpg|132
Attributes
Show discovered attributes. These are dependant upon the scraped objects.
sqlite> select * from attrib; 1|NAME|NAME 2|ID|ID 3|INVENTARNUMMER IM CBDD|INVENTORY NUMBER IN THE CBDD 4|MODULNUMMER|MODULE NUMBER 5|TYP|TYPE 6|ADRESSE|ADDRESS 7|BUNDESLAND|FEDERAL STATE 8|LAND|COUNTRY 9|FUNKTION [BAUWERK]|FUNCTION [BUILDING] 10|DATIERUNG [BAUWERK]|DATING [BUILDING] 11|HAT ARCHITEKT|HAS ARCHITECT 12|ZUGEHÖRIGKEIT|BELONGING 13|HAT AUFTRAGGEBER|HAS CLIENT 14|HAT BAULEITER|HAS SITE MANAGER 15|HAT MALER|HAS PAINTER 16|HAT TEIL|HAS PART 17|HAT STUCKATEUR|HAS PLASTERER 18|HAT BEWOHNER|HAS RESIDENTS 19|IST DOKUMENTIERT IN|IS DOCUMENTED IN 20|OBJEKT IM BILDINDEX|OBJECT IN IMAGE INDEX 21|OBJEKT IN DER GND|PROPERTY IN THE GND 22|ERSTELLUNG DES DATENSATZES|CREATION OF THE DATASET 23|LETZTE BEARBEITUNG|LAST UPDATE 24|BILDNACHWEIS|PICTURE CREDITS 25|URHEBER|ORIGINATOR 26|LIZENZ|LICENCE 27|REPOSITORIUM|REPOSITORY 28|FUNKTION [GEBÄUDETEIL]|FUNCTION [BUILDING PART] 29|IST TEIL VON|IS PART OF 30|LÄNGE (M)|LENGTH (M) 31|BREITE (M)|WIDTH (M) 32|HÖHE (M)|ALTITUDE (M) 33|FUNKTION [RAUM]|FUNCTION [ROOM] 34|DATIERUNG [RAUM]|DATING [ROOM] 35|ICONCLASS|ICONCLASS 36|POSITION|POSITION 37|AUSRICHTUNG|ALIGNMENT 38|DURCHMESSER (M)|DIAMETER (M) 39|DATIERUNG [MALEREI]|DATING [PAINTING] 40|TECHNIK|TECHNOLOGY 41|HAT VORLAGENGEBER|HAS TEMPLATE CONTRIBUTOR 42|MATERIAL|MATERIAL 43|DATIERUNG [MALEREITEIL]|DATING [PAINTING PART] 44|HAT ENTWERFER|HAS DESIGNER 45|DATIERUNG [GEBÄUDETEIL]|DATING [BUILDING PART] 46|ALTERNATIVE NAMEN|ALTERNATIVE NAMES 47|HAT BILDHAUER|HAS SCULPTOR
English translations are performed using the Python translator module and may not be accurate.
Values
Show all values for the root object.
sqlite> select distinct attrib.en_GB,eav_record.de_DE from attrib,eav_record where eav_record.entity_id=1 and eav_record.attrib_id=attrib.id order by attrib.de_DE asc; ADDRESS|Schloß 1, 59394, Nordkirchen FEDERAL STATE|Nordrhein-Westfalen DATING [BUILDING]|1703-1734 CREATION OF THE DATASET|2020-11-27, 12:56 FUNCTION [BUILDING]|Herrenhaus / Rittersitz / Gutshof / Hofmark / Häuptlingssitz HAS ARCHITECT|Pictorius, Gottfried Laurenz [Person] HAS ARCHITECT|Schlaun, Johann Conrad [Person] HAS ARCHITECT|Picotrius, Peter, der Jüngere [Person] HAS ARCHITECT|Raman, Jacob [Person] HAS CLIENT|Plettenberg, Ferdinand von [Person] HAS CLIENT|Friedrich Christian, Münster, Bischof [Person] HAS SITE MANAGER|Picotrius, Peter, der Jüngere [Person] HAS SITE MANAGER|Hagen, Lubbert [Person] HAS RESIDENTS|Plettenberg-Lenhausen (Familie) [Sozietät] HAS PAINTER|Pictorius, Johann Martin [Person] HAS PAINTER|Witte, Engelbert Ernst [Person] HAS PAINTER|Koppers, Johann Anton [Person] HAS PLASTERER|Duca, Giovanni Battista [Person] HAS PLASTERER|Rizzo, Antonio [Person] HAS PLASTERER|Melchion , Stefano Ignazio [Person] HAS PLASTERER|Oldelli, Giovanni Antonio [Person] HAS PLASTERER|Molla, Gasparo [Person] HAS PART|Kapellenflügel [Gebäudeteil] HAS PART|Ostflügel [Gebäudeteil] HAS PART|Hauptflügel [Gebäudeteil] ID|3001232e-b122-463e-9705-b5ae84ffabf7 INVENTORY NUMBER IN THE CBDD|cbdd10131 IS DOCUMENTED IN|Haus Nordkirchen [Textteil] IS DOCUMENTED IN|Nordkirchen, Rittergut, sog. Schloss [Text] COUNTRY|Deutschland LAST UPDATE|2022-03-18, 20:41 MODULE NUMBER|1 NAME|Nordkirchen, sog. Schloss OBJECT IN IMAGE INDEX|obj20542171 PROPERTY IN THE GND|4775028-5 TYPE|Bauwerk BELONGING|Reichskreis, Niederrheinisch-Westfälischer [Sozietät] BELONGING|Münster, Fürstbistum [Sozietät] BELONGING|Ritterschaft des Fürstbistums Münster [Sozietät]
CSV
.headers on .mode csv .once output.csv SELECT * ...
SQL query tool
The query tool can display discovered attributes about an object in the deckenmalerei site.
The database is defined by DB_FILE, eg. DB_FILE=“etc/cps_deckenmalerei.db” or DB_FILE=“/tmp/cps_deckenmalerei.db”
Query
Perform queries by entity ID or URL.
query 1 ID=1 URL=https://www.deckenmalerei.eu/00730a0e-98be-4bca-8a49-5e68ba7af206 ENTITY_ID=None 'ADRESSE', 'ADDRESS' = 'Am Domänenhof, 21337, Lüneburg' 'BUNDESLAND', 'FEDERAL STATE' = 'Niedersachsen' 'ERSTELLUNG DES DATENSATZES', 'CREATION OF THE DATASET' = '2025-02-21, 8:34' 'HAT TEIL', 'HAS PART' = 'Das Vorzimmer der Äbtissin [Raum]' https://www.deckenmalerei.eu/22dcfc27-01d3-4889-b169-788d8bec2e5f 'HAT TEIL', 'HAS PART' = 'Die Barbarakapelle [Raum]' https://www.deckenmalerei.eu/255cf5f4-da85-436d-975e-be674b150b95 'HAT TEIL', 'HAS PART' = 'Die sog. Alte Schule [Raum]' https://www.deckenmalerei.eu/34fe2304-b731-4eeb-98c5-472b32dfe371 'HAT TEIL', 'HAS PART' = 'Die Zellen im Obergeschoss des Westflügels [Raumfolge]' https://www.deckenmalerei.eu/8dc1314c-9a18-4c7c-854c-00433bd729e3 'HAT TEIL', 'HAS PART' = 'Die Zellen im Obergeschoss des Südflügels [Raumfolge]' https://www.deckenmalerei.eu/a49f6cf1-062e-4aed-842f-9a3925aa82d5 'HAT TEIL', 'HAS PART' = 'Der Winterremter [Raum]' https://www.deckenmalerei.eu/c9e858ad-fc25-48b1-84a0-8cf6ded97e2a 'ID', 'ID' = '00730a0e-98be-4bca-8a49-5e68ba7af206' https://www.deckenmalerei.eu/00730a0e-98be-4bca-8a49-5e68ba7af206 'IST DOKUMENTIERT IN', 'IS DOCUMENTED IN' = 'Lüneburg, Kloster Lüne [Text]' https://www.deckenmalerei.eu/945023b2-96e8-4b6a-bcf6-54dd5a0f58c2 'IST DOKUMENTIERT IN', 'IS DOCUMENTED IN' = 'Kloster Lüne ist noch in Bearbeitung [Textteil]' https://www.deckenmalerei.eu/bfb9fa5d-8bf3-4f63-9355-c9ba835faad2 'LAND', 'COUNTRY' = 'Deutschland' 'LETZTE BEARBEITUNG', 'LAST UPDATE' = '2025-02-21, 8:34' 'MODULNUMMER', 'MODULE NUMBER' = '3' 'NAME', 'NAME' = 'Lüneburg, Kloster Lüne' 'TYP', 'TYPE' = 'Bauwerk' https://www.deckenmalerei.eu/00730a0e-98be-4bca-8a49-5e68ba7af206
query https://www.deckenmalerei.eu/00730a0e-98be-4bca-8a49-5e68ba7af206 ID=1 URL=https://www.deckenmalerei.eu/00730a0e-98be-4bca-8a49-5e68ba7af206 ENTITY_ID=None 'ADRESSE', 'ADDRESS' = 'Am Domänenhof, 21337, Lüneburg' 'BUNDESLAND', 'FEDERAL STATE' = 'Niedersachsen' 'ERSTELLUNG DES DATENSATZES', 'CREATION OF THE DATASET' = '2025-02-21, 8:34' 'HAT TEIL', 'HAS PART' = 'Das Vorzimmer der Äbtissin [Raum]' https://www.deckenmalerei.eu/22dcfc27-01d3-4889-b169-788d8bec2e5f 'HAT TEIL', 'HAS PART' = 'Die Barbarakapelle [Raum]' https://www.deckenmalerei.eu/255cf5f4-da85-436d-975e-be674b150b95 'HAT TEIL', 'HAS PART' = 'Die sog. Alte Schule [Raum]' https://www.deckenmalerei.eu/34fe2304-b731-4eeb-98c5-472b32dfe371 'HAT TEIL', 'HAS PART' = 'Die Zellen im Obergeschoss des Westflügels [Raumfolge]' https://www.deckenmalerei.eu/8dc1314c-9a18-4c7c-854c-00433bd729e3 'HAT TEIL', 'HAS PART' = 'Die Zellen im Obergeschoss des Südflügels [Raumfolge]' https://www.deckenmalerei.eu/a49f6cf1-062e-4aed-842f-9a3925aa82d5 'HAT TEIL', 'HAS PART' = 'Der Winterremter [Raum]' https://www.deckenmalerei.eu/c9e858ad-fc25-48b1-84a0-8cf6ded97e2a 'ID', 'ID' = '00730a0e-98be-4bca-8a49-5e68ba7af206' https://www.deckenmalerei.eu/00730a0e-98be-4bca-8a49-5e68ba7af206 'IST DOKUMENTIERT IN', 'IS DOCUMENTED IN' = 'Lüneburg, Kloster Lüne [Text]' https://www.deckenmalerei.eu/945023b2-96e8-4b6a-bcf6-54dd5a0f58c2 'IST DOKUMENTIERT IN', 'IS DOCUMENTED IN' = 'Kloster Lüne ist noch in Bearbeitung [Textteil]' https://www.deckenmalerei.eu/bfb9fa5d-8bf3-4f63-9355-c9ba835faad2 'LAND', 'COUNTRY' = 'Deutschland' 'LETZTE BEARBEITUNG', 'LAST UPDATE' = '2025-02-21, 8:34' 'MODULNUMMER', 'MODULE NUMBER' = '3' 'NAME', 'NAME' = 'Lüneburg, Kloster Lüne' 'TYP', 'TYPE' = 'Bauwerk' https://www.deckenmalerei.eu/00730a0e-98be-4bca-8a49-5e68ba7af206
The output represents the entity queried and every child entity if the `recurse' option is set.
Wikibase
Setup
In the .env file bot login credentials must be configured for the Wikibase
Adding a bot can be found at Special:BotPasswords
WB_URL="https://mediawiki.example.com/" WB_USERNAME="USERNAME" WB_PASSWORD="BOTNAME@BOTPASSWORD" DB_FILE="/tmp/cps_deckenmalerei.db"
The demo site is here.
Import
This example export root entity 1 from the SQL database and stores it in Wikibase.
wbset 1 PROPERTY = 'Instance of' 'Instance of an item' 'en' P1 PROPERTY = 'Instances' 'Instances of an item' 'en' P2 PROPERTY = 'Part of' 'Part of an item' 'en' P3 PROPERTY = 'Parts' 'Parts of an item' 'en' P4 PROPERTY = 'Address' 'Address String' 'en' P5 PROPERTY = 'Photograph' 'Photograph URL' 'en' P6 PROPERTY = 'Documentation' 'Documentation URL' 'en' P7 PROPERTY = 'Source' 'Source URL' 'en' P8 ITEM = 'Bauwerk' 'Typ' 'de' Q1 ITEM = 'Bildzyklus' 'Typ' 'de' Q2 ITEM = 'Ensemble' 'Typ' 'de' Q3 ITEM = 'Foto' 'Typ' 'de' Q4 ITEM = 'Gebäudeteil' 'Typ' 'de' Q5 ITEM = 'Malerei' 'Typ' 'de' Q6 ITEM = 'Malereiteil' 'Typ' 'de' Q7 ITEM = 'Raum' 'Typ' 'de' Q8 ITEM = 'Raumfolge' 'Typ' 'de' Q9 ITEM = 'Lüneburg, Kloster Lüne' '1' 'de' Q10 ITEM = 'Das Vorzimmer der Äbtissin' '8' 'de' Q11 ITEM = 'Die Deckenmalereireste' '10' 'de' Q12 ITEM = 'Die Barbarakapelle' '12' 'de' Q13 ITEM = 'Die Decke' '14' 'de' Q14 ITEM = 'Arteficium' '16' 'de' Q15 ITEM = 'Fragment' '18' 'de' Q16 ITEM = 'Scientia' '20' 'de' Q17 ITEM = 'Die Taube des Heiligen Geistes' '22' 'de' Q18 ITEM = 'Sapientia' '24' 'de' Q19 ITEM = 'Die sog. Alte Schule' '26' 'de' Q20 ITEM = 'Die Decke' '28' 'de' Q21 ITEM = 'Die Wandmalreireste' '30' 'de' Q22 ITEM = 'Die Zellen im Obergeschoss des Westflügels' '33' 'de' Q23 ITEM = 'Zelle 2' '36' 'de' Q24 ITEM = 'Die Wände' '38' 'de' Q25 ITEM = 'Die Decke' '43' 'de' Q26 ITEM = 'Zelle 8' '45' 'de' Q27 ITEM = 'Die Wandmalerei' '47' 'de' Q28 ITEM = 'Zelle 3' '51' 'de' Q29 ITEM = 'Die Wände' '53' 'de' Q30 ITEM = 'Die Decke' '58' 'de' Q31 ITEM = 'Zelle 13' '60' 'de' Q32 ITEM = 'Die Wände' '62' 'de' Q33 ITEM = 'Die Decke' '66' 'de' Q34 ITEM = 'Zelle 9' '68' 'de' Q35 ITEM = 'Die Decke' '70' 'de' Q36 ITEM = 'Die Wandmalerei' '72' 'de' Q37 ITEM = 'Zelle 14' '76' 'de' Q38 ITEM = 'Die Wände' '78' 'de' Q39 ITEM = 'Zelle 12' '82' 'de' Q40 ITEM = 'Die Wände' '84' 'de' Q41 ITEM = 'Die Decke' '89' 'de' Q42 ITEM = 'Zelle 15' '91' 'de' Q43 ITEM = 'Die Wandmalerei' '93' 'de' Q44 ITEM = 'Die Zellen im Obergeschoss des Südflügels' '98' 'de' Q45 ITEM = 'Zelle 32' '101' 'de' Q46 ITEM = 'Die Wandmalerei' '103' 'de' Q47 ITEM = 'Die Decke' '108' 'de' Q48 ITEM = 'Zelle 29' '110' 'de' Q49 ITEM = 'Die Wände' '112' 'de' Q50 ITEM = 'Die Decke' '114' 'de' Q51 ITEM = 'Zelle 34' '116' 'de' Q52 ITEM = 'Die Decke' '118' 'de' Q53 ITEM = 'Die Wandmalerei' '120' 'de' Q54 ITEM = 'Zelle 36' '127' 'de' Q55 ITEM = 'Die Wände' '129' 'de' Q56 ITEM = 'Die Decke' '133' 'de' Q57 ITEM = 'Zelle 31' '135' 'de' Q58 ITEM = 'Die Wandmalerei' '137' 'de' Q59 ITEM = 'Die Decke' '143' 'de' Q60 ITEM = 'Zelle 33' '145' 'de' Q61 ITEM = 'Die Wände' '147' 'de' Q62 ITEM = 'Die Decke' '151' 'de' Q63 ITEM = 'Der Winterremter' '153' 'de' Q64 ITEM = 'Die ältere Wandmalerei' '157' 'de' Q65 ITEM = 'Die Wandgestaltung' '165' 'de' Q66 ITEM = 'Die Decke' '168' 'de' Q67
