feat: retrieve lieferbeginn from ermittlungsauftrag (#11)

Author: hf-kklein

dev_requirements/requirements-type_check.in

@@ -1,3 +1,4 @@
 # specific requirements for the tox type_check environment
 mypy
 mypy[pydantic]
+types-pytz

dev_requirements/requirements-type_check.txt

@@ -8,5 +8,7 @@ mypy[pydantic]==1.8.0
     # via -r requirements-type_check.in
 mypy-extensions==1.0.0
     # via mypy
+types-pytz==2024.1.0.20240203
+    # via -r requirements-type_check.in
 typing-extensions==4.10.0
     # via mypy

domain-specific-terms.txt

@@ -7,3 +7,4 @@ prozess
 autor
 titel
 offen
+ist

pyproject.toml

@@ -19,7 +19,8 @@ classifiers = [
 dependencies = [
     "pydantic>=2.0.0",
     "aiohttp[speedups]>=3.9.3",
-    "more-itertools"
+    "more-itertools",
+    "pytz"
 ] # add all the dependencies here
 dynamic = ["readme", "version"]
 

requirements.txt

@@ -30,6 +30,8 @@ pydantic==2.6.2
     # via bssclient (pyproject.toml)
 pydantic-core==2.16.3
     # via pydantic
+pytz==2024.1
+    # via bssclient (pyproject.toml)
 typing-extensions==4.10.0
     # via
     #   pydantic

src/bssclient/models/ermittlungsauftrag.py

@@ -2,13 +2,18 @@
 models for Ermittlungsauftrag/Investigation Order
 """
 
+from datetime import datetime
 from typing import Literal
 from uuid import UUID
+from xml.etree.ElementTree import Element
 
+import pytz
 from pydantic import AwareDatetime, BaseModel, ConfigDict, Field, RootModel
 
 from bssclient.models.prozess import Prozess
 
+_berlin = pytz.timezone("Europe/Berlin")
+
 
 class Notiz(BaseModel):
     """
@@ -52,6 +57,22 @@ class Ermittlungsauftrag(BaseModel):
     kategorie: Literal["Ermittlungsauftrag"]
     prozess: Prozess
 
+    def get_vertragsbeginn_from_boneycomb_or_topcom(self) -> AwareDatetime:
+        """
+        reads the vertragsbeginn from the boneycomb or topcom data (nested deep into the prozess)
+        """
+        ausloeser = self.prozess.deserialized_ausloeser
+        if isinstance(ausloeser, dict):
+            return datetime.fromisoformat(ausloeser["transaktionsdaten"]["vertragsbeginn"])
+        if isinstance(ausloeser, Element):
+            date_str = ausloeser.find("lieferbeginn").text
+            if date_str is None:
+                raise ValueError("lieferbeginn not found in topcom XML")
+            naive_date = datetime.strptime(date_str, "%Y-%m-%d")
+            aware_date = _berlin.localize(naive_date)  # everyone hates implicit timezones
+            return pytz.utc.normalize(aware_date)
+        raise NotImplementedError(f"ausloeser {ausloeser} is not implemented")
+
 
 class _ListOfErmittlungsauftraege(RootModel[list[Ermittlungsauftrag]]):
     pass

src/bssclient/models/prozess.py

@@ -2,16 +2,23 @@
 models for BSS Prozess
 """
 
+import json
+import logging
+import xml.etree.ElementTree as ET
 from uuid import UUID
 
-from pydantic import BaseModel, Field
+from pydantic import BaseModel, ConfigDict, Field, computed_field
+
+_logger = logging.getLogger(__name__)
 
 
 class Prozess(BaseModel):
     """
     a bss prozess
     """
 
+    model_config = ConfigDict(arbitrary_types_allowed=True)
+
     id: UUID
     status: str
     status_text: str = Field(alias="statusText")
@@ -26,3 +33,16 @@ class Prozess(BaseModel):
     einheit: str | None = None
     messlokation: str | None = None
     zaehlernummer: str | None = None
+
+    @computed_field
+    # @property
+    def deserialized_ausloeser(self) -> dict | ET.Element:
+        """
+        the self.ausloeser_daten is either a json (boneycomb) or a topcom XML.
+        """
+        try:
+            return json.loads(self.ausloeser_daten)
+        except json.decoder.JSONDecodeError:
+            # if the xml parsing throws an exception, too, I don't know what to do with it yet
+            xml_element: ET.Element = ET.fromstring(self.ausloeser_daten)
+            return xml_element

unittests/example_data/list_of_1_ermittlungsauftrag_from_topcom.json

@@ -0,0 +1,84 @@
+[
+  {
+    "einheitId": "66221516-01e8-4bb4-b6fe-f827d64bec05",
+    "flatId": "0040507652",
+    "lagezusatz": "Part.",
+    "geschaeftspartner": null,
+    "marktlokationId": "28617269885",
+    "messlokationId": "DE0001112223334445556667778889991",
+    "zaehlernummer": null,
+    "vertragId": "01c39415-8973-4a25-9d32-c28ed8bab551",
+    "lieferbeginn": "2020-04-17T22:00:00+00:00",
+    "lieferende": "2022-05-17T22:00:00+00:00",
+    "lieferadresse": {
+      "timestamp": "2020-09-14T19:52:02.130486+00:00",
+      "guid": "df6486f8-5f48-4087-8557-ac635cdd05af",
+      "postleitzahl": "12119",
+      "ort": "Berlin",
+      "strasse": "Marktstr.",
+      "hausnummer": "150",
+      "postfach": null,
+      "adresszusatz": null,
+      "coErgaenzung": null,
+      "landescode": "DE",
+      "ortsteil": "Mitte",
+      "versionStruktur": 1
+    },
+    "notizen": [
+      {
+        "autor": "System",
+        "zeitpunkt": "2022-05-27T10:49:51.209224+00:00",
+        "inhalt": "Der Ermittlungsauftrag wurde erstellt und geht in die Wartezeit über.",
+        "timestamp": "2022-05-27T10:49:51.28446+00:00",
+        "guid": "e64fb509-651c-42db-aa99-487954a4dc9a",
+        "IstHistorisch": true,
+        "historisch": true
+      },
+      {
+        "autor": "System",
+        "zeitpunkt": "2022-05-27T11:08:18.886305+00:00",
+        "inhalt": "Der Ermittlungsauftrag konnte bisher nicht automatisiert gelöst werden und ist jetzt zur manuellen Bearbeitung freigegeben.",
+        "timestamp": "2022-05-27T11:08:18.911074+00:00",
+        "guid": "98b240b2-a5ea-4c5b-8c1f-f3919f27915d",
+        "IstHistorisch": true,
+        "historisch": true
+      }
+    ],
+    "verwalterName": null,
+    "verwalterMobil": null,
+    "verwalterId": "00000000-0000-0000-0000-000000000000",
+    "id": "de63bd8c-42b4-42fb-9ba5-50ff7967c414",
+    "agentId": null,
+    "prozess": {
+      "id": "b2790c31-5d68-4263-82ec-130167fb030a",
+      "status": "Angelegt",
+      "statusText": "Eigentuemer muss identifizert werden",
+      "typ": "Leerstand",
+      "ausloeser": "Queue",
+      "externeId": "TC99999999",
+      "marktlokation": "28617269885",
+      "ideReferenz": "123458213203910IDEIDEIDEIASDASDASD",
+      "transaktionsgrund": "Z36",
+      "ausloeserDaten": "<?xml version=\"1.0\" encoding=\"UTF-8\"?><lieferbeginnEOG><sparte>ELECTRICITY</sparte><externeID>TC99999999</externeID><nachrichtendatum>2020-09-30T12:00:00.000+02:00</nachrichtendatum><sender><MPID>9900123456789</MPID><MPIDcode>500</MPIDcode></sender><empfaenger><MPID>9987654321032</MPID><MPIDcode>500</MPIDcode></empfaenger><vorgang>123458213203910IDEIDEIDEIASDASDASD</vorgang><lieferbeginn>2020-04-18</lieferbeginn><bilanzierungsbeginn>2020-05-01</bilanzierungsbeginn><transaktionsgrund>Z36</transaktionsgrund><marktlokation><marktlokation>28617269885</marktlokation><geplanteTurnusablesung><wert>1011</wert><format>MMDD</format></geplanteTurnusablesung><geplanteTurnusablesung><wert>09041003</wert><format>MMWW-MMWW</format></geplanteTurnusablesung><turnusableseintervall>12</turnusableseintervall><netznutzungsabrechnung><wert>1011</wert><format>MMDD</format></netznutzungsabrechnung><netznutzungsabrechnung><wert>09041003</wert><format>MMWW-MMWW</format></netznutzungsabrechnung><naechstenetznutzungsabrechnung>2020</naechstenetznutzungsabrechnung><netznutzungsabrechnungsintervall>12</netznutzungsabrechnungsintervall><veranschlagtejahresmenge><wert>1310</wert><einheit>KWH</einheit></veranschlagtejahresmenge><lieferrichtung>Z07</lieferrichtung><uenb><MPID>1234567890123</MPID><MPIDcode>14</MPIDcode></uenb><msb><MPID>9922992299331</MPID><MPIDcode>500</MPIDcode></msb><regelzone>10YDE-EON------1</regelzone><bilanzkreis>11XSWASDLKMA</bilanzkreis><bilanzierungsgebiet>11ASDLKMAL-ASD</bilanzierungsgebiet><zeitreihentyp><kategorie>Z21</kategorie><code>SLS</code></zeitreihentyp><spannungsebene>E06</spannungsebene><messtechnischeeinordnung>Z53</messtechnischeeinordnung><aggregationsverantwortung>ZA8</aggregationsverantwortung><prognosegrundlage><typ>ZA6</typ><details>E02</details></prognosegrundlage><gruppenzuordnung>Z15</gruppenzuordnung><netznutzungsvertrag>Z09</netznutzungsvertrag><netznutzungszahler>Z11</netznutzungszahler><netznutzungsabrechnungsvariante>Z14</netznutzungsabrechnungsvariante><netznutzungsabrechnungsgrundlage>Z12</netznutzungsabrechnungsgrundlage><singulaergenutztebetriebsmittelnna>Z07</singulaergenutztebetriebsmittelnna><obisdaten><obis><kennzahl>1-1:1.9.0</kennzahl><schwachlastfaehig>Z59</schwachlastfaehig><verwendungszwecke><verwendungszweck>Z47</verwendungszweck><verwendungszweck>Z84</verwendungszweck><verwendungszweck>Z86</verwendungszweck></verwendungszwecke><verbrauchsart>Z64</verbrauchsart><unterbrechbarkeit>Z63</unterbrechbarkeit></obis></obisdaten><konzessionsabgabedaten><konzessionsabgabe><referenzObis>1-1:1.9.0</referenzObis><qual>Z08</qual><code>TA</code></konzessionsabgabe></konzessionsabgabedaten><gemeinderabatt>0.00</gemeinderabatt></marktlokation><messlokationen><messlokation><messlokation>DE0001112223334445556667778889991</messlokation><abrechnungmessstellenbetriebnna>JA</abrechnungmessstellenbetriebnna><msb><MPID>9922992299331</MPID><MPIDcode>500</MPIDcode></msb><spannungsebene>E06</spannungsebene><geraete><zaehleinrichtungsdaten><zaehleinrichtung><zaehlertyp>AHZ</zaehlertyp><zaehlernummer>1EYZAEHLER1234556</zaehlernummer><tarifanzahl>ETZ</tarifanzahl><energierichtung>ERZ</energierichtung><fernschaltung>Z07</fernschaltung><messwerteerfassung>MMR</messwerteerfassung></zaehleinrichtung></zaehleinrichtungsdaten></geraete><obisdaten><obis><kennzahl>1-1:1.8.0</kennzahl><referenzGeraetenummer>1EYZAEHLER1234556</referenzGeraetenummer><vorkommastellen>6</vorkommastellen><nachkommastellen>1</nachkommastellen><schwachlastfaehig>Z59</schwachlastfaehig></obis></obisdaten><lastprofil><klassentyp>Z02</klassentyp><verfahren>Z10</verfahren><profilcode>H0</profilcode></lastprofil><ablesekarten><ablesekarte><kundenTyp>Z02</kundenTyp><name>Mein Versorger GmbH</name><zusaetzlicheNamensangabe>Ersatzversorgung</zusaetzlicheNamensangabe><strasse>Stadtwerkgasse</strasse><hausnummer>2</hausnummer><plz>12007</plz><ort>Berlin</ort><ortsteil>Linden-Mitte</ortsteil><land>DE</land></ablesekarte></ablesekarten></messlokation></messlokationen><letztverbraucher><kundenTyp>Z02</kundenTyp><name>Mein Versorger GmbH</name><zusaetzlicheNamensangabe>Ersatzversorgung</zusaetzlicheNamensangabe></letztverbraucher><korrespondenzanschrift><kundenTyp>Z02</kundenTyp><name>Mein Versorger GmbH</name><zusaetzlicheNamensangabe>Ersatzversorgung</zusaetzlicheNamensangabe><strasse>Stadtwerkgasse</strasse><hausnummer>2</hausnummer><plz>12007</plz><ort>Berlin</ort><ortsteil>Linden-Mitte</ortsteil><land>DE</land></korrespondenzanschrift><lieferanschrift><strasse>Marktstr.</strasse><hausnummer>150</hausnummer><plz>12119</plz><ort>Berlin</ort><ortsteil>Mitte</ortsteil><land>DE</land></lieferanschrift></lieferbeginnEOG>",
+      "datumErzeugt": "2020-09-30T10:04:00.80505+00:00",
+      "datumGeaendert": "2021-04-22T09:38:28.029785+00:00",
+      "datumBeendet": null,
+      "antwortStatus": "E15",
+      "einheit": null,
+      "messlokation": "DE0001112223334445556667778889991",
+      "zaehlernummer": "1EYZAEHLER1234556",
+      "adresse": null
+    },
+    "verwandteAufgaben": [],
+    "status": "Offen",
+    "statusGrund": "",
+    "bearbeiter": "System",
+    "text": "Leerstand wartet auf Eigentümeridentifikation.",
+    "datumErzeugt": "2022-05-27T10:49:51.198879+00:00",
+    "datumGeaendert": "2022-05-27T10:49:51.239148+00:00",
+    "datumAblauf": "2022-05-27T11:04:51.198925+00:00",
+    "datumMaximaleFrist": "2020-05-28T22:00:00+00:00",
+    "kategorie": "Ermittlungsauftrag",
+    "aufgabenDaten": []
+  }
+]

unittests/test_ermittlungsauftraege.py

@@ -1,4 +1,5 @@
 import json
+from datetime import datetime, timezone
 from pathlib import Path
 from unittest.mock import AsyncMock, Mock
 
@@ -15,17 +16,31 @@ class TestErmittlungsauftraege:
 
     async def test_get_ermittlungsauftraege(self, bss_client_with_default_auth):
         ermittlungsauftraege_json_file = Path(__file__).parent / "example_data" / "list_of_1_ermittlungsauftraege.json"
-        with open(ermittlungsauftraege_json_file, "r", encoding="utf-8") as infile:
-            ermittlungsauftraege = json.load(infile)
+        ermittlungsauftraege_json_file2 = (
+            Path(__file__).parent / "example_data" / "list_of_1_ermittlungsauftrag_from_topcom.json"
+        )
+        with (
+            open(ermittlungsauftraege_json_file, "r", encoding="utf-8") as infile1,
+            open(ermittlungsauftraege_json_file2, "r", encoding="utf-8") as infile2,
+        ):
+            ermittlungsauftraege = json.load(infile1) + json.load(infile2)
         client, bss_config = bss_client_with_default_auth
         with aioresponses() as mocked_bss:
             mocked_get_url = (
-                f"{bss_config.server_url}api/Aufgabe/ermittlungsauftraege?includeDetails=true&limit=1&offset=0"
+                f"{bss_config.server_url}api/Aufgabe/ermittlungsauftraege?includeDetails=true&limit=2&offset=0"
             )
             mocked_bss.get(mocked_get_url, status=200, payload=ermittlungsauftraege)
-            actual = await client.get_ermittlungsauftraege(limit=1)
+            actual = await client.get_ermittlungsauftraege(limit=2)
         assert isinstance(actual, list)
+        assert len(actual) == 2
         assert all(isinstance(x, Ermittlungsauftrag) for x in actual)
+        assert isinstance(actual[0].prozess.deserialized_ausloeser, dict)
+        assert actual[0].get_vertragsbeginn_from_boneycomb_or_topcom() == datetime(
+            2023, 10, 31, 23, 0, 0, tzinfo=timezone.utc
+        )
+        assert actual[1].get_vertragsbeginn_from_boneycomb_or_topcom() == datetime(
+            2020, 4, 17, 22, 0, tzinfo=timezone.utc
+        )
 
     async def test_get_stats(self, bss_client_with_default_auth):
         stats_json_file = Path(__file__).parent / "example_data" / "aufgabe_stats.json"