End of support of OTA for devices with 4 MB flash

[schlimmchen]

Please see #1025.

[stegbth]

HI @markusdd,

danke, dass auf dem Fusion Board bereits 8GB verbaut sind ;)

vg
Thomas

[spcqike]

8MB, oder?

[stegbth]

sorry, 8MB ja,
in der heutigen Zeit kann man sich schon mal zwischen Millionen und Millarden verwechseln ;)

[Tiese]

Von mir aus kann die Umstellung erfolgen...

Ich bin schon ganz gespannt.

[spcqike]

@ottelo9 sowas wirst du auch nicht finden. höchstens mit 8MB ;) aber auch da finde ich keine 38Pin Boards mit USB-C.
nur sowas, mit micro USB.
https://www.amazon.de/dp/B087TF2L27

wozu brauchst du USB-C?

[ottelo9]

;)
In meinem Mini Schaltkasten habe ich ein USB-C Kabel für die Versorgung des ESPs bereits fest verdrahtet, wollte zukunftsicher sein. Ich weiß, kann man relativ schnell tauschen ... die passenden 8mb micro USB Boards kosten ja auch gleich mal das x-fache.

Ich glaub ich hole mir das 44pin ESP32-S3 USBC Board und löte die 11 Leiterbahnen per Hand neu ...

[schlimmchen]

USB-C Buchse auf USB-Mikro-Stecker
Außerdem (nochmal): Fusion Board

[greymda]

Hallo @ottelo9, musst du nicht! Einfach den ESP32-DevKitC-VIE (mit 8MB) drauf stecken und weiter gehts - siehe weiter oben!

can you post a link where to buy this specific model?

[Tiese]

Falls Bedarf besteht, könnte ich welche bestellen?!
Je nach Menge ergibt sich der Preis.

[skippermeister]

Hallo @schlimmchen, ich habe gestern mal mit der OTA Funktion folgenden Test gemacht:
Eine neue partition table erstellt,
ein OTA Boot Loader in eine "factory" Partition geschrieben
und die OpenDTU App in die "ota_0" Partition.
Die ota_1 partition existiert nicht mehr.

nvs,      data, nvs,     0x9000,   0x5000,
otadata,  data, ota,     0xe000,   0x2000,
factory,  app,  factory, 0x10000,  0x100000,
ota_0,    app,  ota_0,   0x110000, 0x2C0000,
spiffs,   data, spiffs,  0x3D0000, 0x30000,

Die factory Partiton ist 1MB groß
die ota_0 Partition ist etwas kleiner als 3MB.
Der Boot Loader in der factory Partition bietet zunächst ein ElegantOTA Web Portal. Wird dies nicht innerhalb von 30 Sekunden bedient wird die ota_0 Partition aktiviert und ein Reset per software ausgelöst. Danach bootet die ota_0 Partition mit der OpenDTU Applikation.
Die Firmware Update Funktion in OpenDTU muss dahingehend abgeändert werden, dass mit dem Update zunächst die factory Partition aktiviert wird, danach ein Software Reset ausgelöst, wodurch der Boot Loader in der factory Partition startet und das ElegantOTA Web Portal die neue Firmware abfragt, hochläd und in die ota_0 Partition schreibt. Danach wird dann die ota_0 Partition wieder aktiviert und durch ein Software Reset gestartet.
Das ganz funktioniert bei mir im Test sehr gut.
So könnten auch die ESP32 Module mit 4MB Flash Speicher noch weiterhin genutzt werden.

Wie siehst Du diese Lösung ?

[schlimmchen]

Danke für deine Hilfe bei der Exploration. Ich sehe nicht, wie ElegantOTA sich mit dem in OpenDTU-OnBattery eingestellten Netzwerk verbindet, ggf. eingestellte IP-Adressen einstellt, geschweige denn eine etwaige drahtgebundene Netzwerkschnittstelle initialisiert und nutzt. Ich vermute die Idee ist, sich mit dem Notebook oder Smartphone neben den ESP32 zu stellen und sich dann mit dem SoftAP zu verbinden. Das ist eine halbgare Lösung, mit der ich nicht zufrieden wäre. Entweder ganz OTA (auch die Kiste bei den Eltern 400km weit weg aktualisieren können) oder gar kein OTA. die Größe von 1MB für die Partition ist auch kein Gewinn gegen meine bereits praktisch abgeschätzten 960kB.

[TvT73]

Gibt es denn fertige (leistungsfähigere) alternativen zum Fusion Board?
Dummerweise ist mein Diamex Fertigmodul auch nur 4 MB, dachte damals nicht, dass ich doch auf die onBattery umsteigen muss. Auch wenn der Zendure HUB noch nicht so richtig bei den Statistik Meßwerten und insbesondere der lahmen Regelgeschwindigkeit als optimal in der aktuellen Version erweist und ich Tagsüber zur Bypass Regelung und Nachts den WR Neustart weiterhin manuell machen muss (Ich nutze den Powerlimiter noch nicht)

[markusdd]

Fusion ist bisher immer mit 8MB Flash und 2MB PSRAM bestückt gewesen.
Es wird jetzt auch eine 16MB Flash, 8MB PSRAM variante in den Verkauf gehen, die hat aber einschränkungen beim NRF24 wenn man den PSRAM nutzen will, weil da Pins geteilt werden müssen.

[schlimmchen]

dachte damals nicht, dass ich doch auf die onBattery umsteigen muss

Tut mir leid, dass du dich jetzt damit rumärgern musst 😞

[TvT73]

Alles gut, da kannst Du ja nichts für. Wenn mich etwas daran ärgert, dann ist sind es die Mondwerte der HMS-1800-4T wenn da ein Zendure Hub dran hängt. Da werden vollkommen falsche Werte gemessen. .Aber das passiert auch bei der Originalen DTU.
Ich habe auch einen Bug im OpenDTU gemeldet.
Ich brauche die OpenDTU on Battery bisher nur, damit ich später eine Nullregelung nutzen kann und um die Tageswerte Nachts zu nullen (Neustart)
Externe Geräte sind bestenfalls MQTT wenn ich den HUB darüber versuche einzubinden. Somit würde ich sagrn, dass die 8MB Version sicherlich länger als ein paar Monate genutzt werden kann?

[fellpower]

Hab auchn Fusion, aber außer sich den WR angucken kann man damit nicht machen. Wollte meine 2 Victron Laderegler anschließen und den Smartshunt, aber da haperts schon. Warum hat man die Pins nicht rausgeführt? Wird wieder ne Bastellösung ;)

Jetzt hab ichn S3 mit 8MB und einen mit 16MB bestellt - pah! Nu muss ich nur noch n PCB machen.

[LukasVFL99]

Läuft einwandfrei seit ein paar Wochen bei mir

[schlimmchen]

Warum hat man die Pins nicht rausgeführt?

@markusdd Vermutlich wäre es gut, wenn du auf dieses Missverständnis eingehst. Ich traue es mir gerade nicht zu ohne schnippisch zu werden 🙊 Vermutlich gibt es hier Verwirrung, weil die Pins nicht mit "GPIO..." beschriftet sind.

[markusdd]

naja was soll ich da antworten:
a) Das Fusion existiert schon bevor on Battery und Victrons anschließen je eine Sache war
b) genau dafür gibt es ja das CAN/Iso shield
c) Es sind genügend pins da, man kann auch ohne unsere shield dort treiben was man möchte, eine umfangreiche soku inklusive GPIO beschreibung gibts auch

:D

[schlimmchen]

@fellpower Schau mal die Doku an, die Markus erwähnt hat. Da sind reichlich frei zur Verfügung stehende Pins dran. Die sind zwar auf dem Board z.B. mit "SCL" beschriftet, aber sind nichts anderes als ein GPIO, z.B. "GPIO1". Da kriegst du auch locker 3x2 Pins dran für UART zu deinen VE.Direct Geräten.

[Tiese]

Hallo @schlimmchen,
die neue Version 2024.08.18 läuft leider nicht mit dem ESP32-DevKitC-VIE-Board. 😕
Erst hatte ich nur die Firmware OTA auf gespielt: keine Verbindung zum WR HM-400.
Dann habe ich den ESP32 komplett neu, mit dem Stand: development, geflasht: öffnet keine WLAN-Direktverbindung.
Alles wieder auf Version 2024.06.03 zurück: läuft wieder. 😀

[Tiese]

Vielen Dank für deine schnelle Antwort! 👍

Das ist meine Konfiguration: siehe oben
Deshalb habe ich diese BIN über OTA aufgespielt: opendtu-onbattery-generic_esp32_8mb.bin.
Ja, das PIN-Mapping habe ich hochgeladen und gespeichert.
Genau, der AccessPoint war nicht vorhanden!
Ich habe die Daten von development mit Visual Studio Code kompiliert und auch damit geflasht.
In der platformio.ini habe ich zuvor bei: default_envs = generic_esp32_8mb eingegeben.

[spcqike]

Du kannst nicht die 8MB Firmware über die 4mb Firmware per OTA installieren.

Du musst mit der 8Mb.factory per Kabel anfangen. Anschließend geht wieder 8Mb (ohne Factory) per OTA

[Tiese]

@spcqike
Das habe ich mir schon gedacht, deshalb habe ich ja mit VSC über Kabel den ESP32 neu bespielt.
VSC erstellt die Dateien: bootloader.bin, firmware.bin und partitions.bin (noch einige weitere) und beschreibt den ESP32 neu.
Der ESP32 zeigt doch auch die 8MB Flashspeichergröße unter Info/System richtig an.

[schlimmchen]

Ja, das PIN-Mapping habe ich hochgeladen und gespeichert.

Auch im Device Manager das konkrete Profil ausgewählt und mit Speichern bestätigt nachdem du die pin_mapping.json hochgeladen hast?

Hast du einmal die offizielle Firmware (keine selbstgebaute) per Kabel, z.B. über den community webflasher installiert?

Was sagt der NRF24 Status in System -> Info wenn die problematische Firmware installiert ist?

[Tiese]

Auch im Device Manager das konkrete Profil ausgewählt und mit Speichern bestätigt nachdem du die pin_mapping.json hochgeladen hast?

Das meinte ich mit gespeichert.

Hast du einmal die offizielle Firmware (keine selbstgebaute) per Kabel, z.B. über den community webflasher installiert?

Das habe ich noch nicht versucht.

Was sagt der NRF24 Status in System -> Info wenn die problematische Firmware installiert ist?

Das ist ja das komische...

Und in der Konsole wird ständig angezeigt...

Fetch inverter: 11219xxx
All missing
Nothing received, resend whole request

Das All... mehrfach hintereinander und zwischendurch dann wieder Fetch...

[Wahnsinicka]

Eine Bitte. Könnte jemand die pin_mapping für ein S3 zur verfügung stellen? Daran scheitere ich aktuell. (ESP32-S3-WROOM-1-N16R8) vielen Dank aus Rimini

[Wahnsinicka]

Als Neuling hab ich leider nicht rausgefunden wie ich das an meinen ESP anpasse. Gpio23 finde ich nicht. Welchen port könnte ich verwenden?

Danke!

[edddymax]

S.Thema Schaltplan für ESP32-S3 . Dort habe ich vor kurzem den Anschluss beschrieben.

[edddymax]

Im Fusion-Board ist ein ESP32-S3 verbaut. Dort sind auch die .json -Dateien .

[schlimmchen]

Ihr sollt, wenn ihr ein Board selbst zusammensteckt, die Peripherie so anschließen, wie ihr lustig seid, und dann eine passende pin_mapping.json erstellen und hochladen. Es gibt kein Schema. Wer ein "Schema" braucht, der kann eine existierende pin_mapping.json anschauen und die Peripherie so anschließen, wie es diese JSON vorgibt.

Eigentlich stehts auch so schon in der Doku, oder ist da etwas nicht verständlich?

[Forstgrund]

Ihr sollt, wenn ihr ein Board selbst zusammensteckt, die Peripherie so anschließen, wie ihr lustig seid, und dann eine passende pin_mapping.json erstellen und hochladen. Es gibt kein Schema. Wer ein "Schema" braucht, der kann eine existierende pin_mapping.json anschauen und die Peripherie so anschließen, wie es diese JSON vorgibt.

Eigentlich stehts auch so schon in der Doku, oder ist da etwas nicht verständlich?

Für Einsteiger ist das auch sehr unverständlich zu verstehen das man flexibel diese GPIO´s nutzen kann. Da will man nix falsch anschließen weils ja kaputt gehen könnte. Ich finde man sollte da mal ein Anfänger Tutorial verfaasen was sich mit den aktuelllen 8 oder 16MB ESP´s beschäftigt. Ich denke wenn diese anfängliche Hürde genommen ist, werden sehr viel mehr das hier nutzen

[Tiese]

@schlimmchen,

Jetzt läufts 🤩

Der Fehler lag an der platformio.ini...

... alte Werte ...

[env:generic_esp32_8mb]
board = esp32dev
build_flags = ${env.build_flags}

... neue Werte ...

[env:generic_esp32_8mb]
board = esp32dev
board_build.flash_mode = qio ; added by Tiese
board_build.partitions = partitions_custom_8mb.csv ; added by Tiese
board_upload.flash_size = 8MB ; added by Tiese
build_flags = ${env.build_flags}
    -DBOARD_HAS_PSRAM ; added by Tiese
    -mfix-esp32-psram-cache-issue ; added by Tiese

[schlimmchen]

Also board_build.partitions = partitions_custom_8mb.csv ; added by Tiese is definitiv redundant, weil das schon global festgelegt wird (mit der gleichen CSV als Wert). Die zusätzlichen Build Flags haben da nichts verloren (aus Sicht des allgemeingültigen Gesamtprojektes), weil nicht jeder ESP32 mit 8MB Flash auch PSRAM hat, oder noch allgemeiner, weil wir (noch) keine vorkompilierten Firmwares anbieten, die PSRAM unterstützen. Bleiben lediglich zwei Optionen, und die steuern wie vscode die Binary hochlädt. Oder anders gesagt: Die Firmware hätte sich mit esptool oder mit einem beliebigen anderen flasher schreiben lassen können und hätte wie erwartet funktioniert. Aus meiner Sicht ist nichts zu korrigieren in der platformio.ini.

Jedenfalls freut es mich, dass du dir helfen konntest und Rückmeldung gegeben hast, und dass es keinen Fehler in der Firmware gibt.

[Tiese]

Ich danke dir für deine gute Erklärung.
Der Eintrag: board_build.partitions = partitions_custom_8mb.csv ; added by Tiese stammt noch von der alten Version, da gab es noch keine 8MB Partition. Ich hatte aber schon den ESP32 mit 8MB und wollte mir diese in der Systeminfo auch anzeigen lassen. Ebenso mit dem PSRAM, auch wenn dieser noch nicht unterstützt wird.

Weil ich keinen Fehler in der Firmware vermutet hatte, habe ich mein Problem auch hier geschildert und kein Issue angelegt.

Ich danke dir jedenfalls für deine Geduld und wirklich gute und schnelle Hilfsbereitschaft! 👍

[the-lonely-one]

Hallo @schlimmchen,

ich habe mir nun auch ein ESP32-DevKitC-VIE-Board (8MB Flash) wie Tiese zugelegt und habe heute das aktuellste Firmware-Release 2024.09.11 (opendtu-onbattery-generic_esp32_8mb.factory.bin) per USB-Kabel und mit dem Espressif "flash_download_tool_3.9.7" auf den ESP32 geflasht!

Hierbei ist mir aufgefallen, das ich nach dem Flashvorgang und dem Neustart vom ESP auch keine WLAN-Direktverbindung aufbauen kann.

Das selbe Problem besteht auch mit dem Firmware-Release 2024.08.18 (opendtu-onbattery-generic_esp32_8mb.factory.bin).
Hier kann ich nach dem Flashvorgang und dem Neustart vom ESP auch keine WLAN-Direktverbindung aufbauen,
wie Tiese das am 24.08. 2024 ursprünglich beschrieben hat:

die neue Version 2024.08.18 läuft leider nicht mit dem ESP32-DevKitC-VIE-Board. 😕

Dann habe ich den ESP32 komplett neu, mit dem Stand: development, geflasht: öffnet keine WLAN-Direktverbindung.

Nehme ich aber das Firmware-Release 2024.06.03 (opendtu-onbattery-generic_esp32.factory.bin) funktioniert die WLAN-Direktverbindung wieder und ich kann mich auf der Weboberfläche von OpenDTU-OnBattery anmelden!
Das hat Tiese am 24.08. 2024 auch so beschrieben:

Alles wieder auf Version 2024.06.03 zurück: läuft wieder. 😀

Nun meine Frage:
Ist das noch ein Problem in der Firmware oder muss ich beim Flashvorgang zusätzlich etwas beachten?

Zur Info:
Alle 3 Firmware-Releases habe ich nach dem gleichen Schema per USB-Kabel und mit dem Espressif "flash_download_tool_3.9.7" auf den ESP32 geflasht!

[github-actions[bot]]

This discussion has been automatically locked since there has not been any recent activity after it was closed. Please open a new discussion for related concerns.