Hinter den Kulissen: Programmierung eines Python-Skripts für die Vorhersage des regelmäßigen Energiewetters mit der Meteomatics Weather API

Die Quantität, Qualität und Verfügbarkeit der Meteomatics-Wetterdaten ist ideal für Kunden im Energiesektor, von der Modellierung der Verbrauchernachfrage bis hin zur Vorhersage der Stromerzeugung aus erneuerbaren Energiequellen und vielem dazwischen.

Unsere Kunden reichen von Hive Power, die die langfristige Verfügbarkeit und Genauigkeit unserer Wetterdaten für ihre kurzfristigen Stromprognosen schätzen, bis hin zu Heimdall Power, die unsere massgeschneiderten Line-Rating-Lösungen nutzen, um ihr Ziel der Digitalisierung des Stromnetzes zu erreichen. Meteomatics beliefert mehr als 100 Kunden (BKW, EDF, ENEL, Axpo, Stadtwerke München, etc.) im Energiesektor mit hochpräzisen Wetterlösungen und hilft ihnen, ihren täglichen Betrieb zu verbessern.

Um zu demonstrieren, wie einfach es ist, Meteomatics-Daten für Ihre Prognosen zu nutzen, zeige ich in diesem Artikel, wie ich mit dem Python-Konnektor ein Skript erstellt habe, das eine energierelevante Prognose für die nächsten Wochen erstellt. Wir veröffentlichen nun alle zwei Wochen einen kurzen Bericht über die Ergebnisse dieses automatisierten Skripts, den Sie im News-Bereich unserer Homepage finden; alternativ können Sie sich bei Interesse über [email protected] an mich wenden, und ich sende Ihnen eine Kopie des Skripts, das eine Vorlage für die Anpassung einer einfachen Prognose an die für Sie interessanten Gebiete, Zeiträume und Variablen bietet! Ich bin auch gerne bereit, Ideen über mögliche Verbesserungen oder neue Ideen auszutauschen.

Was beeinflusst den Energiemarkt?

Von den zahlreichen Faktoren, die die Energiekosten beeinflussen, lassen sich die beiden wichtigsten - etwas grob - als "Angebot" und "Nachfrage" bezeichnen. Das Wetter hat einen grossen Einfluss auf diese beiden Faktoren. Auf der Nachfrageseite ändert sich das Verbraucherverhalten dramatisch, je nachdem, was draussen vor sich geht.

Wenn es in Strömen regnet, sitzen die Menschen eher drinnen vor dem Fernseher, und je kälter es wird, desto mehr muss man natürlich dafür sorgen, dass es in den Wohnungen und Büros gemütlich bleibt. Da die erneuerbaren Energien einen immer grösseren Anteil an der weltweiten Stromerzeugung haben, ist die Vorhersage des Gesamtdefizits, das durch abschaltbare Quellen ausgeglichen werden muss, von entscheidender Bedeutung, um das Netz im Gleichgewicht zu halten und die Lichter anzulassen.

Folglich sind zwei Wettervariablen von grosser Bedeutung für die kurzfristigen Aussichten des Energiehandels. Die erste davon ist die Temperatur, die sich auf die Nachfrage auswirkt. Tatsächlich sind Energiehändler nicht nur an der absoluten Temperatur selbst interessiert, sondern auch an der "Temperaturanomalie", d. h. daran, wie die Temperatur im Vergleich zum saisonalen Durchschnitt ist. Die Leute erwarten, dass es um Weihnachten herum frostig wird, aber ein plötzlicher Kälteeinbruch kann bedeuten, dass es sich viel kälter anfühlt und dementsprechend die Wärmenachfrage viel höher ist als im Durchschnitt für diese Jahreszeit.

Die zweite Variable, die wir in unserem vierzehntägigen Briefing behandeln, ist die Windgeschwindigkeit, denn von ihr hängt die Erzeugung von Windenergie ab. Eine weitere erneuerbare Energiequelle ist die Solarenergie, die wir jedoch aus zwei Gründen nicht vorhersagen wollen: Erstens hängt die Solarstromerzeugung bei Abwesenheit von Wolken fast ausschliesslich von der Anzahl der Tageslichtstunden ab, die - abgesehen von einer überraschenden Sonnenfinsternis - sehr gut vorhersehbar ist; zweitens sind Wolken im Gegensatz dazu extrem schwer vorherzusagen, insbesondere auf den Zeitskalen, die wir in unserem Bericht berücksichtigen.

Wir stellen Zeitreihen dieser Daten für grosse geografische Regionen zur Verfügung und geben so einen Überblick über die Schwankungen, auf die sich Energiehändler in den kommenden Wochen einstellen sollten. Hier gilt es, einen goldenen Mittelweg zu finden: Zu viele kleine Gebiete erschweren die Interpretation der dargestellten Informationen, aber ein grosser räumlicher Durchschnitt gilt kaum für ganz Europa. Unsere Lösung besteht darin, Zeitreihen bereitzustellen, die den Regionen entsprechen, die von mehreren grossen Gasmärkten abgedeckt werden, und diese Informationen durch eine animierte Karte von Temperatur und Druck¹ zu ergänzen, die einen Eindruck von den Veränderungen gegenüber den in den Zeitreihen dargestellten Durchschnittswerten auf einer lokaleren Ebene vermitteln.

Unser automatisiertes Skript liefert diese Ergebnisse für Europa. Wenn Sie daran interessiert sind, wie sie für Ihre Region aussehen, oder wenn Sie detailliertere Informationen wünschen, laden Sie eine Kopie² herunter und bearbeiten Sie die Konfiguration entsprechend.

Da die Ausgabe des Skripts eine Sammlung von Diagrammen ist, sind Einheitstests etwas schwierig zu implementieren. Wenn es bei Ihrer Konfiguration nicht funktioniert, wenden Sie sich bitte an [email protected] und wir werden sehen, was wir tun können, um Ihr Problem zu lösen und die Vorlage in Zukunft robuster zu machen. In der Zwischenzeit, um Ihnen das Debuggen und Anpassen der Vorlage zu erleichtern, ist der Code funktional geschrieben, wobei nur die wichtigsten Schritte im __main__ enthalten sind. Schauen wir uns einmal an, was diese Schritte sind und wie sie erreicht wurden:

Polygone und Geometrien

Die Meteomatics-API ermöglicht es den Benutzern, Zeitreihendaten für Punkte und für alle Punkte in einem regelmässigen Gitter abzurufen. Das ist fantastisch, aber leider ist die Geografie unser Feind, und die grosse Mehrheit der Länder ist nicht rechtwinklig. Wir können dies umgehen, indem wir die Polygonabfrage der API verwenden, die uns eine Zeitreihe einer bestimmten Aggregation (d. h. den Mittelwert) aller Daten innerhalb eines nicht quadratischen Gebiets liefert. Um dies zu nutzen, müssen wir jedoch zunächst unsere Polygone definieren.

In der API-Dokumentation erfahren Sie, dass Sie zur Definition eines Polygons eine Liste aller Koordinatenpaare angeben müssen, die die Grenze bilden (die jeweils durch eine gerade Linie verbunden werden). Das hört sich mühsam an, aber der Python-Konnektor kommt uns zu Hilfe! In meinem Skript zeige ich zwei einfache Möglichkeiten, um genaue Polygone zu erhalten.

Bei beiden Methoden wird das GeoPandas-Paket verwendet. Falls Sie damit noch nicht vertraut sind: es handelt sich um eine geografische Erweiterung des unglaublich beliebten Pandas-Pakets, das die Bearbeitung von beschrifteten Daten3 erleichtert. Der Hauptunterschied in GeoPandas besteht darin, dass zu jedem (Geo)DataFrame4 eine "Geometrie"-Spalte hinzugefügt wird, ohne die der GeoDataFrame ungültig ist. Sie können jeden DataFrame in einen GeoDataFrame verwandeln, indem Sie eine Geometriespalte hinzufügen, die aus Shapely-Objekten bestehen muss. Wenn Ihnen das alles entmutigend vorkommt, machen Sie sich keine Sorgen, es ist nicht besonders wichtig⁵. Wir brauchen GeoPandas in erster Linie, um den eingebauten Datensatz "naturalearth_lowres" zu nutzen - der Polygone für jedes Land der Welt bereitstellt - und auch um einige andere Geometrien einzulesen, die wir erstellen werden. Es ist jedoch erwähnenswert, dass Sie GeoPandas installieren müssen, um mein Skript auszuführen, und dass dies ein wenig mühsam sein kann. Ich empfehle, eine neue Umgebung zu erstellen, in der das Skript ausgeführt wird, und GeoPandas vor allen anderen Paketen zu installieren, da es manchmal zu Problemen mit Umgebungen kommen kann, wenn die Abhängigkeiten in einer anderen Reihenfolge installiert werden.

Die erste Methode ist die einfachste, hat aber einige Einschränkungen. In meinem Skript sehen Sie, dass das Argument "standard_countries" nur eine Liste von Ländernamen ist. Diese Länder können direkt in naturalearth_lowres nachgeschlagen werden. Wenn Sie also nur Polygone benötigen, die ganze Nationen repräsentieren, können Sie diese Liste einfach bearbeiten und zum nächsten Abschnitt übergehen!

Die zweite Methode ist etwas mühsamer, hat aber den praktischen Vorteil, dass Sie Ihre eigenen Geometrien definieren können, und ist immer noch viel einfacher, als die Koordinaten aller Ecken Ihres Polygons von Hand aufzulisten. Es nutzt GeoPandas 'read_file' Methode, die im Wesentlichen Pandas' 'read_csv' angepasst für GeoJSON Daten ist. Für den Fall, dass Sie kein GeoJSON für Ihr geplantes Polygon zur Hand haben, zeige ich Ihnen, wie ich meines erstellt habe:

Es gibt eine Vielzahl von Tools zum Zeichnen von Polygonen auf Karten. Ich habe ein vom Keene State College bereitgestelltes Tool verwendet, das die Koordinaten der Punkte, auf die Sie mit der rechten Maustaste auf der Karte klicken, sofort in einem kommagetrennten und einem JSON-Format registriert. Ein Beispiel dafür sehen Sie oben. Klicken Sie einfach weiter, bis Sie mit Ihrem Polygon zufrieden sind, klicken Sie auf "Form schliessen" im Bedienfeld auf der rechten Seite und fügen Sie die Daten im JSON-Format per Copy-Paste in eine Klartextdatei ein.

Fügen Sie vor dem Speichern den hervorgehobenen Text ein (unmittelbar nach der ersten geschweiften Klammer):

Speichern Sie nun Ihre Datei und geben Sie als Format .geojson an. Es kann sein, dass Ihr Computer dies nicht als anerkannten Dateityp registriert, aber das macht nichts - GeoPandas wird es ohne Probleme lesen. Wenn Sie keine Erfahrung mit dem Schreiben zusätzlicher Daten in GeoJSON-Dateien haben, müssen Sie Ihre manuellen Geometrien im Code benennen. Ich verwende dazu das Wörterbuch 'manual_geometries'.

Die zweite Methode ist nützlich, wenn Sie einmal ein Gebiet untersuchen müssen, das kleiner als ein Land⁶ ist, oder wenn ein Land, das Sie interessiert, so klein ist, dass naturalearth_lowres ihm nicht wirklich gerecht wird.

Bei grossen Ländern kann man mit der zweiten Methode zwar viel präzisere und schönere Polygone erstellen, aber ich war froh über die erste Methode, da die Kartierung einer Küstenlinie ewig dauern kann. Beide Methoden sind in der Funktion get_geometries implementiert, die ein zusätzliches Argument 'show' akzeptiert, mit dem man die resultierenden Polygone auf der Kartenprojektion seiner Wahl visualisieren kann, um zu überprüfen, ob sie korrekt eingelesen wurden.

In der Abbildung unten habe ich auch die Overlay-Funktion von GeoPandas verwendet, um die Überlappung zwischen meinem manuell gezeichneten Nordfrankreich-Polygon und dem groben Deutschland-Polygon, das automatisch aus dem eingebauten Datensatz ermittelt wurde, darzustellen.

Zeitreihendaten und Diagramme

Da wir nun Polygone haben, die den Geometrien entsprechen, für deren Wetterdaten wir uns interessieren, ist die Erstellung von Zeitreihen so einfach wie das Anfordern der Daten von der API und das Plotten des Ergebnisses.

Um Polygondaten von der API abrufen zu können, müssen die Koordinaten des Polygons auf eine bestimmte Weise formatiert werden: eine Liste von Koordinatenpaaren pro Polygon. Dies wird von meiner Funktion make_tuple_lists erledigt. Wenn eine Region von Interesse aus einem einzigen Polygon besteht, wickelt die Funktion die Liste der Koordinaten in eine andere Liste ein, da die Liste im Allgemeinen mehrere Polygone enthalten kann - dies ist der Fall für Italien, das die Inseln Sizilien und Sardinien umfasst. Eine Polygonabfrage kann nur eine gewisse Aggregation der Daten innerhalb des Polygons als Zeitreihe zurückgeben, was bedeutet, dass - selbst für Italien - immer nur eine einzige Zeitreihe zurückgegeben wird (wenn Sie dies vermeiden wollten, müssten Sie die einzelnen Inseln als separate manuelle Geometrien parsen). Sie werden feststellen, dass die Polygonanforderung getrennt vom Aufruf der Plotting-Funktion in __main__ erfolgt. Der Grund dafür ist, dass es wünschenswert ist, die Daten aller Polygone zu berücksichtigen, um globale Maxima und Minima für die Y-Achsen in den Diagrammen für einen einfachen Vergleich festzulegen. Die resultierenden Zeitreihenplots für zwei der Regionen, die ich in meinem Skript berücksichtige, sind unten dargestellt.

Die oberen Felder dieser Diagramme zeigen die Vorhersage für die nächsten 28 Tage zum Zeitpunkt der Erstellung dieses Dokuments neben dem klimatologischen Hintergrund auf derselben Skala. Die unteren Felder zeigen eine alternative Ansicht genau derselben Informationen: Durch Subtraktion des Hintergrunds von beiden Linien des oberen Feldes erhalten wir die Differenz zwischen den Daten und dem historischen Durchschnitt. Diese ist für den Hintergrund selbst eindeutig Null, und eine gepunktete Linie ist eingefügt, um die Abweichung der Vorhersage von der Klimatologie hervorzuheben. Perioden, in denen diese Differenz grösser als Null ist, können zu einer überdurchschnittlichen Nachfrage führen, und umgekehrt für Perioden, in denen die Differenz kleiner als Null ist.

Eine kurze Bemerkung zur Klimatologie: Verschiedene Disziplinen haben möglicherweise unterschiedliche Standards für die Dauer, die erforderlich ist, um ein genaues Durchschnittsbild zu erstellen. Ein genauer Mittelwert würde idealerweise so viele historische Daten wie möglich enthalten, doch gibt es dafür zwei Einschränkungen: Genaue Aufzeichnungen von Wetterdaten reichen für viele Regionen weltweit nicht viel weiter zurück als bis 1980; und die Auswirkungen des Klimawandels sowie sozioökonomische Daten, mit denen man vergleichen möchte⁷, könnten bedeuten, dass aktuellere Daten für die gestellten Fragen relevanter sind. Die Standardlänge des Hintergrundzeitraums in der Klimawissenschaft beträgt 30 Jahre, in der Stromprognose sind es normalerweise 15 Jahre (laut unseren Branchenexperten). Das Skript kann für einen dieser beiden Zeiträume oder für jeden anderen Zeitraum konfiguriert werden. Um die Laufzeit zu verkürzen (die lang sein kann, wenn ein langer Hintergrund gesucht wird), wird die Klimatologie nach Bedarf berechnet und in einer Datei gespeichert, aus der sie in Zukunft schneller gelesen werden kann. Die Benutzer sollten sich darüber im Klaren sein, dass eine aktuelle Klimatologie für eine genaue Anomalieberechnung wichtig ist, und dass die Klimatologie in regelmässigen Abständen - vorzugsweise einmal pro Jahr - neu erstellt werden sollte.

Kartendaten und Animation

Diese Zeitreihendiagramme sind nützlich, um klar und quantitativ zu zeigen, wie stark die Wetterfaktoren vom langfristigen Durchschnitt in unseren Vorhersagen abweichen werden. Sie haben jedoch den Nachteil, dass sie grosse geografische Gebiete auf einzelne Datenpunkte für jeden Zeitschritt reduzieren. Um eine Vorstellung davon zu bekommen, welche Schwankungen wir in unseren Polygonen sehen könnten und welche Wettersysteme für die Muster in den Zeitreihen verantwortlich sind, ist es von Interesse, die Wettersituation in Bildern zu betrachten, von denen eine Reihe animiert werden kann, um die Entwicklung der Situation im Laufe der Zeit zu sehen.

Mein Skript erstellt Animationen aus Bildern von Temperatur - dargestellt durch eine Farbskala - und Druck - dargestellt durch Konturen (auch Isobaren genannt). Im Gegensatz zu den Zeitreihenplots ist es nicht einfach, die dargestellten Variablen zu bearbeiten oder zu ergänzen, da im Allgemeinen verschiedene Darstellungen für verschiedene Daten optimal sind (Wind lässt sich beispielsweise am besten durch Pfeile oder Widerhaken darstellen; bei der Darstellung von Niederschlag müssen entweder die Konturen oder die Farbskala durch die Niederschlagsmenge ersetzt werden). Aus einem synoptischen Druckdiagramm lässt sich jedoch eine ganze Menge ableiten.

Das Skript erstellt Animationen, indem es gerasterte Zeitreihen von der Meteomatics API abruft, die der Einfachheit halber in einen Xarray-Datensatz8 konvertiert werden können. Je nach gewählter Kartenprojektion müssen die Breiten- und Längengrade, die mit den abgerufenen Daten verbunden sind, umgewandelt werden, damit das Ergebnis auf einer Karte dargestellt werden kann. Ich stelle dann jeden Zeitschritt separat dar, bevor ich Pillow aufrufe, um die Bilder in ein GIF zu konvertieren. Die einzelnen Bilder bleiben jedoch erhalten, so dass Sie sie in einem gemächlicheren Tempo durchgehen können, wenn Sie möchten.

Mögliche Verbesserungen

Unser vierzehntägiges Update ist eine Zusammenfassung der Wetterlage in Europa auf höchster Ebene. Ich hoffe, dass die Vorlage, die ich Ihnen zur Verfügung gestellt habe, hilfreich ist, aber je nach Ihren genauen Bedürfnissen müssen vielleicht viele Dinge geändert werden. Ich schliesse diesen Artikel mit einer kurzen Erörterung einiger der wichtigsten zu berücksichtigenden Faktoren.

Der Energiebedarf wird von sehr vielen Faktoren mehr oder weniger stark beeinflusst. Selbst der Wärmebedarf, der durch die von uns erstellte Temperaturzeitreihe angezeigt wird, ist in Wirklichkeit viel komplizierter. Unsere Zeitreihe ist ein Durchschnitt aller Punkte innerhalb eines bestimmten Polygons, der nicht unbedingt repräsentativ für die tatsächliche Verteilung der Bevölkerung ist. So lebt im Vereinigten Königreich etwa ein Zehntel der Bevölkerung im Grossraum London, während im schottischen Hochland vergleichsweise nur sehr wenige Menschen leben. Daher korreliert eine Durchschnittstemperatur für das gesamte Land - die wahrscheinlich durch die ausgedehnten und im Allgemeinen viel kühleren nördlichen Regionen erheblich beeinflusst wird - möglicherweise nicht perfekt mit der Temperatur in London und anderen städtischen Zentren, aus denen ein Grossteil der Nachfrage stammen könnte. Eine grobe Lösung für dieses Problem wäre eine weitere Unterteilung des Vereinigten Königreichs in kleinere Regionen, die diese städtischen Gebiete enthalten; eine mathematisch rigorosere Technik könnte die Beschaffung räumlicher Daten (z. B. aus einer Rasterzeitreihenanfrage) und die Gewichtung nach der Bevölkerungsdichte beinhalten.

Neben der ungleichmässigen Verteilung der Bevölkerung wirken sich auch Faktoren wie die Qualität der Isolierung, der lokale Wohlstand/die Brennstoffarmut und der Wochentag auf die Reaktion der Nachfrage auf die Temperatur aus. Es stimmt auch, dass die Temperaturanomalie nicht unbedingt der beste Indikator dafür ist, wie die Menschen auf die Temperatur reagieren werden. National Grid ist beispielsweise zu dem Schluss gekommen, dass die Menschen ihre Heizung eher aufdrehen, wenn es heute viel kälter ist als gestern, und versucht, dies in ihrer Berechnung der "effektiven Temperatur" zu berücksichtigen.

Die Heizung ist auch nicht die einzige Überlegung bei der Modellierung der Nachfrage. Obwohl in Nordeuropa weniger verbreitet, bedeuten warme Temperaturen in vielen Teilen der Welt auch eine erhebliche Veränderung des Energiebedarfs aufgrund von Klimaanlagen. Die Temperatur - wie auch viele andere Wetterfaktoren - kann sich auch auf viele Hilfsenergiekosten auswirken, abhängig von den Arbeits- und Freizeitaktivitäten der örtlichen Bevölkerung.

Ähnlich wie die Temperatur auf der Nachfrageseite lässt sich auch die Energieerzeugung durch Windkraftquellen im Allgemeinen viel besser modellieren, wenn man die Vorhersage für bestimmte Regionen mit Windparks berücksichtigt. Wenn Sie einen Windpark betreiben, kann unser Code mit ein paar spezifischen Geometrien leicht für Ihre Zwecke angepasst werden. Sie könnten auch daran interessiert sein, die in der Windvorhersage verwendete Wettervariable zu ändern. In unserem Bericht ist die Windgeschwindigkeit von 90m enthalten, da dies die durchschnittliche Nabenhöhe einer Onshore-Windkraftanlage ist. Für Offshore-Anlagen kann eine andere Höhe bevorzugt werden. Für viele Standard-Wetterparameter - zu denen auch der Wind gehört - ermöglicht die Meteomatics-API den Abruf von Daten aus einem kontinuierlichen Bereich von interpolierten Höhen, so dass Sie unabhängig von Ihrer Nabenhöhe genaue Daten erhalten können!

Obwohl im Allgemeinen eine höhere Windgeschwindigkeit eine höhere Leistung der Turbinen bedeutet, ist diese Beziehung nicht linear. Stattdessen müssen die Ergebnisse einer Windabfrage durch eine "Leistungskurve" gejagt werden, um die Leistung zu erhalten, im Wesentlichen um die Tatsache zu modellieren, dass sehr niedrige Windgeschwindigkeiten eine Turbine nicht effizient drehen; dass der Spitzenwirkungsgrad bei etwa 15 ms-1 erreicht wird; und dass die Turbine bei gefährlich hohen Geschwindigkeiten abgeschaltet werden muss und daher nichts produziert.

Darüber hinaus sind sich die Betreiber von Windparks bewusst, dass andere Strömungseffekte, wie z. B. Blockade- und Nachlaufeffekte, bei der Betrachtung von Turbinengruppen in unmittelbarer Nähe von Bedeutung sind. Glücklicherweise skaliert Meteomatics alle API-Daten auf eine horizontale Auflösung von 60m herunter, was bedeutet, dass wir immer noch eine ideale Datenquelle für die hochauflösende Modellierung solcher Effekte sind.

Diese Vorschläge decken nur die Variablen ab, die wir in unsere Aktualisierung aufnehmen. Wenn Sie diese Vorlage verwenden, um andere Daten zu untersuchen - sei es für Energieprognosen oder für andere Zwecke - sind natürlich andere Annahmen und Korrekturen erforderlich. Wichtig ist, dass Meteomatics die Wetterdaten liefert, die Sie benötigen, um Ihre Ziele zu verwirklichen, und dass unser Team Ihnen gerne mit massgeschneiderten Lösungen für Ihre Probleme zur Seite steht. Setzen Sie sich noch heute mit uns in Verbindung, um herauszufinden, wie Sie die Möglichkeiten der weltweit leistungsfähigsten Wetter-API nutzen können!