<html><head><meta name="color-scheme" content="light dark"></head><body><pre style="word-wrap: break-word; white-space: pre-wrap;">\subsection{Performance des Modells}
\label{performance}
    
 Im Rahmen dieser Arbeit wird die Prognosegüte mit dem Begriff der Modellperformance gleichgesetzt. Weitere Kriterien, die bei einer Implementierung in der Praxis eine Rolle spielen könnten, wie der Bedarf eines Modells an Rechen- oder Speicherkapazität, sollen hier nicht explizit berücksichtigt werden.
    
    Von besonderer Relevanz ist es, die Performance verschiedener Prognosemodelle in Relation zu bewerten \parencite[\acs{vgl}][2]{Makridakis2018}, wie es beispielsweise \textcite{Ahmed2010} und \textcite{Makridakis2018} demonstrieren. In diesem Abschnitt werden nachfolgend die, für eine relative Bewertung zusätzlich herangezogenen, Modelle sowie die Bewertungskriterien vorgestellt und im Anschluss die Ergebnisse präsentiert.

    \subsubsection{Vergleichsmodelle}
    \label{vergleichsmodelle}       
            Als \textit{naive Prognosemethoden} können alle univariaten Ansätze bezeichnet werden, die eine vergleichsweise einfache Funktion zur Prognose verwenden, wie einen linearen Trend \parencite[\acs{vgl}][116]{Chatfield2019}, die direkte Extrapolation oder einen Mittelwert der letzten Beobachtungswerte \parencite[\acs{vgl}][172]{Brownlee2018}. Für eine erste Einschätzung hinsichtlich der Performance komplexerer Modelle empfiehlt sich der Vergleich mit mindestens einer naiven Methode \parencite[\acs{vgl}][172]{Brownlee2018}, wie sie beispielsweise auch in der \textit{M4-Competition} \parencite[\acs{vgl}][]{Makridakis2018a} als Benchmark angeführt wird.
            
            Hier werden die folgenden naiven Methoden herangezogen, zwecks Unterscheidbarkeit benannt und mittels der Klasse \verb+NaiveForecaster+ in \textit{sktime} implementiert:
            
            \begin{itemize}
            
                \item Bei der Methode \textbf{Naive Last} wird der letzte Beobachtungswert in den Prognosehorizont extrapoliert\footnote{Diese Vorgehensweise basiert auf dem Random-Walk-Modell \parencite[\acs{vgl}][47]{Chatfield2019}.}.
                
                \item Die Methode \textbf{Naive Seasonal} generiert den Prognosewert durch den letzten Beobachtungswert des selben Saisonzeitpunktes \parencite[\acs{vgl}][]{Hyndman2018}. Beispielsweise wird als Prognosewert für den Januar 2019, der Beobachtungswert aus dem Januar 2018 festgelegt.
                
                \item Nach der Methode \textbf{Naive Rolling Mean} wird der gleitende Mittelwert der letzten $n$ Beobachtungswerte in den Prognosehorizont extrapoliert. Hier wird $n$ auf 12 festgelegt, da dies einer saisonalen Periode entspricht.

         \end{itemize}

    \subsubsection{Bewertungskriterien}
    \label{fehlermaße}
        
        Um die Performance der verglichenen Prognosemodelle zu quantifizieren, wird das gängige Fehlermaß \ac{smape} herangezogen und nachfolgend erläutert. Die dabei verwendeten Symbole sind: 
        
        \begin{itemize}
            \item $y$: Beobachtungswerte,
            \item $\hat{y}$: Prognosewerte,
            \item $n$: Anzahl an Samples,
            \item $T$: letzter Zeitpunkt der betrachteten Zeitreihe,
            \item $y_{naiv}$: Prognosewerte einer naiven Prognose.
        \end{itemize}
    
        \subsubsection{Ungleichheitskoeffizient von Theil}
        \label{tuk}
            
         
            Der \ac{smape} errechnet sich wie folgt \parencite[\acs{vgl}][5]{Makridakis2018}:
            
            \begin{equation*}
                sMAPE = \frac{2}{n}\sum_{i=1}^{T}\left\lvert \frac{\hat{y}_t - y_t}{(\hat{y}_t + y_t)} \right\lvert
            \end{equation*}
            %  
            und wird in der Literatur zur Prognose von Zeitreihen immer wieder herangezogen, insbesondere zum Vergleich der Performance verschiedener Modelle. Als Beispiele können \textcite{Makridakis2000}, \textcite{Ahmed2010} und \textcite{Makridakis2018} genannt werden.
        
    \subsubsection{Ergebnisse}
    \label{sec:ergebnisse}
    
        Um eine Auswertung in Hinblick auf die Performance vornehmen zu können, werden die beschriebenen Vergleichsmodelle anhand der Restkomponente der Zielgröße (\acs{vgl} \acs{abschn} \ref{ordnerstruktur}) gebildet. Anschließend werden die mittels \acs{wfv} (\acs{vgl} \acs{abschn} \ref{lokal_schreiben}) generierten Prognosewerte mit der Saison- und Trendkomponente beaufschlagt, um Vergleichbarkeit zu gewährleisten. Die sich ergebenden Prognosen sind in Anhang \ref{softwarearchitektur} zu finden. Die quantitative Bewertung der Performance ist in \acs{tab.} \ref{tab_results} abzulesen.
        
        \begin{table}[ht]
            \centering
            \renewcommand{\arraystretch}{1.4}
            \caption{Relative quantitative Auswertung der Modellperformance.}
            \vspace*{4mm}
            \begin{tabular}{lcc}
                \toprule
                Modell &amp; sMAPE [\%] \\
                \midrule
                ML Multiv. &amp; 31.55 \\ 
                Naive Seas. &amp; 33.29 \\ 
                Naive Roll. Mean &amp; 34.27 \\
                Naive Last &amp; 42.61 \\
                \bottomrule
            \end{tabular}
            \label{tab_results}
        \end{table}</pre></body></html>