Der Kolmogorov-Zurbenko Filter wurde zuerst von AN Kolmogorov vorgeschlagen und offiziell von Zurbenko definiert. Es ist eine Reihe von Iterationen eines Filters mit gleitendem Mittelwert der Länge m, wobei m eine positive, ungerade ganze Zahl ist. Die KZ-Filter gehört zur Klasse der Tiefpassfilter. KZ-Filter hat zwei Parameter, die Länge m des gleitenden Durchschnitts-Fenster und die Anzahl der Iterationen k des gleitenden Durchschnitts sich. Es kann auch als eine besondere Fensterfunktion entwickelt, um spektrale Leckagen beseitigt betrachtet werden.

Hintergrund

AN Kolmogorov hatte die ursprüngliche Idee für die KZ-Filter während einer Untersuchung von Turbulenzen in den Pazifischen Ozean. Kolmogorov hatte gerade erhielt die Internationale Balzan-Preis für sein Gesetz von 5/3 in der Energiespektren der Turbulenz. Überraschenderweise ist die 5/3 Gesetz wurde nicht in den Pazifischen Ozean eingehalten, was zu großer Sorge. Standard Fast Fourier Transform wurde komplett von der lärmenden und nicht-stationären Ozeanumgebung zum Narren gehalten. KZ Filtration das Problem gelöst und aktiviert Nachweis der Kolmogorov-Gesetz in dieser Domäne. Filterkonstruktion verließ sich auf die wichtigsten Konzepte der kontinuierlichen Fourier-Transformation und ihre diskreten Analoga. Der Algorithmus der KZ-Filter kam aus der Definition des übergeordneten Derivate für diskrete Funktionen höherer Ordnung Unterschiede. Im Glauben, dass unendlich Glätte in der Gaußschen Fenster war eine schöne, aber unrealistisch Annäherung eines wirklich diskreten Welt, wählte Kolmogorov ein endlich differenzierbare verjüngende Fenster mit begrenzter Unterstützung und stellte diese mathematische Konstruktion für den diskreten Fall. Die KZ-Filter ist robust und nahezu optimal. Da ihr Betrieb ist ein einfacher Gleitender Durchschnitt führt der KZ-Filter auch in einer fehlenden Daten Umwelt, vor allem in mehrdimensionalen Zeitreihen, wo fehlenden Daten Problem ergibt sich aus räumlichen Kargheit. Ein weiteres nettes Feature des KZ-Filter ist, dass die beiden Parameter haben klare Interpretation, so dass sie leicht von Fachleuten in verschiedenen Bereichen eingesetzt werden. Einige Softwarepakete für die Zeitreihe, Längs- und räumlichen Daten haben im beliebten Statistiksoftware R entwickelt, die die Verwendung des KZ Filter und seine Erweiterungen in den verschiedenen Bereichen zu ermöglichen.

Definition

KZ Filter

Sei eine reelle Zeitreihen, die KZ-Filter mit Parametern und ist definiert als

wobei die Koeffizienten

 werden durch die Polynom-Koeffizienten aus Gleichung gegebenen

Von einem anderen Standpunkt aus kann das KZ Filter mit Parametern und der Zeit Iterationen eines Filters mit gleitendem Mittelwert von Punkten definiert werden. Es kann durch Iterationen erreicht werden.

Erste Iteration ist es, ein MA-Filter über Prozess gelten

Die zweite Iteration ist, die MA Operation auf das Ergebnis der ersten Iteration angewendet,

Allgemein die k-te Iteration ist eine Anwendung des MA-Filters auf das ten Iteration. Die Iteration eines einfachen Betrieb der MA ist sehr bequem rechnerisch.

Immobilien

Die Impulsantwortfunktion des Produkts der Filter ist die Faltung der Impulsantworten. Die Koeffizienten des KZ Filter Uhr, k
s, kann als Verteilung durch die Faltung der k einheitliche diskrete Verteilungen des Intervalls, wobei m eine ungerade ganze Zahl ist, erhalten zu interpretieren. Daher wird der Koeffizient Uhr k
s bildet eine sich verjüngende Fenster, das Finite-Unterstützung verfügt. Die KZ-Filter am, k
s hat Hauptgewichts konzentriert auf einer Länge von m mit Gewichten verschwindenden außerhalb Null. Die Impulsantwortfunktion des KZ-Filter hat k - 2 stetige Ableitungen und asymptotisch Gauß-verteilt. Null Ableitungen an den Rändern der Impulsantwortfunktion zu machen daraus ein stark rückläufig Funktion, was in hohen Frequenzauflösung zu lösen. Die Energieübertragungsfunktion des KZ Filter

.

Es ist ein Tiefpassfilter mit einer Grenzfrequenz von.

Im Vergleich zu einem MA-Filter hat die KZ-Filter viel bessere Leistung in Bezug auf die Dämpfung der Frequenzanteile oberhalb der Grenzfrequenz. Die KZ-Filter ist im Wesentlichen eine sich wiederholende MA-Filter. Es ist leicht zu berechnen, und erlaubt eine gradlinige Weise, mit fehlenden Daten umzugehen. Das Hauptstück dieses Verfahrens ist ein einfacher Durchschnitt der verfügbaren Informationen innerhalb des Intervalls von m Punkten abgesehen von den fehlenden Beobachtungen innerhalb des Intervalls. Die gleiche Idee kann leicht an Datenanalyse erweitert werden. Es hat sich gezeigt, dass fehlende Werte haben wenig Wirkung auf die Übertragungsfunktion des Filters KZ.

Beliebige k wird k Macht dieser Übertragungsfunktion liefern und Nebenkeule Wert auf 0,05 zu reduzieren. Wird es ein perfektes Tiefpassfilter sein. Für praktische Zwecke eine Wahl von k in einem Bereich von 3 bis 5 ist in der Regel ausreichend, wenn reguläre MA stellt starke spektrale Leck von etwa 5%.

Optima

Die KZ-Filter ist robust und nahezu optimal. Da ihr Betrieb ist ein einfacher gleitender Durchschnitt, führt der KZ-Filter auch in einer fehlenden Datenumgebung, vor allem im mehrdimensionalen Raum und Zeit, wo fehlende Daten können Probleme, die aus räumlichen Kargheit verursachen. Ein weiteres nettes Feature des KZ-Filter ist, dass die beiden Parameter jeweils klare Interpretationen, so dass sie leicht von Fachleuten in verschiedenen Bereichen eingesetzt werden. Software-Implementierungen für Zeitreihen, Längs- und räumlichen Daten haben im beliebten Statistikpaket R, die den Einsatz des KZ Filter und seine Erweiterungen in den verschiedenen Bereichen zu erleichtern, entwickelt worden.

KZ Filter kann verwendet werden, um das Periodogramm glatt sein. Für eine Klasse von stochastischen Prozessen, als Zurbenko das Worst-Case-Szenario, in dem nur Informationen über einen Prozess erhältlich ist seine spektrale Dichte und Glätte durch Halter Bedingung quantifiziert. Er abgeleitet optimale Bandbreite der spektralen Fenster, das in Abhängigkeit von der darunterliegenden Glattheit der Spektraldichte ist. Zurbenko Vergleich der Leistung von Kolmogorov-Zurbenko Fenster zu den anderen in der Regel verwendet spektralen Fenstern einschließlich Bartlett Fenster Parzen-Fenster, Tukey-Hamming-Fenster und einheitliche Fenster und zeigte, dass das Ergebnis von KZ-Fenster am nächsten ist optimal.

Entwickelt als ein abstraktes diskreten Aufbau ist KZ Filtration solide und statistisch nahezu optimal. Zur gleichen Zeit, wegen seiner natürlichen Form, hat es rechnerische Vorteile und ermöglicht Analyse der Raum / Zeit Probleme mit Daten, die bis zu 90% der fehlenden Beobachtungen hat, und welche stellen eine chaotisch Kombination mehrerer unterschiedlicher physikalischer Phänomene. Klare Antworten können oft für "unlösbare" Probleme gefunden werden. Im Gegensatz zu einigen mathematischen Entwicklungen ist KZ von Spezialisten in verschiedenen Bereichen anpassungsfähig, weil es eine klare physikalische Interpretation hinter sich hat.

Erweiterungen

Erweiterungen der KZ-Filter gehören KZ adaptive Filter, räumliche KZ-Filter und KZ-Fourier-Transformation. Yang und Zurbenko eine detaillierte Überprüfung der KZ-Filter und seine Erweiterungen. R-Pakete sind ebenfalls verfügbar, um KZ Filtration zu implementieren.

KZFT

KZFT Filter-Design für eine Rekonstruktion von periodischen Signalen oder Saisonalität durch schwere Lärm abgedeckt. Saisonalität ist eine der wichtigsten Formen der Nichtstationarität, die oft in Zeitreihen zu sehen ist. Es wird normalerweise als der periodischen Komponenten in dem Zeitreihe definiert. Die Spektralanalyse ist ein leistungsfähiges Werkzeug, um Zeitreihen mit Saisonalität zu analysieren. Wenn ein Prozess stationär ist, ist das Spektrum ein kontinuierliches als auch. Es kann parametrisch zur Vereinfachung der Vorhersage behandelt werden. Wenn ein Spektrum enthält Linien, zeigt es an, dass der Prozess nicht stationär und enthält Periodizitäten. In dieser Situation, parametrische Pass führt in der Regel saisonal Residuen mit reduzierten Energien. Dies ist auf die Saison zu Saison Variationen. Um dieses Problem zu vermeiden, werden nichtparametrische Ansätze einschließlich Bandpassfilter zu empfehlen. Kolmogorov-Zurbenko Fourier-Transformation ist ein solcher Filter. Der Zweck der vielen Anwendungen ist es, hochauflösende Wavelet von der lauten Umgebung zu rekonstruieren. Es wurde bewiesen, dass KZFT bietet die bestmögliche Auflösung im Spektralbereich. Es erlaubt die Trennung der beiden Signale am Rande eines theoretisch kleinste Abstand, oder rekonstruieren periodische Signale durch schwere Lärm abgedeckt und unregelmäßig in der .because dies beobachtet, bietet KZFT eine einzigartige Gelegenheit für verschiedene Anwendungen. Ein Computeralgorithmus, um die KZFT Umsetzung wurde in der R software.The KZFT versehen worden ist im wesentlichen ein Bandpassfilter, die in die Kategorie der Kurzzeit-Fourier-Transformation mit einem eindeutigen Zeitfenster gehört.

Formal haben wir einen Prozess X, t = ..., - 1,0,1, ..., die KZFT Filter mit m und k bei der Frequenz ν0 berechnet wird, erzeugt ein Ausgangsverfahren, das wie folgt definiert ist:

wo am, k
am, k: s ist definiert als
s = Cm, k
s / m, s = k / 2, ..., - k / 2 und die Polynomkoeffizienten Cm, k
s wird durch & Sigma; k gegeben
r = 0zCk, m
r-k / 2 =. Anscheinend KZFT
m, k, ν0 Filter äquivalent zur Anwendung KZFT ist
m, k Filter zum Prozess Xe. Ähnlich kann die KZFT Filter durch Iterationen in der gleichen Weise wie KZ-Filters erhalten werden.

Der Mittelwert des Quadrats KZFT in der Zeit über S Zeiträume ρ0 = 1 / ν0 wird eine Schätzung des quadratischen Amplitude der Welle bei der Frequenz ν0 oder KZ Periodogramm basierend auf 2Sρ0 Beobachtungen rund Zeitpunkt t zur Verfügung stellen:

Übertragungsfunktion KZFT ist in 2 bereitgestellt hat eine sehr scharfe Frequenzauflösung mit einer Bandbreite von c / begrenzt. Für einen komplexwertigen Prozess X = e ist die KZFTm, k, ν0 Ergebnis unverändert. Eine reellwertige Prozesses verteilt sie Energie gleichmäßig auf die reelle und komplexe Domänen. Mit anderen Worten, rekonstruiert 2Re eine Kosinus- oder Sinuswelle mit derselben Frequenz ν0. Daraus folgt, dass 2Re die Amplitude und Phase eines unbekannten Welle mit der Frequenz ν0 korrekt rekonstruiert. Abbildung unten stellt Stromübertragungsfunktion KZFT Filtration. Es übersichtlich darzustellen, dass es perfekt eingefangen Frequenz von Interesse ν0 = 0,4 und bieten praktisch keine spektralen Leckage aus einem Nebenkeulen, die durch den Parameter k der Filtration steuern. Für praktische Zwecke Wahl von k im Bereich 3-5 ist in der Regel ausreichend, wenn regelmäßige FFT stellt starke Leckage von etwa 5%.

Beispiel: Simulierte Signal
sin 2πt + sin 2πt + normalen Zufallsrauschen N wurde verwendet, um die Fähigkeit der KZFT Algorithmus, genau zu bestimmen Spektren Datensätze mit fehlenden Werten zu testen. Aus praktischen Gründen wurde der Anteil der fehlenden Werte bei p = 70% verwendet, um zu bestimmen, ob das Spektrum konnte weiterhin die dominanten Frequenzen zu erfassen. Verwendung eines breiteren Fensterlänge von m = 600 und k = 3 Iterationen adaptiv geglättet KZP Algorithmus wurde verwendet, um das Spektrum für die simulierte Längs Datensatz zu bestimmen. Es ist offensichtlich, in Abbildung 3, dass die dominanten Frequenzen von 0,08 und 0,10 Zyklen pro Zeiteinheit identifizierbar als Eigenfrequenzen des Signals sind.

KZFT Rekonstruktion des ursprünglichen Signals im Hoch Lärm der Längs Beobachtungen Der KZFT Filter in der KZA Paket von R-Software integriert hat einen Parameter f = Frequenz. Durch Definition dieser Parameter für jede der bekannten dominanten Frequenzen in dem Spektrum festgestellt, KZFT Filter mit Parametern m = 300 und k = 3, um das Signal zu jeder Frequenz zu rekonstruieren. Das rekonstruierte Signal wurde durch Anwendung des KZFT Filter zweimal und dann das Summieren der Ergebnisse jeder Filter bestimmt. Die Korrelation zwischen dem wahren Signal und dem rekonstruierten Signal betrug 96,4%; in Abbildung 4 unten angezeigt. Die ursprünglichen Beobachtungen liefern keine Vermutung des Komplexes, versteckte Periodizität, die perfekt durch den Algorithmus rekonstruiert.

KZA

Adaptive Version von KZ-Filter, genannt KZ adaptive Filter wurde für eine Suche von Pausen in nichtparametrischen Signale, die durch schwere Lärm .. Die KZA Filter identifiziert erste Potential Zeitintervallen, wenn ein Bruch auftritt abgedeckt entwickelt. Er untersucht dann diese Zeitintervalle genauer durch die Reduzierung der Fenstergröße, so dass die Auflösung der geglättete Ergebnis steigt.

Als ein Beispiel der Haltepunkt-Erkennung, simulieren wir einen langfristigen Trend, die eine Pause in Saisonalität und Rauschen begraben. Figur 2 ist eine graphische Darstellung einer saisonalen Sinuswelle mit einer Amplitude von 1 Einheit, normalverteilten Rauschen und ein Basissignal mit einer Pause. Um die Dinge schwieriger zu machen, das Basissignal enthält einen allgemeinen Abwärtstrend von 1 Einheit und eine nach oben gerichtete Pause von 0,5 Einheiten. Der Abwärtstrend und Pause sind in den Originaldaten kaum sichtbar. Das Basissignal ist ein Schritt Funktion y = -1 / 7300t + sin, mit t & lt; 3452 und y = -1 / 7300 + sin mit 3452 & lt; t & lt; 7300. Die Anwendung eines Tiefpassfilters geglättet KZ3,365 zu den ursprünglichen Daten zu einer über Glättung der Pause, wie in Figur 6. Die Lage der Bruch dargestellt ist nicht mehr offensichtlich. Die Anwendung einer adaptiven Version des KZ-Filter findet die Pause wie in 5b gezeigt. Der Aufbau der KZA wird auf einem adaptiven Version der iterierten Glättungsfilter KZ basiert. Die Idee ist, die Größe des Filterfensters entsprechend dem Trend mit KZ gefunden ändern. Hierdurch wird der Filter zu veranlassen, in den Bereichen, wo die Daten sich ändern vergrößern; desto schneller die Änderung wird die engere der Zoom können. Der erste Schritt bei der Konstruktion KZA ist KZ verwenden; KZq, k wobei k Iterationen und q die Filterlänge, wobei KZq, k eine iterierte gleitenden Durchschnitt yi = 1 / & Sgr; Q
j = j + -qXi wobei xi sind die Originaldaten und yi sind die gefilterten Daten. Dieses Ergebnis wird verwendet, um eine adaptive Version des Filters aufzubauen. Der Filter besteht aus einem Kopf und Schwanz jeweils mit f = Kopf und b = Schwanz), die in der Größe anpassen, in Reaktion auf die Daten besteht, effektiv Zoomen auf Regionen, in denen die Daten verändern sich rasch. Der Kopf qf schrumpft als Reaktion auf den Bruch in den Daten. Der Differenzvektor aus KZ errichtet; D = | Z - Z | wird verwendet, um die diskrete Äquivalent des Derivats D '= D zu finden - D. Dieses Ergebnis legt die Größe des Kopfes und den Schwanz des Filterfenster. Wenn die Steigung positiv ist der Kopf wird schrumpfen und der Schwanz wird in voller Größe zu erweitern (D '& gt; 0, dann = qf f (D) q und qb = q) mit f (D) = 1 - D / max. Wenn die Steigung negativ ist der Kopf des Fensters wird in voller Größe, während der Schwanz wird schrumpfen (D '& lt; 0, dann = qf q und qb = f (D) q Detaillierte Code der KZA steht in den Referenzen..

Die KZA Algorithmus hat alle typischen Vorteile eines nichtparametrischen Ansatz; es keine spezifische Modell der Zeitreihe in Untersuchung erfordern. Es sucht nach plötzlichen Änderungen über einen Niederfrequenzsignal jeglicher Art über Schwer Lärm abgedeckt. KZA zeigt sehr hohe Empfindlichkeit für die Brucherkennung, auch bei sehr niedrigen Signal-Rausch-Verhältnis; die Genauigkeit der Erfassung der Zeit der Unterbrechung ist auch sehr hoch.

Die KZA-Algorithmus angewendet werden, um laut zweidimensionale Bilder wiederherzustellen. Dies könnte ein Zwei-Ebenen-Funktion f als Schwarz-Weiß-Bild von einer starken Lärm, oder einem mehrstufigen Farbbild beschädigt. KZA kann angewendet werden, Zeile für Zeile, um die Pause, dann die Bruchstellen an verschiedenen Linien würden durch die regelmäßigen KZ-Filter geglättet werden zu erkennen. Demonstration der räumlichen KZA ist in 7 bereitgestellt.

Bestimmungen der scharfen Frequenzlinien in den Spektren kann bestimmen, indem adaptiv geglättet Periodogramm. Die zentrale Idee des Algorithmus adaptiv Glättung der Logarithmus einer KZ Periodogramm. Die Palette der Glättung wird von einigen festen Prozentsatz bedingte Entropie von Gesamtentropie vorgesehen. Grob gesagt, arbeitet der Algorithmus gleichmäßig auf einem Informations Maßstab statt einer Frequenzskala. Dieser Algorithmus ist auch für die Parameter k = 1 in KZP als Dirienzo-Zurbenko Algorithmus bekannt und in der Software zur Verfügung gestellt.

Räumliche KZ Filter

KZ räumlichen Filters auf die Variable in Raum und Zeit aufgezeichnet angewendet werden. Parameter des Filters kann separat in Raum und Zeit gewählt werden. In der Regel können physischen Sinne angewendet werden, welche Skala von Mittelung ist sinnvoll im Raum und in welchem ​​Umfang der Mittelwertbildung sinnvoll ist in der Zeit. Parameter k Steuerung Schärfe der Auflösung des Filters oder Unterdrückung von Leck von Frequenzen. Ein Algorithmus zur räumlichen KZ-Filter gibt es in R-Software. Ergebnis Zeitparameter können als virtuelle Zeit behandelt werden, dann Bilder der Ergebnisse der Filterung in Raum als "Film" in der virtuellen Zeit angezeigt werden. Wir können Anwendung von 3D-Raum KZ-Filter, um den Weltrekord der Temperatur T als Funktion der Zeit t, Längengrad und Breitengrad x y angewendet zu demonstrieren. Die globale Klimaschwankungen Komponente wählen Sie die Parameter 25 Monate zum Zeitpunkt t wurden 3 ° für die Längen- und Breitengrad für KZ Filtration ausgewählt. Parameter k wurden gleich 5 bis Resolutionen der Skalen unterzubringen gewählt. Einzelne Folie der Ausgang "Film" wird in Abbildung 8 vorgesehen. Standard durchschnittliche Cosinus-Quadrat Temperaturverteilung entlang niedrigen Breiten wurden abgezogen, um Schwankungen des Klimas in Zeit und Raum zu identifizieren.

Wir können Anomalien der Temperaturschwankungen von Cosinus-Quadratgesetz über Globus für 2007 Temperaturanomalien zu sehen sind in Abbildung Skala auf der rechten Seite der vorgesehenen über Globus angezeigt. Es zeigt sehr hohe positive Anomalie über Europa und Nordafrika, die sich über 100 Jahren, die sich waren. Diese Anomalien langsam verändern sich mit der Zeit in das Ergebnis "Film" des KZ Filtration wurden langsame Intensivierung der beobachteten Anomalien rechtzeitig erkannt. Verschiedene Skalen Fluktuationen wie El Niño Skala und andere werden auch durch räumliche KZ Filtration identifiziert werden. High Definition "Film" dieser Skalen sind in ganz Nordamerika zur Verfügung gestellt. Verschiedene Skalen können durch KZ Filtration für eine andere Variable und entsprechende multivariate Analyse können hohe Effizienz Ergebnisse zur Untersuchung Ergebnisvariable gegenüber anderen Kovariaten bereitzustellen ausgewählt werden.

Implementierungen

 R Implementierung von Brian Close und Igor Zurbenko
 KZ und KZA Java-Implementierung für die 1-dimensionale Arrays von Andreas Weiler und Michael Grossniklaus