Flytta genomsnittliga och exponentiella utjämningsmodeller Som ett första steg för att flytta bortom genomsnittliga modeller kan slumpmässiga gångmodeller, linjära trendmodeller, nonseasonala mönster och trender extrapoleras med hjälp av en rörlig genomsnitts - eller utjämningsmodell. Det grundläggande antagandet bakom medelvärdes - och utjämningsmodeller är att tidsserierna är lokalt stationära med ett långsamt varierande medelvärde. Därför tar vi ett rörligt (lokalt) medelvärde för att uppskatta det nuvarande värdet av medelvärdet och sedan använda det som prognosen för den närmaste framtiden. Detta kan betraktas som en kompromiss mellan medelmodellen och slumpmässig-walk-without-drift-modellen. Samma strategi kan användas för att uppskatta och extrapolera en lokal trend. Ett rörligt medelvärde kallas ofta en quotsmoothedquot-version av den ursprungliga serien, eftersom kortsiktig medelvärde har en effekt att utjämna stötarna i originalserien. Genom att justera graden av utjämning (bredden på glidande medelvärdet) kan vi hoppas att hitta någon form av optimal balans mellan prestandan hos medel och slumpmässiga gångmodeller. Den enklaste typen av medelvärdesmodell är. Enkelt (lika viktat) Flyttande medelvärde: Prognosen för värdet av Y vid tiden t1 som är gjord vid tiden t motsvarar det enkla genomsnittet av de senaste m-observationerna: (Här och på annat håll använder jag symbolen 8220Y-hat8221 för att stå för en prognos av tidsserie Y som gjordes så tidigt som möjligt enligt en given modell.) Detta medel är centrerat vid period-t (m1) 2, vilket innebär att uppskattningen av det lokala medelvärdet tenderar att ligga bakom den sanna värdet av det lokala medelvärdet med ca (m1) 2 perioder. Således säger vi att medelåldern för data i det enkla glidande medlet är (m1) 2 i förhållande till den period för vilken prognosen beräknas: det här är hur lång tid prognoserna tenderar att ligga bakom vändpunkter i data . Om du till exempel medger de senaste 5 värdena, kommer prognoserna att vara cirka 3 perioder sent för att svara på vändpunkter. Observera att om m1 är den enkla glidande genomsnittsmodellen (SMA) motsvarar den slumpmässiga gångmodellen (utan tillväxt). Om m är mycket stor (jämförbar med längden på uppskattningsperioden), motsvarar SMA-modellen den genomsnittliga modellen. Precis som med vilken parameter som helst av en prognosmodell, är det vanligt att justera värdet på k för att få den bästa kvotkvoten till data, dvs de minsta prognosfelen i genomsnitt. Här är ett exempel på en serie som verkar utgöra slumpmässiga fluktuationer runt ett långsamt varierande medelvärde. Först kan vi försöka passa den med en slumpmässig promenadmodell, vilket motsvarar ett enkelt glidande medelvärde på 1 term: Slumpmässig gångmodell svarar väldigt snabbt på förändringar i serien, men därmed väljer den mycket av kvotenhetskvoten i data (de slumpmässiga fluktuationerna) samt quotsignalquot (det lokala medelvärdet). Om vi istället försöker ett enkelt glidande medelvärde på 5 termer får vi en snyggare uppsättning prognoser: Det 5-åriga enkla glidande medlet ger betydligt mindre fel än den slumpmässiga promenadmodellen i det här fallet. Medelåldern för data i denna prognos är 3 ((51) 2), så att den tenderar att ligga bakom vändpunkter med cirka tre perioder. (Till exempel verkar en nedgång ha skett i period 21, men prognoserna vänder inte om till flera perioder senare.) Notera att de långsiktiga prognoserna från SMA-modellen är en horisontell rak linje, precis som i slumpmässig promenad modell. Således antar SMA-modellen att det inte finns någon trend i data. Men medan prognoserna från den slumpmässiga promenadmodellen helt enkelt motsvarar det senast observerade värdet är prognoserna från SMA-modellen lika med ett vägt genomsnitt av de senaste värdena. De konfidensbegränsningar som beräknas av Statgraphics för de långsiktiga prognoserna för det enkla glidande genomsnittet blir inte större eftersom prognostiseringshorisonten ökar. Det här är uppenbarligen inte korrekt Tyvärr finns det ingen underliggande statistisk teori som berättar hur förtroendeintervallen borde utvidgas för denna modell. Det är emellertid inte så svårt att beräkna empiriska uppskattningar av konfidensgränserna för prognosen för längre tid. Du kan till exempel skapa ett kalkylblad där SMA-modellen skulle användas för att prognostisera två steg framåt, 3 steg framåt etc. i det historiska dataprov. Därefter kan du beräkna felfunktionens avvikelser vid varje prognoshorisont och sedan konstruera konfidensintervaller för längre siktprognoser genom att lägga till och subtrahera multiplar med lämplig standardavvikelse. Om vi försöker ett 9-sikt enkelt glidande medelvärde får vi ännu smidigare prognoser och mer av en långsammare effekt: Medelåldern är nu 5 perioder (91) 2). Om vi tar ett 19-årigt glidande medel ökar medeltiden till 10: Observera att prognoserna nu försvinner nu bakom vändpunkter med cirka 10 perioder. Vilken mängd utjämning är bäst för denna serie Här är en tabell som jämför deras felstatistik, inklusive ett 3-årigt genomsnitt: Modell C, det 5-åriga glidande genomsnittet, ger det lägsta värdet av RMSE med en liten marginal över 3 term och medellång sikt, och deras andra statistik är nästan identiska. Så, bland modeller med mycket liknande felstatistik kan vi välja om vi föredrar lite mer lyhördhet eller lite mer jämnhet i prognoserna. (Return to top of page.) Browns Enkel exponentiell utjämning (exponentiellt viktad glidande medelvärde) Den enkla glidande medelmodellen beskriven ovan har den oönskade egenskapen som den behandlar de sista k-observationerna lika och fullständigt ignorerar alla föregående observationer. Intuitivt bör tidigare data diskonteras på ett mer gradvis sätt - till exempel bör den senaste observationen få lite mer vikt än 2: a senast, och den 2: a senaste bör få lite mer vikt än den 3: e senaste, och så vidare. Den enkla exponentiella utjämningens (SES) - modellen åstadkommer detta. Låt 945 beteckna en quotsmoothing constantquot (ett tal mellan 0 och 1). Ett sätt att skriva modellen är att definiera en serie L som representerar den nuvarande nivån (dvs lokal medelvärde) för serien som uppskattad från data fram till idag. Värdet på L vid tid t beräknas rekursivt från sitt eget tidigare värde så här: Således är det nuvarande utjämnade värdet en interpolation mellan det tidigare jämnda värdet och den aktuella observationen, där 945 styr närheten av det interpolerade värdet till det senaste observation. Prognosen för nästa period är helt enkelt det nuvarande utjämnade värdet: Likvärdigt kan vi uttrycka nästa prognos direkt i form av tidigare prognoser och tidigare observationer, i någon av följande ekvivalenta versioner. I den första versionen är prognosen en interpolation mellan föregående prognos och tidigare observation: I den andra versionen erhålls nästa prognos genom att justera föregående prognos i riktning mot det föregående felet med en bråkdel av 945. Är felet gjort vid tid t. I den tredje versionen är prognosen ett exponentiellt vägt (dvs. rabatterat) glidande medelvärde med rabattfaktor 1-945: Interpolationsversionen av prognosformeln är det enklaste att använda om du genomför modellen på ett kalkylblad: det passar in i en encell och innehåller cellreferenser som pekar på föregående prognos, föregående observation och cellen där värdet 945 lagras. Observera att om 945 1 motsvarar SES-modellen en slumpmässig gångmodell (utan tillväxt). Om 945 0 motsvarar SES-modellen den genomsnittliga modellen, förutsatt att det första släta värdet sätts lika med medelvärdet. (Återgå till början av sidan.) Medelåldern för data i prognosen för enkel exponentiell utjämning är 1 945 i förhållande till den period som prognosen beräknas för. (Detta är inte tänkt att vara uppenbart, men det kan enkelt visas genom att utvärdera en oändlig serie.) Den enkla, snabba genomsnittliga prognosen tenderar därför att ligga bakom vändpunkter med cirka 1 945 perioder. Till exempel, när 945 0,5 är fördröjningen 2 perioder när 945 0,2 är fördröjningen 5 perioder när 945 0,1 är fördröjningen 10 perioder, och så vidare. För en given genomsnittlig ålder (dvs mängden fördröjning) är prognosen för enkel exponentiell utjämning (SES) något överlägsen SMA-prognosen (Simple Moving Average) eftersom den lägger relativt större vikt vid den senaste observationen, dvs. det är något mer quotresponsivequot för förändringar som inträffade under det senaste förflutna. Exempelvis har en SMA-modell med 9 villkor och en SES-modell med 945 0,2 båda en genomsnittlig ålder på 5 för data i sina prognoser, men SES-modellen lägger mer vikt på de sista 3 värdena än SMA-modellen och vid Samtidigt gör det inte helt 8220forget8221 om värden som är mer än 9 perioder gamla, vilket visas i det här diagrammet. En annan viktig fördel med SES-modellen över SMA-modellen är att SES-modellen använder en utjämningsparameter som kontinuerligt varierar, så att den lätt kan optimeras genom att använda en kvotsolverquot-algoritm för att minimera medelkvadratfelet. Det optimala värdet på 945 i SES-modellen för denna serie visar sig vara 0,2961, som visas här: Medelåldern för data i denna prognos är 10,2961 3,4 perioder, vilket liknar det för ett 6-sikt enkelt glidande medelvärde. De långsiktiga prognoserna från SES-modellen är en horisontell rak linje. som i SMA-modellen och den slumpmässiga promenadmodellen utan tillväxt. Observera dock att de konfidensintervaller som beräknas av Statgraphics avviker nu på ett rimligt sätt, och att de är väsentligt smalare än konfidensintervallen för slumpmässig promenadmodell. SES-modellen förutsätter att serien är något mer förutsägbar än den slumpmässiga promenadmodellen. En SES-modell är egentligen ett speciellt fall av en ARIMA-modell. så ger den statistiska teorin om ARIMA-modeller en bra grund för beräkning av konfidensintervall för SES-modellen. I synnerhet är en SES-modell en ARIMA-modell med en icke-säsongsskillnad, en MA (1) term och ingen konstant term. annars känd som en quotARIMA (0,1,1) modell utan constantquot. MA (1) - koefficienten i ARIMA-modellen motsvarar kvantiteten 1-945 i SES-modellen. Om du till exempel passar en ARIMA (0,1,1) modell utan konstant till serien som analyseras här, visar den uppskattade MA (1) - koefficienten sig att vara 0.7029, vilket är nästan exakt en minus 0,2961. Det är möjligt att lägga till antagandet om en icke-noll konstant linjär trend till en SES-modell. För att göra detta, ange bara en ARIMA-modell med en icke-sekundär skillnad och en MA (1) term med en konstant, dvs en ARIMA (0,1,1) modell med konstant. De långsiktiga prognoserna kommer då att ha en trend som är lika med den genomsnittliga trenden som observerats under hela estimeringsperioden. Det går inte att göra detta i samband med säsongjustering, eftersom säsongsjusteringsalternativen är inaktiverade när modelltypen är inställd på ARIMA. Du kan emellertid lägga till en konstant långsiktig exponentiell trend till en enkel exponentiell utjämningsmodell (med eller utan säsongsjustering) genom att använda inflationsjusteringsalternativet i prognosproceduren. Den lämpliga quotinflationen (procentuell tillväxt) per period kan beräknas som lutningskoefficienten i en linjär trendmodell som är anpassad till data i samband med en naturlig logaritmtransformation, eller det kan baseras på annan oberoende information om långsiktiga tillväxtutsikter . (Återgå till början av sidan.) Browns Linear (ie double) Exponentiell utjämning SMA-modellerna och SES-modellerna antar att det inte finns någon trend av något slag i data (vilket vanligtvis är OK eller åtminstone inte för dåligt för 1- stegprognoser när data är relativt bullriga), och de kan modifieras för att införliva en konstant linjär trend som visas ovan. Vad sägs om kortsiktiga trender Om en serie visar en växande växthastighet eller ett konjunkturmönster som uppenbarar sig klart mot bruset, och om det finns behov av att prognostisera mer än en period framåt, kan uppskattningen av en lokal trend också vara en fråga. Den enkla exponentiella utjämningsmodellen kan generaliseras för att erhålla en linjär exponentiell utjämning (LES) - modell som beräknar lokala uppskattningar av både nivå och trend. Den enklaste tidsvarierande trendmodellen är Browns linjära exponentiell utjämningsmodell, som använder två olika slätmade serier som centreras vid olika tidpunkter. Prognosformeln baseras på en extrapolering av en linje genom de två centra. (En mer sofistikerad version av denna modell, Holt8217s, diskuteras nedan.) Den algebraiska formen av Brown8217s linjär exponentiell utjämningsmodell, som den enkla exponentiella utjämningsmodellen, kan uttryckas i ett antal olika men likvärdiga former. Den här kvotens kvotstandardkvot uttrycks vanligtvis enligt följande: Låt S beteckna den singeljämnade serien som erhållits genom att använda enkel exponentiell utjämning till serie Y. Dvs, värdet på S vid period t ges av: (Minns att, under enkel exponentiell utjämning, detta skulle vara prognosen för Y vid period t1.) Låt sedan Squot beteckna den dubbelsidiga serien erhållen genom att applicera enkel exponentiell utjämning (med samma 945) till serie S: Slutligen prognosen för Y tk. för vilken kgt1 som helst, ges av: Detta ger e 1 0 (det vill säga lura lite och låt den första prognosen motsvara den faktiska första observationen) och e 2 Y 2 8211 Y 1. varefter prognoser genereras med hjälp av ekvationen ovan. Detta ger samma monterade värden som formeln baserad på S och S om de senare startades med användning av S1S1Y1. Denna version av modellen används på nästa sida som illustrerar en kombination av exponentiell utjämning med säsongsjustering. Holt8217s linjär exponentiell utjämning Brown8217s LES-modell beräknar lokala uppskattningar av nivå och trend genom att utjämna de senaste uppgifterna, men det faktum att det gör det med en enda utjämningsparameter ställer in en begränsning av de datamönster som den kan passa: nivån och trenden får inte variera till oberoende priser. Holt8217s LES-modell adresserar problemet genom att inkludera två utjämningskonstanter, en för nivån och en för trenden. När som helst t, som i Brown8217s modell, finns det en uppskattning L t på lokal nivå och en uppskattning T t av den lokala trenden. Här rekryteras de rekursivt från värdet av Y observerat vid tid t och de tidigare uppskattningarna av nivån och trenden med två ekvationer som applicerar exponentiell utjämning till dem separat. Om den beräknade nivån och trenden vid tiden t-1 är L t82091 och T t-1. respektive prognosen för Y tshy som skulle ha gjorts vid tid t-1 är lika med L t-1 T t-1. När det verkliga värdet observeras beräknas den uppdaterade uppskattningen av nivån rekursivt genom interpolering mellan Y tshy och dess prognos L t-1 T t 1 med vikter av 945 och 1- 945. Förändringen i beräknad nivå, nämligen L t 8209 L t82091. kan tolkas som en bullrig mätning av trenden vid tiden t. Den uppdaterade uppskattningen av trenden beräknas sedan rekursivt genom interpolering mellan L t 8209 L t82091 och den tidigare uppskattningen av trenden T t-1. Användning av vikter av 946 och 1-946: Tolkningen av trendutjämningskonstanten 946 är analog med den för nivåutjämningskonstanten 945. Modeller med små värden av 946 förutsätter att trenden ändras endast mycket långsamt över tiden, medan modeller med större 946 antar att det förändras snabbare. En modell med en stor 946 tror att den avlägsna framtiden är väldigt osäker, eftersom fel i trendberäkning blir ganska viktiga vid prognoser mer än en period framåt. (Återgå till början av sidan.) Utjämningskonstanterna 945 och 946 kan beräknas på vanligt sätt genom att minimera medelkvadratfelet i de 1-stegs-prognoserna. När detta görs i Statgraphics visar uppskattningarna att vara 945 0.3048 och 946 0.008. Det mycket lilla värdet av 946 innebär att modellen antar mycket liten förändring i trenden från en period till nästa, så i grunden försöker denna modell att uppskatta en långsiktig trend. I analogi med begreppet medelålder för de data som används för att uppskatta den lokala nivån i serien, är medelåldern för de data som används för att uppskatta den lokala trenden proportionell mot 1 946, men inte exakt lika med den . I detta fall visar det sig att vara 10.006 125. Detta är ett mycket exakt nummer eftersom precisionen av uppskattningen av 946 är verkligen 3 decimaler, men den har samma generella storleksordning som provstorleken på 100, så denna modell är medeltal över ganska mycket historia för att beräkna trenden. Prognosplotten nedan visar att LES-modellen beräknar en något större lokal trend i slutet av serien än den ständiga trenden som beräknas i SEStrend-modellen. Det uppskattade värdet på 945 är också nästan identiskt med det som erhållits genom att montera SES-modellen med eller utan trend, så det är nästan samma modell. Nu ser dessa ut som rimliga prognoser för en modell som beräknas beräkna en lokal trend. Om du 8220eyeball8221 ser det här, ser det ut som om den lokala trenden har vänt sig nedåt i slutet av serien. Vad har hänt Parametrarna i denna modell har uppskattats genom att minimera det kvadrerade felet i 1-stegs-prognoser, inte längre prognoser, i vilket fall trenden gör inte en stor skillnad. Om allt du tittar på är 1 steg framåt, ser du inte den större bilden av trender över (säg) 10 eller 20 perioder. För att få denna modell mer i linje med vår ögonbolls extrapolering av data kan vi manuellt justera trendutjämningskonstanten så att den använder en kortare baslinje för trendberäkning. Om vi till exempel väljer att ställa in 946 0,1, är medelåldern för de data som används vid uppskattning av den lokala trenden 10 perioder, vilket innebär att vi medeltar trenden över de senaste 20 perioderna eller så. Here8217s vad prognosplottet ser ut om vi sätter 946 0,1 samtidigt som ni håller 945 0.3. Detta ser intuitivt rimligt ut för denna serie, men det är troligen farligt att extrapolera denna trend mer än 10 perioder i framtiden. Vad sägs om felstatistik Här är en modelljämförelse för de två modellerna ovan och tre SES-modeller. Det optimala värdet på 945. För SES-modellen är ungefär 0,3, men liknande resultat (med något mer eller mindre responsivitet) erhålls med 0,5 och 0,2. (A) Hål linjär exp. utjämning med alfa 0,3048 och beta 0,008 (B) Hål linjär exp. utjämning med alfa 0,3 och beta 0,1 (C) Enkel exponentiell utjämning med alfa 0,5 (D) Enkel exponentiell utjämning med alfa 0,3 (E) Enkel exponentiell utjämning med alfa 0,2 Deras statistik är nästan identisk, så vi kan verkligen göra valet på grundval av prognosfel i 1 steg före proverna. Vi måste falla tillbaka på andra överväganden. Om vi starkt tror att det är vettigt att basera den nuvarande trendberäkningen på vad som hänt under de senaste 20 perioderna eller så kan vi göra ett ärende för LES-modellen med 945 0,3 och 946 0,1. Om vi vill vara agnostiska om det finns en lokal trend, kan en av SES-modellerna vara enklare att förklara och skulle också ge fler mitten av vägtrafikprognoserna för de kommande 5 eller 10 perioderna. (Tillbaka till början av sidan.) Vilken typ av trend-extrapolation är bäst: Horisontell eller linjär. Empiriska bevis tyder på att om uppgifterna redan har justerats (om det behövs) för inflationen, kan det vara oskäligt att extrapolera kortsiktiga linjära trender mycket långt in i framtiden. Tendenser som uppenbaras idag kan sänkas i framtiden på grund av olika orsaker som produktförstörelse, ökad konkurrens och konjunkturnedgångar eller uppgångar i en bransch. Av denna anledning utför enkel exponentiell utjämning ofta bättre utom provet än vad som annars skulle kunna förväntas, trots sin kvotiv kvot horisontell trend extrapolering. Dämpade trendmodifieringar av den linjära exponentiella utjämningsmodellen används också i praktiken för att införa en konservatismedel i sina trendprognoser. Den demoniserade trenden LES-modellen kan implementeras som ett speciellt fall av en ARIMA-modell, i synnerhet en ARIMA-modell (1,1,2). Det är möjligt att beräkna konfidensintervaller kring långsiktiga prognoser som produceras av exponentiella utjämningsmodeller, genom att betrakta dem som speciella fall av ARIMA-modeller. (Var försiktig: inte alla mjukvaror beräknar konfidensintervall för dessa modeller korrekt.) Bredden på konfidensintervallet beror på (i) modellens RMS-fel, (ii) utjämningstypen (enkel eller linjär) (iii) värdet (er) av utjämningskonstanten (erna) och (iv) antalet perioder framåt du prognoserar. I allmänhet sprids intervallet snabbare, eftersom 945 blir större i SES-modellen och de sprider sig mycket snabbare när linjär snarare än enkel utjämning används. Detta ämne diskuteras vidare i avsnittet ARIMA-modeller i anteckningarna. (Återgå till början av sidan.) R - Prognoser Tillvägagångssätt för prognoser Redigera ARIMA (AutoRegresive Integrated Moving Average) ETS (Exponentiell utjämning tillståndsmodell) Vi diskuterar hur dessa metoder fungerar och hur de används. Prognospaketöversikt redigera Exponentiell utjämning redigera Namn AKA: exponentiellt viktat glidande medelvärde (EWMA) Ekvivalent med ARIMA (0,1,1) modell utan konstant term Används för jämn data för presentation gör prognoser enkelt glidande medelvärde: Tidigare observationer viktas lika exponentiella utjämning: tilldelar exponentiellt minskande vikter över tiden Formel xt - rå datasekvens st - utgång av exponentiell utjämningsalgoritm (uppskattning av nästa värde av x) - utjämningsfaktor. 0160lt160160lt1601.Choosing Right Inget formellt sätt att välja statistisk teknik kan användas för att optimera värdet av (t. ex. OLS), desto större blir det när det gäller naiv prognoser (samma portar som originalserier med en tidsfördröjning). Dubbel exponentiell utjämning redigera Enkel exponentiell utjämning gör det inte bra när det finns en trend (det kommer alltid att vara bias) Dubbel exponentiell utjämning är en grupp metoder som hanterar problemet Holt-Winters dubbel exponentiell utjämningsredigering Och för t gt 1 var är datautjämningsfaktorn. 0160lt160160lt1601, och är trendutjämningsfaktorn. 0160lt160160lt1601. Output F tm - en uppskattning av värdet av x vid tiden tm, mgt0 baserat på den råa data upp till tiden t Med hjälp av tre exponentiella utjämningsredigeringar beaktas säsongsförändringar samt trender som först föreslagits av Holts student Peter Winters, 1960 Input xt - Röda datasekvenser av observationer t 1601600 L Längd En cykel med säsongsmässig förändring Metoden beräknar: En trendlinje för de data säsongsindex som viktar värdena i trendlinjen baserat på var den tidpunkten faller i cykelns längd L. s t representerar det jämnda värdet av den konstanta delen för tiden t. bt representerar sekvensen av bästa uppskattningar av den linjära trenden som överlagras på säsongsförändringarna ct är sekvensen av säsongskorrigeringsfaktorer ct är den förväntade andelen av den förutsagda trenden när som helst t mod L i den cykel som observationerna tar på initiera säsongsindex c tL Det måste finnas minst en komplett cykel i data. Algoritmens output skrivs igen som F tm. en uppskattning av värdet av x vid tiden tm, mgt0 baserat på rådata upp till tiden t. Trippel exponentiell utjämning ges av formlerna där datautjämningsfaktorn är. 0160lt160160lt1601, är trendutjämningsfaktorn. 0160lt160160lt1601, och är säsongsförändringsutjämningsfaktorn. 0160lt160160lt1601. Den allmänna formeln för den ursprungliga trendberäkningen b 0 är: Ställa in de första uppskattningarna för säsongsindex c i för 1,2. L är lite mer involverad. Om N är antalet kompletta cykler som finns i dina data, så: Observera att A j är medelvärdet av x i j-t-cykeln för dina data. ETS-redigering Övergripande parametrar redigera 8.4 Flytta genomsnittsmodeller I stället för att använda tidigare värden för prognosvariabeln i en regression använder en rörlig genomsnittsmodell tidigare prognosfel i en regressionsliknande modell. y c et theta e theta e dots theta e, där et är vitt brus. Vi hänvisar till detta som en MA (q) modell. Naturligtvis observerar vi inte värdena på et, så det är inte riktigt regression i vanligt bemärkande. Observera att varje värde av yt kan betraktas som ett viktat glidande medelvärde av de senaste prognosfelen. Rörliga genomsnittsmodeller ska emellertid inte förväxlas med glidande medelutjämning som vi diskuterade i kapitel 6. En rörlig genomsnittsmodell används för att prognosera framtida värden medan den genomsnittliga utjämningen används för att uppskatta trendvärdet för tidigare värden. Figur 8.6: Två exempel på data från rörliga genomsnittsmodeller med olika parametrar. Vänster: MA (1) med y t 20e t 0.8e t-1. Höger: MA (2) med y t e t-e t-1 0.8e t-2. I båda fallen distribueras e t normalt vitt brus med medel noll och varians en. Figur 8.6 visar vissa data från en MA (1) modell och en MA (2) modell. Ändring av parametrarna theta1, prickar, thetaq resulterar i olika tidsseriemönster. Liksom med autoregressiva modeller ändrar variansen av felet termen enbart seriens skala, inte mönstren. Det är möjligt att skriva en stationär AR (p) modell som en MA (infty) modell. Genom att använda upprepad substitution kan vi visa detta för en AR (1) - modell: begin yt amp phy1y et amp phi1 (phi1y e) et amp phy12y phi1e et amp phy13y phi1e phi1e et amptext end Provmed -1 lt phi1 lt 1, värdet av phi1k blir mindre eftersom k blir större. Så småningom uppnår vi yt och phi1 phi12 e phi13 e cdots, en MA (infty) - process. Det omvända resultatet hålls om vi lägger några begränsningar på MA parametrarna. Då kallas MA-modellen inverterbar. Det vill säga att vi kan skriva någon inverterbar MA (q) process som en AR (infty) - process. Omvändbara modeller är inte bara för att vi ska kunna konvertera från MA-modeller till AR-modeller. De har också vissa matematiska egenskaper som gör dem enklare att använda i praktiken. Invertibilitetsbegränsningarna liknar stationaritetsbegränsningarna. För en MA (1) modell: -1lttheta1lt1. För en MA (2) modell: -1lttheta2lt1, theta2theta1 gt-1, theta1-teteta1 1. Mer komplicerade förhållanden håller för qge3. Återigen kommer R att ta hand om dessa begränsningar vid uppskattning av modellerna. Användning av R för tidsserieanalys Tidsserieanalys Detta häfte beskriver hur du använder den statistiska programvaran R för att utföra några enkla analyser som är vanliga vid analys av tidsseriedata. Detta häfte förutsätter att läsaren har viss grundläggande kunskaper om tidsserieanalys och huvudboken för häftet är inte att förklara tidsserieanalys utan snarare att förklara hur man utför dessa analyser med R. Om du är ny på tidsserier analys, och vill lära mig mer om några av de begrepp som presenteras här, rekommenderar jag starkt Open University-boken 8220Time series8221 (produktkod M24902), tillgänglig från Open University Shop. I det här häftet använder jag tidsseriedatasatser som Rob Hyndman vänligen gjort tillgängligt i sitt tidsseriedatabibliotek på robjhyndmanTSDL. Om du gillar det här häftet kan du också kolla in min broschyr på att använda R för biomedicinsk statistik, lite-book-of-r-for-biomedical-statistics. readthedocs. org. och min broschyr om att använda R för multivariat analys, little-book-of-r-for-multivariate-analysis. readthedocs. org. Läsningstidsseriedata Det första du vill göra för att analysera dina tidsseriedata kommer att vara att läsa in det i R och att plotta tidsserien. Du kan läsa data i R med funktionen scan (), vilket förutsätter att dina data för successiva tidpunkter ligger i en enkel textfil med en kolumn. Till exempel innehåller filen robjhyndmantsdldatamisckings. dat data om dödsåldern hos de på varandra följande kungarna i England, från och med William the Conqueror (originalkälla: Hipel och Mcleod, 1994). Datasatsen ser så här ut: Endast de första linjerna i filen har visats. De tre första raderna innehåller en del kommentarer på data, och vi vill ignorera detta när vi läser in data i R. Vi kan använda detta genom att använda 8220skip8221-parametern i funktionen scan (), som anger hur många rader överst på filen att ignorera. För att läsa filen i R, ignorerar de tre första raderna, skriver vi: I detta fall har dödsåldern på 42 på varandra följande kungar i England lästs in i variabeln 8216kings8217. När du har läst tidsseriedata till R, är nästa steg att lagra data i ett tidsserieobjekt i R, så att du kan använda R8217s många funktioner för att analysera tidsseriedata. För att lagra data i ett tidsseriensobjekt använder vi funktionen ts () i R. Till exempel, för att lagra data i variabeln 8216kings8217 som ett tidsserieobjekt i R, skriver vi: Ibland anger tidsseriedata som du har kanske samlats in med jämna mellanrum som var mindre än ett år, till exempel månadsvis eller kvartalsvis. I det här fallet kan du ange hur många gånger data samlades per år genom att använda parametern 8216frequency8217 i funktionen ts (). För månatliga tidsseriedata ställer du in frekvens12 medan du anger kvartalsvisa tidsseriedata, frequency4. Du kan också ange det första året som data samlades in och det första intervallet i det året genom att använda parametern 8216start8217 i funktionen ts (). Om till exempel den första datapunkten motsvarar andra kvartalet 1986 skulle du ställa in startc (1986,2). Ett exempel är en datamängd av antalet födelser per månad i New York City, från januari 1946 till december 1959 (ursprungligen samlad av Newton). Denna data är tillgänglig i filen robjhyndmantsdldatadatanybirths. dat Vi kan läsa in data i R, och lagra den som ett tidsserieobjekt, genom att skriva: På samma sätt innehåller filen robjhyndmantsdldatadatafancy. dat månadsförsäljning till en souvenirbutik på en strandortstad i Queensland, Australien, för januari 1987-december 1993 (ursprungliga data från Wheelwright och Hyndman, 1998). Vi kan läsa in data i R genom att skriva: Plotting Time Series När du har läst en tidsserie i R, är det vanligtvis nästa steg att göra en plot av tidsseriedata som du kan göra med funktionen plot. ts () i R. Till exempel, för att plotta tidsserierna för dödsåldern på 42 på varandra följande kungar i England skriver vi: Vi kan se från tidsplanen att denna tidsserie troligen kunde beskrivas med hjälp av en tillsatsmodell, eftersom de slumpmässiga fluktuationerna i data är ungefär konstant i storlek över tiden. På samma sätt, för att plotta tidsserien för antalet födelser per månad i New York City, skriver vi: Vi kan se från denna tidsserie att det verkar finnas säsongsvariationer i antalet födelser per månad: det är en topp varje sommar , och ett tråg varje vinter. Återigen verkar det som om denna tidsserie troligtvis skulle kunna beskrivas med hjälp av en tillsatsmodell, eftersom säsongsvariationerna är ungefär konstanta i storlek över tiden och verkar inte bero på tidssekvensens nivå och de slumpmässiga fluktuationerna verkar också vara ungefär konstant i storlek över tiden. På samma sätt, för att plotta tidsserierna för den månatliga försäljningen för souvenirbutiken vid en strandortsstad i Queensland, Australien, skriver vi: I detta fall verkar det som om en tillsatsmodell inte är lämplig för att beskriva denna tidsserie, eftersom storleken av säsongsvariationerna och slumpmässiga fluktuationer tycks öka med nivån på tidsserierna. Således kan vi behöva omvandla tidsserierna för att få en transformerad tidsserie som kan beskrivas med hjälp av en tillsatsmodell. Vi kan till exempel omvandla tidsserierna genom att beräkna den naturliga loggen för de ursprungliga data: Här kan vi se att storleken på säsongsvariationerna och slumpmässiga fluktuationer i de loggformade tidsserierna verkar vara ungefär konstanta över tiden och göra inte beroende av tidsserien. Således kan den log-transformerade tidsserien förmodligen beskrivas med användning av en tillsatsmodell. Decomposing Time Series Nedbrytning av en tidsserie innebär att den separeras i dess ingående komponenter, som vanligen är en trendkomponent och en oregelbunden komponent, och om det är en säsongsbetonad tidsserie, en säsongsbeständig komponent. Nedbrytning av icke-säsongsdata En tidsserier utan säsong består av en trendkomponent och en oregelbunden komponent. Nedbrytning av tidsserien innebär att man försöker skilja tidsserierna i dessa komponenter, det vill säga att uppskatta trendkomponenten och den oregelbundna komponenten. För att uppskatta trendkomponenten i en icke-säsongsbetonad tidsserie som kan beskrivas med hjälp av en additivmodell, är det vanligt att använda en utjämningsmetod, såsom att beräkna det enkla glidande mediet av tidsserierna. Funktionen SMA () i 8220TTR8221 R-paketet kan användas för att släta tidsseriedata med ett enkelt glidande medelvärde. För att kunna använda denna funktion måste vi först installera 8220TTR8221 R-paketet (för instruktioner om hur man installerar ett R-paket, se Så här installerar du ett R-paket). När du har installerat 8220TTR8221 R-paketet kan du ladda 8220TTR8221 R-paketet genom att skriva: Du kan då använda 8220SMA () 8221-funktionen för att släta tidsseriedata. För att använda SMA () - funktionen måste du ange ordningen (span) för det enkla glidande medlet, med parametern 8220n8221. Till exempel, för att beräkna ett enkelt glidande medelvärde av ordning 5, ställer vi n5 i SMA () - funktionen. Exempelvis, som diskuterad ovan, framgår tidsserierna för dödsåldern för 42 på varandra följande kungar i England, som inte är säsongsbetonade, och kan förmodligen beskrivas med hjälp av en tillsatsmodell, eftersom de slumpmässiga fluktuationerna i data är ungefär konstant i storlek över tid: Således kan vi försöka uppskatta trendkomponenten i denna tidsserie genom utjämning med ett enkelt glidande medelvärde. För att släta tidsserierna med hjälp av ett enkelt rörligt medelvärde av ordning 3, och rita data för glatt tidsserie, skriver vi: Det verkar fortfarande finnas ganska många slumpmässiga fluktuationer i tidsserierna släta med ett enkelt glidande medelvärde av order 3. Således, för att uppskatta trendkomponenten mer noggrant, kan vi kanske försöka utjämna data med ett enkelt glidande medelvärde av en högre order. Det tar lite försök och fel, för att hitta rätt mängd utjämning. Till exempel kan vi försöka använda ett enkelt glidande medelvärde av order 8: Datan jämnas med ett enkelt glidande medelvärde av order 8 ger en tydligare bild av trendkomponenten och vi kan se att Engelska kungens död verkar har minskat från ca 55 år till ca 38 år under regeringens första 20 kungar, och sedan ökat efter det till cirka 73 år vid slutet av regeringens 40-talets regeringstid i tidsserierna. Dekomponering av säsongsdata En säsongsbetonad tidsserie består av en trendkomponent, en säsongsbetonad komponent och en oregelbunden komponent. Nedbrytning av tidsserien innebär att tidsserierna separeras i dessa tre komponenter: det vill säga uppskattning av dessa tre komponenter. För att uppskatta trendkomponenten och säsongskomponenten i en säsongsbetonad tidsserie som kan beskrivas med hjälp av en additivmodell, kan vi använda funktionen 8220decompose () 8221 i R. Denna funktion uppskattar trend, säsong och oregelbundna komponenter i en tidsserie som kan beskrivas med hjälp av en tillsatsmodell. Funktionen 8220decompose () 8221 returnerar ett listobjekt som ett resultat där uppskattningarna av säsongskomponenten, trendkomponenten och den oregelbundna komponenten lagras i namngivna element i listobjekten, som kallas 8220seasonal8221, 8220trend8221 respektive 8220random8221. Exempelvis är tidsserierna för antalet födelser per månad i New York City säsongsmässigt med en topp varje sommar och genom varje vinter och kan förmodligen beskrivas med hjälp av en tillsatsmodell, eftersom säsongs - och slumpmässiga fluktuationer tycks vara vara ungefär konstant i storlek över tiden: För att uppskatta trend, säsongsmässiga och oregelbundna komponenter i denna tidsserie skriver vi: De uppskattade värdena för säsongs-, trend - och oregelbundna komponenter lagras nu i variabler födelsestidereriescomponentsseasonal, birthstimeseriescomponentstrend och birthstimeseriescomponentsrandom. Till exempel kan vi skriva ut de beräknade värdena för säsongskomponenten genom att skriva: De beräknade säsongsfaktorerna ges för månaderna januari-december och är desamma för varje år. Den största säsongsfaktorn är för juli (ungefär 1,46) och den lägsta är för februari (ca -2,08), vilket tyder på att det förefaller vara en topp i födslar i juli och en födelse i februari varje år. Vi kan plotta den beräknade trenden, säsongsmässiga och oregelbundna komponenter i tidsserierna med hjälp av funktionen 8220plot () 8221, till exempel: Plottet ovan visar de ursprungliga tidsserierna (topp), den beräknade trendkomponenten (andra från toppen) den beräknade säsongskomponenten (tredje från toppen) och den uppskattade oregelbundna komponenten (botten). Vi ser att den beräknade trendkomponenten visar en liten minskning från cirka 24 år 1947 till ca 22 år 1948, följt av en stadig ökning från och med till cirka 27 år 1959. Säsongsjustering Om du har en säsongsbetonad tidsserie som kan beskrivas med En tillsatsmodell kan du säsongsmässigt justera tidsserierna genom att beräkna säsongskomponenten och subtrahera den beräknade säsongskomponenten från de ursprungliga tidsserierna. Vi kan göra detta med uppskattningen av säsongskomponenten beräknad av funktionen 8220decompose () 8221. Till exempel, för att säsongsmässigt justera tidsserierna för antalet födelser per månad i New York City, kan vi beräkna säsongskomponenten med 8220decompose () 8221, och sedan subtrahera säsongskomponenten från de ursprungliga tidsserierna: Vi kan sedan plotta säsongrensade tidsserier med funktionen 8220plot () 8221, genom att skriva: Du kan se att säsongsvariationen har tagits bort från säsongrensade tidsserier. Den säsongrensade tidsserien innehåller nu bara trendkomponenten och en oregelbunden komponent. Prognoser med exponentiell utjämning Exponentiell utjämning kan användas för att göra kortsiktiga prognoser för tidsseriedata. Enkel exponentiell utjämning Om du har en tidsserie som kan beskrivas med hjälp av en tillsatsmodell med konstant nivå och ingen säsonglighet, kan du använda enkel exponentiell utjämning för att göra kortfristiga prognoser. Den enkla exponentiella utjämningsmetoden ger ett sätt att uppskatta nivån vid den aktuella tidpunkten. Utjämning styrs av parametern alfa för uppskattning av nivån vid aktuell tidpunkt. Valet av alfa ligger mellan 0 och 1. Val av alfa som ligger nära 0 betyder att den lilla vikten placeras på de senaste observationerna när man gör prognoser för framtida värden. Till exempel innehåller filen robjhyndmantsdldatahurstprecip1.dat totalt årligt nedfall i inches för London, från 1813-1912 (ursprungliga data från Hipel och McLeod, 1994). Vi kan läsa in data i R och plotta den genom att skriva: Du kan se från plottet att det finns ungefär konstant nivå (medelvärdet stannar konstant på ca 25 tum). De slumpmässiga fluktuationerna i tidsserierna verkar vara ungefär konstant i storlek över tiden, så det är nog lämpligt att beskriva data med hjälp av en tillsatsmodell. Således kan vi göra prognoser med enkel exponentiell utjämning. För att göra prognoser med enkel exponentiell utjämning i R kan vi passa en enkel exponentiell utjämningsprognos med 8220HoltWinters () 8221-funktionen i R. För att använda HoltWinters () för enkel exponentiell utjämning måste vi ställa in parametrarna BETALA och gammaFALSE i HoltWinters () - funktionen (beta - och gamma-parametrarna används för exponentialutjämning av Holt8217 eller Holt-Winters exponentiella utjämning, enligt beskrivningen nedan). Funktionen HoltWinters () returnerar en listvariabel, som innehåller flera namngivna element. Till exempel, för att använda enkel exponentiell utjämning för att göra prognoser för tidsserierna av årlig nederbörd i London, skriver vi: Utgången från HoltWinters () berättar att det uppskattade värdet för alfaparametern är ca 0,024. Detta ligger väldigt nära noll och berättar för oss att prognoserna är baserade på både senaste och färre senaste observationer (även om det läggs lite mer vikt på de senaste observationerna). Som standard gör HoltWinters () bara prognoser för samma tidsperiod som omfattas av våra ursprungliga tidsserier. I det här fallet inkluderade våra ursprungliga tidsserier nederbörd för London från 1813-1912, så prognoserna är också för 1813-1912. I exemplet ovan har vi lagrat utmatningen från funktionen HoltWinters () i listvariabeln 8220rainseriesforecasts22221. Prognoserna som gjorts av HoltWinters () lagras i ett namngivna element i denna listvariabel som heter 8220fitted8221, så vi kan få sina värden genom att skriva: Vi kan plotta de ursprungliga tidsserierna mot prognoserna genom att skriva: Plotet visar de ursprungliga tidsserierna i svart och prognoserna som en röd linje. Tidsserierna av prognoser är mycket mjukare än tidsserierna för de ursprungliga uppgifterna här. Som ett mått på prognosens noggrannhet kan vi beräkna summan av kvadratfel för prognosfel, det vill säga prognosfel för den tidsperiod som omfattas av våra ursprungliga tidsserier. Summa av kvadratera fel lagras i ett namngivet element i listvariabeln 8220rainseriesforecasts8221 kallas 8220SSE8221, så vi kan få värdet genom att skriva: Det är, här är summan av kvadratfel 1828.855. Det är vanligt vid enkel exponentiell utjämning att använda det första värdet i tidsserierna som initialvärdet för nivån. Till exempel i tidsserierna för nederbörd i London är det första värdet 23,56 (tum) för nederbörd 1813. Du kan ange initialvärdet för nivån i funktionen HoltWinters () med hjälp av 8220l. start8221-parametern. Till exempel, för att göra prognoser med det ursprungliga värdet av nivån som ställts till 23,56, skriver vi: Som förklaras ovan, gör HoltWinters () bara prognoser för tidsperioden som omfattas av de ursprungliga uppgifterna, vilket är 1813-1912 för regnet tidsföljder. Vi kan göra prognoser för ytterligare tidpunkter genom att använda 8220forecast. HoltWinters () 8221-funktionen i paketet R 8220forecast8221. För att kunna använda funktionen. HoltWinters (), måste vi först installera paketet 8220forecast8221 R (för instruktioner om hur man installerar ett R-paket, se Så här installerar du ett R-paket). När du har installerat 8220forecast8221 R-paketet kan du ladda 8220forecast8221 R-paketet genom att skriva: När du använder funktionen. HoltWinters (), som det första argumentet (inmatning), skickar du det den prediktiva modellen som du redan har monterat med hjälp av HoltWinters () funktionen. Till exempel, när det gäller regnskurets tidsserie lagrade vi den prediktiva modellen som gjordes med HoltWinters () i variabeln 8220rainseriesforecasts22221. Du anger hur många ytterligare tidspunkter du vill göra prognoser för genom att använda 8220h8221-parametern i prognosen. HoltWinters (). Till exempel, för att göra en prognos av nederbörd för åren 1814-1820 (8 fler år) med hjälp av forecast. HoltWinters (), skriver vi: Funktionen forecast. HoltWinters () ger dig prognosen för ett år, ett 80 förutsägelsesintervall för prognosen och ett 95 prognosintervall för prognosen. Till exempel är det prognostiserade nedgången för 1920 cirka 24,68 tum, med ett 95 förutsägelsesintervall på (16.24, 33.11). För att kartlägga förutsägelserna som gjorts av forecast. HoltWinters () kan vi använda 8220plot. forecast () 8221-funktionen: Här prognoser för 1913-1920 ritas som en blå linje, 80 förutsägelseintervallet som ett orange skuggat område och 95 förutsägelseintervall som ett gult skuggat område. 8216-prognosfelen8217 beräknas som de observerade värdena minus förutsagda värden, för varje tidpunkt. Vi kan bara beräkna prognosfel för den tidsperiod som omfattas av våra ursprungliga tidsserier, som är 1813-1912 för regndata. Som nämnts ovan är ett mått på noggrannheten för den prediktiva modellen summan av kvadratfel (SSE) för prognosfel. Fönstret för prognosprognoser lagras i det angivna elementet 8220residuals8221 i listvariabeln som returneras av forecast. HoltWinters (). Om den prediktiva modellen inte kan förbättras, bör det inte finnas några korrelationer mellan prognosfel för successiva förutsägelser. Med andra ord, om det finns samband mellan prognosfel för successiva förutsägelser, är det troligt att de enkla exponentiella utjämningsprognoserna kan förbättras med en annan prognosteknik. För att ta reda på om så är fallet kan vi få ett korrelogram av prognosfelen för lags 1-20. Vi kan beräkna ett korrelogram av prognosfel med funktionen 8220acf () 8221 i R. För att ange den maximala fördröjningen som vi vill titta på använder vi parametern 8220lag. max8221 i acf (). Till exempel, för att beräkna ett korrelogram av prognosfel för Londons nedgångsdata för lags 1-20, skriver vi: Du kan se från provkorrelogrammet att autokorrelationen vid lag 3 bara rör betydningsgränserna. För att testa om det finns signifikanta bevis för icke-nollkorrelationer vid lags 1-20 kan vi utföra ett Ljung-Box-test. Detta kan göras i R med funktionen 8220Box. test () 8221. Den maximala fördröjningen som vi vill titta på specificeras med parametern 8220lag8221 i funktionen Box. test (). Till exempel, för att testa om det inte finns några nollautokorrelationer vid lag 1-20, för prognosfel för Londons regndata, skriver vi: Här är Ljung-Box teststatistik 17,4 och p-värdet är 0,6 , så det finns få tecken på autokorrelationer utan noll i prognosfelen vid lags 1-20. För att vara säker på att den prediktiva modellen inte kan förbättras, är det också en bra idé att kontrollera om prognosfelen normalt fördelas med medelvärde och konstant varians. För att kontrollera om prognosfelen har konstant varians kan vi göra en tidpunkt för prognosfel: Projektet visar att prognosfel i prover verkar ha ungefär konstant varians över tiden, även om fluktuationerna i Tidsseriens start (1820-1830) kan vara något mindre än vid senare tidpunkter (t. ex. 1840-1850). För att kontrollera om prognosfel normalt fördelas med medelvärde noll kan vi avbilda ett histogram av prognosfel med en överlagrad normal kurva som har medelvärde noll och samma standardavvikelse som fördelningen av prognosfel. För att göra detta kan vi definiera en R-funktion 8220plotForecastErrors () 8221, nedan: Du måste kopiera funktionen ovan till R för att kunna använda den. Du kan sedan använda plotForecastErrors () för att plotta ett histogram (med överlagrad normal kurva) av prognosfel för regnskyddsprognoserna: Plotten visar att fördelningen av prognosfel centreras ungefär på noll och är mer eller mindre normalt distribuerad, även om Det verkar vara något sned åt höger jämfört med en normal kurva. Den rätta skeden är dock relativt liten, och det är så troligt att prognosfel normalt fördelas med medelvärdet. Ljung-Box-testet visade att det inte finns några bevis på icke-noll autokorrelationer i prognosfel, och fördelningen av prognosfel verkar normalt fördelas med medelvärdet noll. Detta tyder på att den enkla exponentiella utjämningsmetoden ger en adekvärd prediktiv modell för nederbördsfallet, vilket förmodligen inte kan förbättras. Vidare antogs antagandena om att intervallerna 80 och 95 var baserade på (att det inte finns några autokorrelationer i prognosfel, och prognosfelen är normalt fördelade med medelvärde noll och konstant varians) är förmodligen giltiga. Holt8217s Exponentiell utjämning Om du har en tidsserie som kan beskrivas med hjälp av en additivmodell med ökande eller minskande trend och ingen säsonglighet, kan du använda Holt8217s exponentiella utjämning för att göra kortsiktiga prognoser. Holt8217s exponentiella utjämning uppskattar nivån och lutningen vid aktuell tidpunkt. Utjämning styrs av två parametrar, alfa, för uppskattning av nivån vid aktuell tidpunkt och beta för uppskattningen av höjden b av trendkomponenten vid den aktuella tidpunkten. Som med enkel exponentiell utjämning har parametrarna alfa och beta värden mellan 0 och 1 och värden som ligger nära 0 betyder att den lilla vikten placeras på de senaste observationerna när man gör prognoser för framtida värden. Ett exempel på en tidsserie som förmodligen kan beskrivas med hjälp av en tillsatsmodell med en trend och ingen säsongsmässighet är tidsserierna för den årliga diametern av kvinnor8217s kjolar vid kanten, från 1866 till 1911. Data finns i filen robjhyndmantsdldatarobertsskirts. dat (ursprungliga data från Hipel och McLeod, 1994). Vi kan läsa in och plotta data i R genom att skriva: Vi kan se från diagrammet att det var en ökning av håldiametern från ca 600 år 1866 till ca 1050 år 1880, och att efteråt minskade håldiametern till ca 520 år 1911 För att göra prognoser kan vi passa en prediktiv modell med funktionen HoltWinters () i R. För att använda HoltWinters () för Holt8217s exponentiella utjämning måste vi ange parametern gammaFALSE (gamma-parametern används för Holt-Winters exponentiell utjämning, som beskrivs nedan). Till exempel, för att använda Holt8217s exponentiell utjämning för att passa en prediktiv modell för kjolkroppsdiametern, skriver vi: Det uppskattade värdet av alfa är 0,84 och av beta är 1,00. Dessa är båda höga och berättar att både beräkningen av nuvärdet av nivån och höjden b av trendkomponenten baseras huvudsakligen på mycket nya observationer i tidsserierna. Detta ger en bra intuitiv känsla, eftersom tidsseriens nivå och höjning både förändras ganska mycket över tiden. Värdet av summan av kvadratfel för prognosfel är 16954. Vi kan plotta de ursprungliga tidsserierna som en svart linje, med de prognostiserade värdena som en röd linje ovanpå, genom att skriva: Vi kan se från bilden att proverna för prover överensstämmer ganska bra med de observerade värdena, även om de tenderar att ligga bakom de observerade värdena lite. Om du vill kan du ange initialvärdena för nivån och höjden b av trendkomponenten genom att använda 8220l. start8221- och 8220b. start8221-argumenten för funktionen HoltWinters (). Det är vanligt att ställa in initialvärdet för nivån till det första värdet i tidsserierna (608 för kjoldata) och initialvärdet för höjden till det andra värdet minus det första värdet (9 för kjoldata). Till exempel, för att passa en prediktiv modell till kjolens hemdata med hjälp av Holt8217s exponentiella utjämning, med initialvärden på 608 för nivån och 9 för höjden b i trendkomponenten skriver vi: Som för enkel exponentiell utjämning kan vi göra prognoser för framtida tider som inte omfattas av de ursprungliga tidsserierna genom att använda funktionen. HoltWinters () i 8220forecast8221-paketet. Till exempel var våra tidsseriedata för kjolar i 1866-1911, så vi kan göra förutsägelser för 1912 till 1930 (19 fler datapunkter) och plotta dem genom att skriva: Prognoserna visas som en blå linje med 80 förutsägelsesintervaller som ett orange skuggat område, och de 95 prediktionsintervallerna som ett gult skuggat område. När det gäller enkel exponentiell utjämning kan vi kontrollera om den prediktiva modellen skulle kunna förbättras genom att kontrollera om prognosfel i prover visar autokorrelationer utan noll vid lags 1-20. Till exempel kan vi göra ett korrelogram och göra Ljung-Box-testet genom att skriva: Här visar korrelogrammet att provautokorrelationen för prognosprognosfel vid lag 5 överstiger signifikansgränserna. Vi förväntar oss emellertid att en av 20 autokorrelationer för de första tjugo lagsna överskrider 95 signifikansgränserna enbart av en slump. När vi utför Ljung-Box-testet är p-värdet 0,47, vilket indikerar att det finns få tecken på autokorrelationer utan noll i prognosfelen vid lags 1-20. När det gäller enkel exponentiell utjämning bör vi också kontrollera att prognosfelen har konstant varians över tiden och distribueras normalt med medelvärde. Vi kan göra detta genom att göra en tidpunkt för prognosfel och ett histogram av fördelningen av prognosfel med en överlagrad normal kurva: Tidsschemat för prognosfel visar att prognosfelen har ungefär konstant varians över tiden. Histogrammet för prognosfel visar att det är troligt att prognosfel normalt fördelas med medelvärde noll och konstant varians. Sålunda visar Ljung-Box-testet att det finns få tecken på autokorrelationer i prognosfel, medan tidsdiagrammet och histogrammet för prognosfel visar att det är troligt att prognosfel normalt fördelas med medelvärde och konstant varians. Därför kan vi dra slutsatsen att Holt8217s exponentiella utjämning ger en adekvärd prediktiv modell för kjolhåldiametrar, vilket förmodligen inte kan förbättras. Dessutom innebär det att antagandena att 80 och 95 förutsägelserna var baserade på är förmodligen giltiga. Holt-Winters exponentiell utjämning Om du har en tidsserie som kan beskrivas med en additivmodell med ökande eller minskande trend och säsonglighet, kan du använda Holt-Winters exponentiella utjämning för att göra kortsiktiga prognoser. Holt-Winters exponentiell utjämning uppskattar nivå, lutning och säsongskomponent vid aktuell tidpunkt. Utjämning styrs av tre parametrar: alfa, beta och gamma, för beräkning av nivå, höjning b av trendkomponenten respektive säsongskomponenten vid aktuell tidpunkt. The parameters alpha, beta and gamma all have values between 0 and 1, and values that are close to 0 mean that relatively little weight is placed on the most recent observations when making forecasts of future values. An example of a time series that can probably be described using an additive model with a trend and seasonality is the time series of the log of monthly sales for the souvenir shop at a beach resort town in Queensland, Australia (discussed above): To make forecasts, we can fit a predictive model using the HoltWinters() function. For example, to fit a predictive model for the log of the monthly sales in the souvenir shop, we type: The estimated values of alpha, beta and gamma are 0.41, 0.00, and 0.96, respectively. The value of alpha (0.41) is relatively low, indicating that the estimate of the level at the current time point is based upon both recent observations and some observations in the more distant past. The value of beta is 0.00, indicating that the estimate of the slope b of the trend component is not updated over the time series, and instead is set equal to its initial value. This makes good intuitive sense, as the level changes quite a bit over the time series, but the slope b of the trend component remains roughly the same. In contrast, the value of gamma (0.96) is high, indicating that the estimate of the seasonal component at the current time point is just based upon very recent observations. As for simple exponential smoothing and Holt8217s exponential smoothing, we can plot the original time series as a black line, with the forecasted values as a red line on top of that: We see from the plot that the Holt-Winters exponential method is very successful in predicting the seasonal peaks, which occur roughly in November every year. To make forecasts for future times not included in the original time series, we use the 8220forecast. HoltWinters()8221 function in the 8220forecast8221 package. For example, the original data for the souvenir sales is from January 1987 to December 1993. If we wanted to make forecasts for January 1994 to December 1998 (48 more months), and plot the forecasts, we would type: The forecasts are shown as a blue line, and the orange and yellow shaded areas show 80 and 95 prediction intervals, respectively. We can investigate whether the predictive model can be improved upon by checking whether the in-sample forecast errors show non-zero autocorrelations at lags 1-20, by making a correlogram and carrying out the Ljung-Box test: The correlogram shows that the autocorrelations for the in-sample forecast errors do not exceed the significance bounds for lags 1-20. Furthermore, the p-value for Ljung-Box test is 0.6, indicating that there is little evidence of non-zero autocorrelations at lags 1-20. We can check whether the forecast errors have constant variance over time, and are normally distributed with mean zero, by making a time plot of the forecast errors and a histogram (with overlaid normal curve): From the time plot, it appears plausible that the forecast errors have constant variance over time. From the histogram of forecast errors, it seems plausible that the forecast errors are normally distributed with mean zero. Thus, there is little evidence of autocorrelation at lags 1-20 for the forecast errors, and the forecast errors appear to be normally distributed with mean zero and constant variance over time. This suggests that Holt-Winters exponential smoothing provides an adequate predictive model of the log of sales at the souvenir shop, which probably cannot be improved upon. Furthermore, the assumptions upon which the prediction intervals were based are probably valid. ARIMA Models Exponential smoothing methods are useful for making forecasts, and make no assumptions about the correlations between successive values of the time series. However, if you want to make prediction intervals for forecasts made using exponential smoothing methods, the prediction intervals require that the forecast errors are uncorrelated and are normally distributed with mean zero and constant variance. While exponential smoothing methods do not make any assumptions about correlations between successive values of the time series, in some cases you can make a better predictive model by taking correlations in the data into account. Autoregressive Integrated Moving Average (ARIMA) models include an explicit statistical model for the irregular component of a time series, that allows for non-zero autocorrelations in the irregular component. Differencing a Time Series ARIMA models are defined for stationary time series. Therefore, if you start off with a non-stationary time series, you will first need to 8216difference8217 the time series until you obtain a stationary time series. If you have to difference the time series d times to obtain a stationary series, then you have an ARIMA(p, d,q) model, where d is the order of differencing used. You can difference a time series using the 8220diff()8221 function in R. For example, the time series of the annual diameter of women8217s skirts at the hem, from 1866 to 1911 is not stationary in mean, as the level changes a lot over time: We can difference the time series (which we stored in 8220skirtsseries8221, see above) once, and plot the differenced series, by typing: The resulting time series of first differences (above) does not appear to be stationary in mean. Therefore, we can difference the time series twice, to see if that gives us a stationary time series: Formal tests for stationarity Formal tests for stationarity called 8220unit root tests8221 are available in the fUnitRoots package, available on CRAN, but will not be discussed here. The time series of second differences (above) does appear to be stationary in mean and variance, as the level of the series stays roughly constant over time, and the variance of the series appears roughly constant over time. Thus, it appears that we need to difference the time series of the diameter of skirts twice in order to achieve a stationary series. If you need to difference your original time series data d times in order to obtain a stationary time series, this means that you can use an ARIMA(p, d,q) model for your time series, where d is the order of differencing used. For example, for the time series of the diameter of women8217s skirts, we had to difference the time series twice, and so the order of differencing (d) is 2. This means that you can use an ARIMA(p,2,q) model for your time series. The next step is to figure out the values of p and q for the ARIMA model. Another example is the time series of the age of death of the successive kings of England (see above): From the time plot (above), we can see that the time series is not stationary in mean. To calculate the time series of first differences, and plot it, we type: The time series of first differences appears to be stationary in mean and variance, and so an ARIMA(p,1,q) model is probably appropriate for the time series of the age of death of the kings of England. By taking the time series of first differences, we have removed the trend component of the time series of the ages at death of the kings, and are left with an irregular component. We can now examine whether there are correlations between successive terms of this irregular component if so, this could help us to make a predictive model for the ages at death of the kings. Selecting a Candidate ARIMA Model If your time series is stationary, or if you have transformed it to a stationary time series by differencing d times, the next step is to select the appropriate ARIMA model, which means finding the values of most appropriate values of p and q for an ARIMA(p, d,q) model. To do this, you usually need to examine the correlogram and partial correlogram of the stationary time series. To plot a correlogram and partial correlogram, we can use the 8220acf()8221 and 8220pacf()8221 functions in R, respectively. To get the actual values of the autocorrelations and partial autocorrelations, we set 8220plotFALSE8221 in the 8220acf()8221 and 8220pacf()8221 functions. Example of the Ages at Death of the Kings of England For example, to plot the correlogram for lags 1-20 of the once differenced time series of the ages at death of the kings of England, and to get the values of the autocorrelations, we type: We see from the correlogram that the autocorrelation at lag 1 (-0.360) exceeds the significance bounds, but all other autocorrelations between lags 1-20 do not exceed the significance bounds. To plot the partial correlogram for lags 1-20 for the once differenced time series of the ages at death of the English kings, and get the values of the partial autocorrelations, we use the 8220pacf()8221 function, by typing: The partial correlogram shows that the partial autocorrelations at lags 1, 2 and 3 exceed the significance bounds, are negative, and are slowly decreasing in magnitude with increasing lag (lag 1: -0.360, lag 2: -0.335, lag 3:-0.321). The partial autocorrelations tail off to zero after lag 3. Since the correlogram is zero after lag 1, and the partial correlogram tails off to zero after lag 3, this means that the following ARMA (autoregressive moving average) models are possible for the time series of first differences: an ARMA(3,0) model, that is, an autoregressive model of order p3, since the partial autocorrelogram is zero after lag 3, and the autocorrelogram tails off to zero (although perhaps too abruptly for this model to be appropriate) an ARMA(0,1) model, that is, a moving average model of order q1, since the autocorrelogram is zero after lag 1 and the partial autocorrelogram tails off to zero an ARMA(p, q) model, that is, a mixed model with p and q greater than 0, since the autocorrelogram and partial correlogram tail off to zero (although the correlogram probably tails off to zero too abruptly for this model to be appropriate) We use the principle of parsimony to decide which model is best: that is, we assum e that the model with the fewest parameters is best. The ARMA(3,0) model has 3 parameters, the ARMA(0,1) model has 1 parameter, and the ARMA(p, q) model has at least 2 parameters. Therefore, the ARMA(0,1) model is taken as the best model. An ARMA(0,1) model is a moving average model of order 1, or MA(1) model. This model can be written as: Xt - mu Zt - (theta Zt-1), where Xt is the stationary time series we are studying (the first differenced series of ages at death of English kings), mu is the mean of time series Xt, Zt is white noise with mean zero and constant variance, and theta is a parameter that can be estimated. A MA (moving average) model is usually used to model a time series that shows short-term dependencies between successive observations. Intuitively, it makes good sense that a MA model can be used to describe the irregular component in the time series of ages at death of English kings, as we might expect the age at death of a particular English king to have some effect on the ages at death of the next king or two, but not much effect on the ages at death of kings that reign much longer after that. Shortcut: the auto. arima() function The auto. arima() function can be used to find the appropriate ARIMA model, eg. type 8220library(forecast)8221, then 8220auto. arima(kings)8221. The output says an appropriate model is ARIMA(0,1,1). Since an ARMA(0,1) model (with p0, q1) is taken to be the best candidate model for the time series of first differences of the ages at death of English kings, then the original time series of the ages of death can be modelled using an ARIMA(0,1,1) model (with p0, d1, q1, where d is the order of differencing required). Example of the Volcanic Dust Veil in the Northern Hemisphere Let8217s take another example of selecting an appropriate ARIMA model. The file file robjhyndmantsdldataannualdvi. dat contains data on the volcanic dust veil index in the northern hemisphere, from 1500-1969 (original data from Hipel and Mcleod, 1994). This is a measure of the impact of volcanic eruptions8217 release of dust and aerosols into the environment. We can read it into R and make a time plot by typing: From the time plot, it appears that the random fluctuations in the time series are roughly constant in size over time, so an additive model is probably appropriate for describing this time series. Furthermore, the time series appears to be stationary in mean and variance, as its level and variance appear to be roughly constant over time. Therefore, we do not need to difference this series in order to fit an ARIMA model, but can fit an ARIMA model to the original series (the order of differencing required, d, is zero here). We can now plot a correlogram and partial correlogram for lags 1-20 to investigate what ARIMA model to use: We see from the correlogram that the autocorrelations for lags 1, 2 and 3 exceed the significance bounds, and that the autocorrelations tail off to zero after lag 3. The autocorrelations for lags 1, 2, 3 are positive, and decrease in magnitude with increasing lag (lag 1: 0.666, lag 2: 0.374, lag 3: 0.162). The autocorrelation for lags 19 and 20 exceed the significance bounds too, but it is likely that this is due to chance, since they just exceed the significance bounds (especially for lag 19), the autocorrelations for lags 4-18 do not exceed the signifiance bounds, and we would expect 1 in 20 lags to exceed the 95 significance bounds by chance alone. From the partial autocorrelogram, we see that the partial autocorrelation at lag 1 is positive and exceeds the significance bounds (0.666), while the partial autocorrelation at lag 2 is negative and also exceeds the significance bounds (-0.126). The partial autocorrelations tail off to zero after lag 2. Since the correlogram tails off to zero after lag 3, and the partial correlogram is zero after lag 2, the following ARMA models are possible for the time series: an ARMA(2,0) model, since the partial autocorrelogram is zero after lag 2, and the correlogram tails off to zero after lag 3, and the partial correlogram is zero after lag 2 an ARMA(0,3) model, since the autocorrelogram is zero after lag 3, and the partial correlogram tails off to zero (although perhaps too abruptly for this model to be appropriate) an ARMA(p, q) mixed model, since the correlogram and partial correlogram tail off to zero (although the partial correlogram perhaps tails off too abruptly for this model to be appropriate) Shortcut: the auto. arima() function Again, we can use auto. arima() to find an appropriate model, by typing 8220auto. arima(volcanodust)8221, which gives us ARIMA(1,0,2), which has 3 parameters. However, different criteria can be used to select a model (see auto. arima() help page). If we use the 8220bic8221 criterion, which penalises the number of parameters, we get ARIMA(2,0,0), which is ARMA(2,0): 8220auto. arima(volcanodust, ic8221bic8221)8221. The ARMA(2,0) model has 2 parameters, the ARMA(0,3) model has 3 parameters, and the ARMA(p, q) model has at least 2 parameters. Therefore, using the principle of parsimony, the ARMA(2,0) model and ARMA(p, q) model are equally good candidate models. An ARMA(2,0) model is an autoregressive model of order 2, or AR(2) model. This model can be written as: Xt - mu (Beta1 (Xt-1 - mu)) (Beta2 (Xt-2 - mu)) Zt, where Xt is the stationary time series we are studying (the time series of volcanic dust veil index), mu is the mean of time series Xt, Beta1 and Beta2 are parameters to be estimated, and Zt is white noise with mean zero and constant variance. An AR (autoregressive) model is usually used to model a time series which shows longer term dependencies between successive observations. Intuitively, it makes sense that an AR model could be used to describe the time series of volcanic dust veil index, as we would expect volcanic dust and aerosol levels in one year to affect those in much later years, since the dust and aerosols are unlikely to disappear quickly. If an ARMA(2,0) model (with p2, q0) is used to model the time series of volcanic dust veil index, it would mean that an ARIMA(2,0,0) model can be used (with p2, d0, q0, where d is the order of differencing required). Similarly, if an ARMA(p, q) mixed model is used, where p and q are both greater than zero, than an ARIMA(p,0,q) model can be used. Forecasting Using an ARIMA Model Once you have selected the best candidate ARIMA(p, d,q) model for your time series data, you can estimate the parameters of that ARIMA model, and use that as a predictive model for making forecasts for future values of your time series. You can estimate the parameters of an ARIMA(p, d,q) model using the 8220arima()8221 function in R. Example of the Ages at Death of the Kings of England For example, we discussed above that an ARIMA(0,1,1) model seems a plausible model for the ages at deaths of the kings of England. You can specify the values of p, d and q in the ARIMA model by using the 8220order8221 argument of the 8220arima()8221 function in R. To fit an ARIMA(p, d,q) model to this time series (which we stored in the variable 8220kingstimeseries8221, see above), we type: As mentioned above, if we are fitting an ARIMA(0,1,1) model to our time series, it means we are fitting an an ARMA(0,1) model to the time series of first differences. An ARMA(0,1) model can be written Xt - mu Zt - (theta Zt-1), where theta is a parameter to be estimated. From the output of the 8220arima()8221 R function (above), the estimated value of theta (given as 8216ma18217 in the R output) is -0.7218 in the case of the ARIMA(0,1,1) model fitted to the time series of ages at death of kings. Specifying the confidence level for prediction intervals You can specify the confidence level for prediction intervals in forecast. Arima() by using the 8220level8221 argument. For example, to get a 99.5 prediction interval, we would type 8220forecast. Arima(kingstimeseriesarima, h5, levelc(99.5))8221. We can then use the ARIMA model to make forecasts for future values of the time series, using the 8220forecast. Arima()8221 function in the 8220forecast8221 R package. For example, to forecast the ages at death of the next five English kings, we type: The original time series for the English kings includes the ages at death of 42 English kings. The forecast. Arima() function gives us a forecast of the age of death of the next five English kings (kings 43-47), as well as 80 and 95 prediction intervals for those predictions. The age of death of the 42nd English king was 56 years (the last observed value in our time series), and the ARIMA model gives the forecasted age at death of the next five kings as 67.8 years. We can plot the observed ages of death for the first 42 kings, as well as the ages that would be predicted for these 42 kings and for the next 5 kings using our ARIMA(0,1,1) model, by typing: As in the case of exponential smoothing models, it is a good idea to investigate whether the forecast errors of an ARIMA model are normally distributed with mean zero and constant variance, and whether the are correlations between successive forecast errors. For example, we can make a correlogram of the forecast errors for our ARIMA(0,1,1) model for the ages at death of kings, and perform the Ljung-Box test for lags 1-20, by typing: Since the correlogram shows that none of the sample autocorrelations for lags 1-20 exceed the significance bounds, and the p-value for the Ljung-Box test is 0.9, we can conclude that there is very little evidence for non-zero autocorrelations in the forecast errors at lags 1-20. To investigate whether the forecast errors are normally distributed with mean zero and constant variance, we can make a time plot and histogram (with overlaid normal curve) of the forecast errors: The time plot of the in-sample forecast errors shows that the variance of the forecast errors seems to be roughly constant over time (though perhaps there is slightly higher variance for the second half of the time series). The histogram of the time series shows that the forecast errors are roughly normally distributed and the mean seems to be close to zero. Therefore, it is plausible that the forecast errors are normally distributed with mean zero and constant variance. Since successive forecast errors do not seem to be correlated, and the forecast errors seem to be normally distributed with mean zero and constant variance, the ARIMA(0,1,1) does seem to provide an adequate predictive model for the ages at death of English kings. Example of the Volcanic Dust Veil in the Northern Hemisphere We discussed above that an appropriate ARIMA model for the time series of volcanic dust veil index may be an ARIMA(2,0,0) model. To fit an ARIMA(2,0,0) model to this time series, we can type: As mentioned above, an ARIMA(2,0,0) model can be written as: written as: Xt - mu (Beta1 (Xt-1 - mu)) (Beta2 (Xt-2 - mu)) Zt, where Beta1 and Beta2 are parameters to be estimated. The output of the arima() function tells us that Beta1 and Beta2 are estimated as 0.7533 and -0.1268 here (given as ar1 and ar2 in the output of arima()). Now we have fitted the ARIMA(2,0,0) model, we can use the 8220forecast. ARIMA()8221 model to predict future values of the volcanic dust veil index. The original data includes the years 1500-1969. To make predictions for the years 1970-2000 (31 more years), we type: We can plot the original time series, and the forecasted values, by typing: One worrying thing is that the model has predicted negative values for the volcanic dust veil index, but this variable can only have positive values The reason is that the arima() and forecast. Arima() functions don8217t know that the variable can only take positive values. Clearly, this is not a very desirable feature of our current predictive model. Again, we should investigate whether the forecast errors seem to be correlated, and whether they are normally distributed with mean zero and constant variance. To check for correlations between successive forecast errors, we can make a correlogram and use the Ljung-Box test: The correlogram shows that the sample autocorrelation at lag 20 exceeds the significance bounds. However, this is probably due to chance, since we would expect one out of 20 sample autocorrelations to exceed the 95 significance bounds. Furthermore, the p-value for the Ljung-Box test is 0.2, indicating that there is little evidence for non-zero autocorrelations in the forecast errors for lags 1-20. To check whether the forecast errors are normally distributed with mean zero and constant variance, we make a time plot of the forecast errors, and a histogram: The time plot of forecast errors shows that the forecast errors seem to have roughly constant variance over time. However, the time series of forecast errors seems to have a negative mean, rather than a zero mean. We can confirm this by calculating the mean forecast error, which turns out to be about -0.22: The histogram of forecast errors (above) shows that although the mean value of the forecast errors is negative, the distribution of forecast errors is skewed to the right compared to a normal curve. Therefore, it seems that we cannot comfortably conclude that the forecast errors are normally distributed with mean zero and constant variance Thus, it is likely that our ARIMA(2,0,0) model for the time series of volcanic dust veil index is not the best model that we could make, and could almost definitely be improved upon Links and Further Reading Here are some links for further reading. For a more in-depth introduction to R, a good online tutorial is available on the 8220Kickstarting R8221 website, cran. r-project. orgdoccontribLemon-kickstart . There is another nice (slightly more in-depth) tutorial to R available on the 8220Introduction to R8221 website, cran. r-project. orgdocmanualsR-intro. html . You can find a list of R packages for analysing time series data on the CRAN Time Series Task View webpage . To learn about time series analysis, I would highly recommend the book 8220Time series8221 (product code M24902) by the Open University, available from the Open University Shop . There are two books available in the 8220Use R8221 series on using R for time series analyses, the first is Introductory Time Series with R by Cowpertwait and Metcalfe, and the second is Analysis of Integrated and Cointegrated Time Series with R by Pfaff. Acknowledgements I am grateful to Professor Rob Hyndman. for kindly allowing me to use the time series data sets from his Time Series Data Library (TSDL) in the examples in this booklet. Many of the examples in this booklet are inspired by examples in the excellent Open University book, 8220Time series8221 (product code M24902), available from the Open University Shop . Thank you to Ravi Aranke for bringing auto. arima() to my attention, and Maurice Omane-Adjepong for bringing unit root tests to my attention, and Christian Seubert for noticing a small bug in plotForecastErrors(). Thank you for other comments to Antoine Binard and Bill Johnston. I will be grateful if you will send me (Avril Coghlan) corrections or suggestions for improvements to my email address alc 64 sanger 46 ac 46 uk
No comments:
Post a Comment