集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织

时间序列分析


时间序列分析是对按时间顺序导出的(或列出或绘制)的一系列数据点进行分析。时间序列是在连续的等距时间点上的序列。因此，这种序列上的时间是处于离散状态的。测量海洋潮汐的高度、计算太阳黑子的数量和分析道琼斯工业平均指数的每日收盘价都是时间序列在实际工作上的应用。

时间序列常通过趋势图（即时间线图Line chart）具象化。时间序列常被用于统计学、信号处理、模式识别、计量经济学、数理金融学、天气预报、地震预测、脑电图、控制工程、天文学、通信工程，以及涉及时序测量的任何科学和工程领域。

时间序列分析需要提取时间序列数据中有意义的统计特征以及数据的其他特征。时间序列分析涉及到时间序列的预测。时间序列预测是一种基于先前观测到的值去使用模型来预测未来值的方法。虽然回归分析经常被用于分析一个或多个不同时间序列之间的关系，但这种类型的分析通常不被称为 "时间序列分析"。时间序列分析特指的是分析单一序列中不同时间点之间的关系，也会分析被干预的时间序列（分析时间序列在接受干预前后的变化）。这种干预可能会影响基础变量。


时间序列数据具有自然的时间排序。这使得时间序列分析有别于截面研究。在截面研究中，观察结果没有自然排序（例如，通过参考各自的教育水平来解释人们的工资，其中个人的数据可以按任何顺序输入）。时间序列分析也有别于空间数据分析，后者的观测值通常与地理位置有关（例如，通过地点以及房屋的内在特征来说明房价）。时间序列的随机模型通常会反映这样一个事实，即在时间上相距较近的观测值会比相距较远的观测值更密切相关。此外，时间序列模型通常会利用自然的单向时间顺序，以便将给定时间段的值表示为以某种方式从过去的值而不是从未来的值中得出（参见时间可逆性）。


时间序列分析可以应用于实值、连续数据、离散数据或离散符号数据（即字符序列，如英语中的字母和单词[1]）。

分析方法

时间序列分析的方法可分为两类：频域方法和时域方法。前者包括频谱分析和小波分析；后者包括自相关和交叉相关分析。在时域中，可以用类似于滤波器的方式使用标度相关性来进行关联和分析。

此外，时间序列分析技术可分为参数化和非参数化方法。参数方法假定基础的平稳随机过程具有某种结构，可以用少量的参数来描述（例如，使用自回归或移动平均模型）。在这些模型中，时间序列分析的任务是估计描述随机过程的模型的参数。相比之下，非参数方法明确地估计过程的协方差或频谱，而不假设过程有任何特定的结构。

时间序列分析的方法也可以分为线性和非线性，以及单变量 和多变量。

面板数据

时间序列是面板数据的一种类型，面板数据是更大的类别。面板数据是一个多维的数据集，而时间序列数据集是一个一维的面板（正如截面数据集一样）。一个数据集可能同时表现出面板数据和时间序列数据的特征。判断是面板数据还是时间序列的方法之一是探究使一条数据记录与其他记录不同的因素。如果答案是时间数据字段，那么这就是一个时间序列数据集候选。如果确定一个独特的记录需要一个时间数据字段和一个与时间无关的额外标识符（如学生证、股票代码、国家代码），那么它就是面板数据的候选。如果区别在于非时间标识符，那么该数据集就是一个截面数据集候选。

分析

不同目的的时间序列适用的动机和数据分析方法都不同。

动机

在统计学、计量经济学、定量金融、地震学、气象学和地球物理学方面，时间序列分析的主要目标是预测。在信号处理、控制工程和通信工程方面，它被用于信号检测。在数据挖掘、模式识别和机器学习等其他应用中，时间序列分析可用于聚类、分类、按内容查询[2]、异常检测以及预测。

探索性分析

文件:Tuberculosis incidence US 1953-2009.png
Tuberculosis incidence US 1953-2009美国1953-2009年结核病发病率


绘制折线图是分析常规时间序列的直观方法。右侧显示了一个使用电子表格程序制作的美国结核病发病率示例图表。病例的数量被标准化为每10万人的比率，并计算出该比率每年的变化百分比。几乎稳定下降的线条表明，结核病发病率在大多数年份都在下降，但该比率的变化百分比高达+/-10%，且在1975年和20世纪90年代初前后出现了 "激增"。图中应用了两个纵轴，可以在一个图表中比较两个时间序列。


一项对企业数据分析师的研究发现，探索性时间的序列分析有两个挑战：发现新模式，以及为这些模式找到解释[3]。将时间序列数据可视化为热力图矩阵的工具可以帮助解释这些模式。


其他技巧包括:

  • 通过自相关分析去检验序列相关性；
  • 通过频谱分析来检查与季节性无关的周期性行为。例如，太阳黑子活动在一个周期内（11年）的变化。周期性行为常见的例子也包括天体现象、天气模式、神经活动、商品价格和经济活动；
  • 将序列分离为代表趋势、季节性、慢速和快速变化以及周期性不规则的成分；

曲线拟合

曲线拟合[4][5] 是构建一条曲线或数学函数的过程，它对一系列的数据点具有最佳的拟合效果[6]，但也可能会受到一些限制[7][8]。曲线拟合包括插值[9][10]（需要精确地拟合数据）与平滑[11][12]（构造一个 "平滑 "的函数来近似地拟合数据）。与曲线拟合相近的回归分析[13][14]更侧重于统计推断的问题。例如，在拟合有随机误差的数据的曲线中，推测有多少不确定性存在。拟合曲线可以作为数据可视化的辅助工具[15][16]，在没有数据的情况下推断函数的值[17]，并总结两个或多个变量之间的关系[18]。外推法是指在观测到的数据范围之外使用拟合曲线[19]，它有一定程度的不确定性[20]，因为它既可能是反映观测数据，也可能是反映用于构建曲线的方法。

经济时间序列的构建涉及通过在早期和晚期的基准值之间进行插值来估计某些日期的某些组成部分。插值法是在两个已知量（历史数据）之间估计一个未知量，或从现有信息中得出关于缺失信息的结论（"从字里行间阅读"）[21]。如果与缺失数据相关的数据是可用的，并且其趋势、季节性和长期周期是已知的，那么插值法就很有用。插值法通常是通过使用已知所有相关日期的相关序列来实现的[22]。或者使用多项式插值或样条插值，将分段多项式函数拟合到时间间隔中，使其平滑地拟合在一起。一个与插值密切相关的问题是用一个简单的函数来逼近一个复杂的函数（也称为回归）。回归和插值的主要区别是，多项式回归给出一个单一的多项式来模拟整个数据集。而插值则产生一个由许多多项式组成的分段连续函数来模拟数据集。

外推法是指在原始观察范围之外，根据一个变量与另一个变量的关系来估计其数值的过程。它与插值I类似，插值在已知的观测值之间产生估计值，但外推法的不确定性更大，产生无意义结果的风险也更大。

函数逼近问题

Main article: Function approximation


一般来说，一个函数逼近问题要求我们在一个定义良好的类中选择一个函数，这个类以一种特定于任务的方式与目标函数非常匹配。对于已知的目标函数，逼近理论是数值分析的一个分支，研究某些已知函数如何可以用一类特定的函数(例如，多项式或有理函数)来近似，这类函数通常具有理想的性质(连续性、积分和极限值等等)。


时间序列分析的目标函数，例如 g，可能是未知的。根据 g 的畴和余畴的结构，几种近似 g 的方法可能是适用的。例如，如果 g 是对实数的运算，可以使用插值、外推、回归分析和曲线拟合等技术。如果 g 的余域(范围或目标集)是一个有限集，那么我们就是在处理一个分类问题。


在某种程度上，不同的问题(回归、分类、适应度逼近)在统计学习理论中得到了统一的处理，它们被视为监督式学习问题。

时间序列分析的预测功能

在统计学中，预测是统计学的推理环节的一部分。有一种推理方法是预测推理，这种预测可以与几种统计学推理方法混合使用。统计学的预测方法之一是将部分样本数值扩大到整体去分析。这不一定与随着时间的推移所作的预测相同。当信息跨越时间传递，通常是传递到特定的时间点，推测特定时间点信息的状态的个过程就被称为预测。

推测特定时间点的信息可通过以下方式完成：

  • 为完成随机模拟而建立完整的统计模型能产生时间序列的替代版本，会反映未来在非特定时间段内可能发生的情况。
  • 时间序列预测通常使用自动化的统计软件包和编程语言，例如 Julia、 Python、 r、 SAS、 SPSS 等。
  • 使用第三方软件包 Spark-TS 库，Apache Spark 可以对大规模数据进行预测。

时间序列分析在信号处理上的应用

See also: Signal processing and Estimation theory

这种方法是基于傅里叶分析信号和滤波的频域使用傅里叶变换和谱密度估计，该方法在二战期间迅速得以推广。数学家诺伯特维纳，电气工程师鲁道夫·卡尔曼，丹尼斯和其他学者完成了信号的滤波处理，且预测了在特定时间段中的信号值。相关知识可参见卡尔曼滤波器，参数估测和数字信号处理的介绍。

时间序列的分割处理

Main article: Time-series segmentation


时间序列的分割处理是将一个时间序列分割成一系列的片段。通常情况下，时间序列可以表示为一系列单独的片段，每个片段都有自己的特征属性。例如，来自电话会议的音频信号可以根据每个人发言的时间分割成相应的部分。时间序列分割的目标是识别时间序列中的分段临界点，并分析每个分段的动态特性。此外，时间序列可以建模成一个更复杂的系统，如马尔可夫跳跃线性系统。

模型

时间序列数据的模型可以用多种形式来表示不同的随机过程。在对过程层次的变化进行建模时，三大重要模型是自回归(AR)模型、综合(i)模型和移动平均(MA)模型。这三个模型线性地依赖于以前的数据点。这些模型的结合产生了自回归移动平均(ARMA)和 模型移动平均(ARIMA)模型。自回归分数积分移动平均(ARFIMA)模型对三大重要模型进行了推广。处理矢量值数据的模型的扩展可以在多元时间序列模型下继续完成，有一些是前面的首字母缩略词被扩展，例如一个初始的“ v”代表“矢量”； VAR 代表向量自回归模型。从这些模型的另外一组扩展可以发现观测到的时间序列是由某种“强迫”的时间序列驱动的(这种时间序列可能对观测到的序列没有因果效应)；与多变量情况的区别在于这种强迫序列可能是在实验者的控制之下所得到的。对于这些模型，首字母缩略词被扩展成最后一个“ x”，表示“外生的”。


研究数据对过往的数据点的非线性依赖关系是有趣的，因为它有产生混沌时间序列的可能性。然而，更重要的是，使用来自非线性模型的预测优于来自线性模型的预测。例如非线性自回归外生模型的预测准确度优于线性的回顾模型。


在其他的非线性时间序列模型中，有一些模型可以表示方差随时间的变化(异方差)。这些模型有ARCH模型，其中包括GARCH，TARCH，EGARCH，FIGARCH，CGARCH等模型。在这里，差异性的变化与观测到的过往值有关，或者是预测值。在这种情况下，变化可能被模拟为由一个单独的时变过程驱动，如双重随机模型。


在最近的无模型分析工作中，基于小波变换的方法(如局部平稳小波和小波分解神经网络)得到了广泛的关注。多尺度(通常称为多分辨率)技术分解给定的时间序列能说明在多个尺度上的时间依赖。具体参见马尔可夫切换多重分形(MSMF)建模波动演化技术。


隐马尔可夫模型模型是一个统计马尔可夫模型，其中被建模的系统被假定为一个具有不可观测(隐藏)状态的马尔可夫过程。隐马尔可夫可以被认为是最简单的动态贝氏网路。隐马尔可夫模型广泛应用于语音识别中，它能将语音序列转换成文本。

时间序列的表示方法

时间序列分析有许多不同的表示方法。一种表示指定时间序列 x 的通用方法是: x = (X1，X2，...)。


另一种常用的表示法是: y = (Yt: t ∈ t) ，其中 t 是索引集。

时间序列的相关概念--平稳过程与遍历过程

大部分的时间序列建立在两个条件之下:

  • 平稳过程
  • 遍历过程


时间序列的平稳性的概念必须考虑两个重要的概念: 严格平稳性和二阶平稳性。人们可以通过这2个概念去建立模型和开发应用程序。


此外，时间序列分析可以应用于季节性平稳或处于非平稳状态下的序列。时频分析利用时间序列或信号的时频表示，可以处理频率分量振幅随时间变化的情况。

形成，分析时间序列数据的工具与方法

形成，分析时间序列数据的工具与方法包括:

  • 考虑自相关函数和谱密度函数(也包括互相关函数和互谱密度函数)
  • 调整互相关函数和自相关函数以去除慢分量的贡献
  • 在频域中执行一个傅里叶变换来调查这个序列
  • CUSUM 图
  • EWMA 图
  • 非趋势波动分析
  • 非线性混合效应建模
  • 动态时间规整互相关
  • 动态贝氏网路
  • 时频分析技术:
  • 快速傅里叶变换连续小波转换
  • 短时距傅里叶变换
  • 混沌分析
  • 复发图
  • 递归量化分析
  • Lyapunov 指数

时间序列量化分析的指标与准则

  • 单变量线性测量
  • 矩(数学)
  • 谱带功率
  • 谱边缘频率
  • 累积能量(信号处理)
  • 自相关函数特性
  • Hjorth 参数
  • FFT 参数
  • 自回归模型参数
  • 相关积分
  • 相关密度
  • 相关熵
  • 近似熵
  • 小波熵
  • 色散熵
  • 涨落色散熵
  • 高阶方法边际可预测动力学相似性
  • 指数状态空间相异性度量
  • 李亚普诺夫指数排列方法
  • 本地流
  • 其他单变量度量
  • 算法复杂度
  • 柯氏复杂性估计
  • 隐马尔可夫模型状态
  • 粗糙路径签名
  • 替代时间序列和替代校正
  • 递归损失(非平稳度)
  • 双变量线性度量
  • 最大线性互相关
  • 线性相干性(信号处理)
  • 双变量非线性度量
  • 非线性相互依赖
  • 动态卷吸(物理学)
  • 相位同步的度量
  • 相位锁定的度量
  • 相似度量:
  • 互相关
  • 动态时间规整
  • 隐马尔可夫模型
  • 编辑距离
  • 总相关性
  • Newey-West 估计
  • Prais-Winsten 变换
  • 数据作为向量在乌雷松度量化定理
  • 明氏距离
  • 马氏距离
  • 局部标准差
  • 窗口标准差
  • 数据解释为随机序列
  • 斯皮尔曼的秩相关系数
  • 数据解释为概率分布函数
  • Kolmogorov-Smirnov 检验
  • Cramér-von Mises 准则

时间序列的可视化

时间序列可以用两类图表进行可视化: 重叠图表和分离图表。重叠图表显示同一布局的所有时间序列，而分离图表显示不同的布局(但对齐用于比较)

重叠图

  • 编织图
  • 线图
  • 斜率图

分离图

  • 地平线图
  • 简化线图(小倍数)
  • 轮廓线图
  • 圆形轮廓线图

相关资料

参考文献

  • Box, George; Jenkins, Gwilym (1976), Time Series Analysis: forecasting and control, rev. ed., Oakland, California: Holden-Day
  • Durbin J., Koopman S.J. (2001), Time Series Analysis by State Space Methods, Oxford University Press.
  • Gershenfeld, Neil (2000), The Nature of Mathematical Modeling, Cambridge University Press, ISBN 978-0-521-57095-4, OCLC 174825352
  • Hamilton, James (1994), Time Series Analysis, Princeton University Press, ISBN 978-0-691-04289-3
  • Priestley, M. B. (1981), Spectral Analysis and Time Series, Academic Press.
  • Shasha, D. (2004), High Performance Discovery in Time Series, Springer, ISBN 978-0-387-00857-8
  • Shumway R. H., Stoffer D. S. (2017), Time Series Analysis and its Applications: With R Examples (ed. 4), Springer,
  • Weigend A. S., Gershenfeld N. A. (Eds.) (1994), Time Series Prediction: Forecasting the Future and Understanding the Past. Proceedings of the NATO Advanced Research Workshop on Comparative Time Series Analysis (Santa Fe, May 1992), Addison-Wesley.
  • Wiener, N. (1949), Extrapolation, Interpolation, and Smoothing of Stationary Time Series, MIT Press.
  • Woodward, W. A., Gray, H. L. & Elliott, A. C. (2012), Applied Time Series Analysis, CRC Press.
  • Auffarth, Ben (2021). Machine Learning for Time-Series with Python: Forecast, predict, and detect anomalies with state-of-the-art machine learning methods (1st ed.). Packt Publishing. ISBN 978-1801819626. https://www.packtpub.com/product/machine-learning-for-time-series-with-python/9781801819626. 
  • Durbin J., Koopman S.J. (2001), Time Series Analysis by State Space Methods, Oxford University Press.
  • Priestley, M. B. (1981), Spectral Analysis and Time Series, Academic Press.
  • Shumway R. H., Stoffer D. S. (2017), Time Series Analysis and its Applications: With R Examples (ed. 4), Springer,
  • Weigend A. S., Gershenfeld N. A. (Eds.) (1994), Time Series Prediction: Forecasting the Future and Understanding the Past. Proceedings of the NATO Advanced Research Workshop on Comparative Time Series Analysis (Santa Fe, May 1992), Addison-Wesley.
  • Wiener, N. (1949), Extrapolation, Interpolation, and Smoothing of Stationary Time Series, MIT Press.
  • Woodward, W. A., Gray, H. L. & Elliott, A. C. (2012), Applied Time Series Analysis, CRC Press.

相关书籍

  • Durbin j，Koopman s.j。(2001) ，《状态空间法时间序列分析》 ，牛津大学出版社
  • Priestley, M. B.(1981) ，光谱分析与时间序列，学术出版社
  • Shumway r. h. ，Stoffer d. s. (2017) ，时间序列分析及其应用: 与 R.示例(ed。4), Springer,
  • Weigend A. S., Gershenfeld N. A.(Eds.)(1994) ，时间序列预测: 预测未来和了解过去 北约比较时间序列分析高级研究讲习班论文集(圣达菲，1992年5月) ，Addison-Wesley。《平稳时间序列的外推、插值和平滑》 ，麻省理工学院出版社
  • 伍德沃德，w. a. ，格雷，h. l. & 埃利奥特，a. c. (2012) ，应用时间序列分析，CRC 出版社

外部链接

  1. ↑ Lin, Jessica; Keogh, Eamonn; Lonardi, Stefano; Chiu, Bill (2003). "A symbolic representation of time series, with implications for streaming algorithms". Proceedings of the 8th ACM SIGMOD workshop on Research issues in data mining and knowledge discovery. New York: ACM Press. pp. 2–11. doi:10.1145/882082.882086. 
  2. ↑ Agrawal, Rakesh; Faloutsos, Christos; Swami, Arun (October 1993). "Efficient Similarity Search In Sequence Databases". Proceedings of the 4th International Conference on Foundations of Data Organization and Algorithms. International Conference on Foundations of Data Organization and Algorithms. Vol. 730. pp. 69–84. doi:10.1007/3-540-57301-1_5. – via SpringerLink (subscription required)
  3. ↑ Sarkar, Advait; Spott, Martin; Blackwell, Alan F.; Jamnik, Mateja (2016). "Visual discovery and model-driven explanation of time series patterns". 2016 IEEE Symposium on Visual Languages and Human-Centric Computing (VL/HCC). IEEE. doi:10.1109/vlhcc.2016.7739668.
  4. ↑ Sandra Lach Arlinghaus, PHB Practical Handbook of Curve Fitting. CRC Press, 1994.
  5. ↑ William M. Kolb. Curve Fitting for Programmable Calculators. Syntec, Incorporated, 1984.
  6. ↑ S.S. Halli, K.V. Rao. 1992. Advanced Techniques of Population Analysis. Page 165 (cf. ... functions are fulfilled if we have a good to moderate fit for the observed data.)
  7. ↑ [1]The Signal and the Noise: Why So Many Predictions Fail-but Some Don't. By Nate Silver
  8. ↑ Data Preparation for Data Mining: Text. By Dorian Pyle.
  9. ↑ Numerical Methods in Engineering with MATLAB®. By Jaan Kiusalaas. Page 24.
  10. ↑ Numerical Methods in Engineering with Python 3. By Jaan Kiusalaas. Page 21.
  11. ↑ Numerical Methods of Curve Fitting. By P. G. Guest, Philip George Guest. Page 349.
  12. ↑ See also: Mollifier
  13. ↑ Fitting Models to Biological Data Using Linear and Nonlinear Regression. By Harvey Motulsky, Arthur Christopoulos.
  14. ↑ Regression Analysis By Rudolf J. Freund, William J. Wilson, Ping Sa. Page 269.
  15. ↑ Visual Informatics. Edited by Halimah Badioze Zaman, Peter Robinson, Maria Petrou, Patrick Olivier, Heiko Schröder. Page 689.
  16. ↑ Numerical Methods for Nonlinear Engineering Models. By John R. Hauser. Page 227.
  17. ↑ Methods of Experimental Physics: Spectroscopy, Volume 13, Part 1. By Claire Marton. Page 150.
  18. ↑ Encyclopedia of Research Design, Volume 1. Edited by Neil J. Salkind. Page 266.
  19. ↑ Community Analysis and Planning Techniques. By Richard E. Klosterman. Page 1.
  20. ↑ An Introduction to Risk and Uncertainty in the Evaluation of Environmental Investments. DIANE Publishing. Pg 69
  21. ↑ Hamming, Richard. Numerical methods for scientists and engineers. Courier Corporation, 2012.
  22. ↑ Friedman, Milton. "The interpolation of time series by related series." Journal of the American Statistical Association 57.300 (1962): 729–757.
取自“https://wiki.swarma.org/index.php?title=时间序列分析&oldid=34618”