2,443
个编辑
更改
创建页面，内容为“（本页面在逐步完善中......） 主讲人为张潘。作为外行主讲，这次的风格会和2016年尤亦庄主讲的张量网络不大相同，大家请…”
（本页面在逐步完善中......）
主讲人为张潘。作为外行主讲，这次的风格会和2016年尤亦庄主讲的张量网络不大相同，大家请同时参考[[2016研读营之张量网络]]
==数据与张量==
*数据表示为希尔伯特空间中的一个向量，不同的特征映射方式会给出不同的希尔伯特空间。[[File:tensor6.png|220px|缩略图||6维的张量]]
*对数据的线性操作表示为希尔伯特空间的一个算符。高维空间的线性操作可以对应低维空间的非线性操作。核方法(Kernel method)，表示理论(representation theorem)。
*无论是向量还是算符，我们可以统一地用张量（高维数组）来表示它。
*维数灾难(curse of dimensionality) -> 希尔伯特空间维度非常大->张量的参数数目非常多->我们无法轻易表达这个张量
*张量降维 = 希尔伯特空间压缩 = 张量网络
==张量网络的应用==
*张量网络与概率图模型：张量缩并对应隐变量求和（积分）
*在物理中，张量网络常常
**缩并掉虚拟指标，表达一个波函数
**缩并掉所有指标，表达经典系统的配分函数
*在应用数学中，张量网络被用来拟合一个函数或另一个张量，或用来预测未知张量（或矩阵）元素
*在机器学习中（新），张量网络可以被用来做分类器，也可以利用量子力学的Born法则表达一个概率分布，构造一个生成模型（'''今天的主要内容'''）。
*张量网络在不同的领域中的应用基本上概括为
**量子物理：'''优化'''
**应用数学：'''拟合'''
**机器学习：'''泛化'''
==张量网络(张量分解)==
===秩为1的张量：直积态===
*最简单的张量网络: 秩为1的张量或者说是直积态，可分解(Factorized)纯态。它的参数数目最少，参数数目线性正比与组分数目，组分之间互相独立。
**一个量子比特，两个本征态:
***第一个本征态（类似像素黑）表示成 <math>| {\uparrow } \rang =|0\rangle=\left(\begin{matrix}1\\0\end{matrix}\right)</math>,
***第二个本征态（类似像素白）表示成 <math>|{\downarrow }\rangle=|1\rangle=\left(\begin{matrix}0\\1\end{matrix}\right)</math>，
***灰度值为0.8的像素表示成两个本征态的叠加 <math>|\Psi\rangle=\sqrt{0.8}|{\uparrow }\rangle+\sqrt{0.2}|{\downarrow }\rangle=\left(\begin{matrix}\sqrt{0.8}\\\sqrt{0.2}\end{matrix}\right)</math>
**两个量子比特(qubit)的直积态：<math>|\Psi\rangle =|{\uparrow }\rangle|{\downarrow }\rangle=\left(\begin{matrix}1\\0\end{matrix}\right)\otimes \left(\begin{matrix}0\\1\end{matrix}\right)=\left(\begin{matrix}0\\1\\0\\0\end{matrix}\right)=\left(\begin{matrix}0&0\\1&0\end{matrix}\right)</math> [[File:Product state 1.png|120px|缩略图||两个量子比特的直积态]]
**两个量子比特的直积态：<math>|\Psi\rangle =|{\uparrow }\rangle\left(\frac{1}{\sqrt{2}}|{\uparrow }\rangle+\frac{1}{\sqrt{2}}|{\downarrow }\rangle\right)</math>
*秩为1的张量作为模型可以用来拟合任意的张量（当然误差可能非常大），或者说提取任意张量的“最重要”的信息，但它的缺点是参数数目太少，表达能力十分有限。n个量子比特，精确描述可能需要 <math>2^n</math>个参数( <math>2^n-1</math>个自由参数)，但是秩为1对张量只有 <math>2n</math>个参数(<math>n</math>个自由参数)。
[[File:rank_1.png|520px|缩略图|居中||用秩为1的张量拟合一个任意张量]]
*秩为1张量的推广
**CP分解，Canonical rank, 参数数目ndr
**Tucker分解，参数数目(ndr+r^n)
**矩阵乘积态，也叫做Tensor Train,ndr^2
===秩大于1的张量:'''纠缠态'''===
*不可分解的纯态
**两个量子比特的纠缠态: <math>\frac{1}{\sqrt{2}}|{\uparrow }\rangle|{\downarrow }\rangle-\frac{1}{\sqrt{2}}|{\downarrow }\rangle|{\uparrow }\rangle </math>，在任何基下都不能写成直积态，纠缠来源于(anti)相关性。
**EPR对: <math>\frac{1}{\sqrt{2}}|{\uparrow }\rangle|{\uparrow }\rangle+\frac{1}{\sqrt{2}}|{\downarrow }\rangle|{\downarrow }\rangle </math>， 它的rank是多少？
**<math>|\textrm{GHZ}\rangle=\frac{1}{\sqrt{2}}\left( |{\uparrow }\rang^{\otimes n}+ | {\downarrow }\rangle^{\otimes n}\right)</math>
*秩与纠缠
**秩为1->没有纠缠。
**秩越大，通常纠缠越多，通过纠缠熵(Entanglement entropy)来定量刻画。
**纠缠意味着一些信息被两个量子比特共享，单独看其中一个会损失信息！
**张量展开成 <math>2\times 2</math>矩阵的rank＝这个矩阵Singular value非零元素个数 ＝ 约化密度矩阵非零本征值数目
**为什么是SVD？因为SVD = Schmidt decomposition，天然的正交二分方法。
**多个（例如7个）量子比特怎么看两个子系统（例如前3个和后4个）之间有没有纠缠？
***同样是把维度为 <math>2^7</math>的张量需要展开成维度为 <math>2^3\times 2^4</math>的矩阵，然后看这个矩阵的秩。
***这个矩阵的奇异值平方＝约化密度矩阵的本征值。
***大家回想一下Singular Values的定义，实际上求解一个矩阵的SVD的一个方法就是去求解这个矩阵所对应的协方差矩阵的本征值问题。
***这个 <math>2^7</math>的张量有很多种展开成矩阵的方法，这实际对应着不同的permute -> reshape 操作。对任意张量如果可以这么操作（有无限大内存和计算量），这会给出纠缠的准确度量，给出DMRG所需的最大bond dimension。
**小测试：<math>|\Psi\rangle=\frac{1}{ {2}}|{\uparrow }\rangle|{\uparrow }\rangle+\frac{1}{ {2}}|{\downarrow }\rangle|{\downarrow }\rangle+\frac{1}{ {2}}|{\uparrow }\rangle|{\downarrow }\rangle+\frac{1}{ {2}}|{\downarrow }\rangle|{\uparrow }\rangle </math>有没有纠缠？
*纠缠熵
**纠缠熵定义为约化密度矩阵的熵。
***密度矩阵<math>\rho=|\Psi\rangle\langle\Psi|</math> （对于纯态波函数<math>\Psi</math>）秩为1。
***约化密度矩阵<math>\rho_A=\textrm{Tr}_B|\Psi\rangle\langle\Psi|</math>的秩是否大于1决定A系统和B系统有无纠缠。
***<math>
\psi_{AB}</math>是<math>\Psi</math>被reshape后得到的矩阵。有<math>\rho_A=\psi_{AB}\psi_{AB}^\dagger</math>， 因此<math>\rho_A</math>的秩等于<math>\rho_B</math>的秩等于<math>
\psi_{AB}</math>的秩。
***<math>\rho_A</math>的本征值等于<math>\rho_B</math>的本征值等于<math>
\psi_{AB}</math>的奇异值平方。
***纠缠熵定义为<math>S(\rho_A)=S(U\rho_A U^\dagger)=S(P(\{\lambda_i\}))=\sum_i\lambda_i\log(\lambda_i)</math>,其中U是酉矩阵,<math> P(\{\lambda_i)\}</math>是约化密度矩阵的本征值的概率分布。
===物理中常用的张量网络===
*矩阵乘积态(Matrix Product States), 在应用数学中称为Tensor Train [[File:tns.png|320px|缩略图|居右||]]
**常被用于(一维)量子系统
**缩并很简单
**关联指数衰减
*Projected Entanglement Pair State (PEPS), 二维的MPS
**天然对应二维系统
**缩并指数难
*Tree Tensor Network, 在应用数学中Hierarchical Tucker Decomposition
**和mps差不多，但是有着关联长度的优势
*Multi Entanglement Renormalization Ansatz
**常用语描述临界系统，关联power law衰减
==矩阵乘积态==
==张量网络作为非监督生成模型==
[[category:旧词条迁移]]
主讲人为张潘。作为外行主讲，这次的风格会和2016年尤亦庄主讲的张量网络不大相同，大家请同时参考[[2016研读营之张量网络]]
==数据与张量==
*数据表示为希尔伯特空间中的一个向量，不同的特征映射方式会给出不同的希尔伯特空间。[[File:tensor6.png|220px|缩略图||6维的张量]]
*对数据的线性操作表示为希尔伯特空间的一个算符。高维空间的线性操作可以对应低维空间的非线性操作。核方法(Kernel method)，表示理论(representation theorem)。
*无论是向量还是算符，我们可以统一地用张量（高维数组）来表示它。
*维数灾难(curse of dimensionality) -> 希尔伯特空间维度非常大->张量的参数数目非常多->我们无法轻易表达这个张量
*张量降维 = 希尔伯特空间压缩 = 张量网络
==张量网络的应用==
*张量网络与概率图模型：张量缩并对应隐变量求和（积分）
*在物理中，张量网络常常
**缩并掉虚拟指标，表达一个波函数
**缩并掉所有指标，表达经典系统的配分函数
*在应用数学中，张量网络被用来拟合一个函数或另一个张量，或用来预测未知张量（或矩阵）元素
*在机器学习中（新），张量网络可以被用来做分类器，也可以利用量子力学的Born法则表达一个概率分布，构造一个生成模型（'''今天的主要内容'''）。
*张量网络在不同的领域中的应用基本上概括为
**量子物理：'''优化'''
**应用数学：'''拟合'''
**机器学习：'''泛化'''
==张量网络(张量分解)==
===秩为1的张量：直积态===
*最简单的张量网络: 秩为1的张量或者说是直积态，可分解(Factorized)纯态。它的参数数目最少，参数数目线性正比与组分数目，组分之间互相独立。
**一个量子比特，两个本征态:
***第一个本征态（类似像素黑）表示成 <math>| {\uparrow } \rang =|0\rangle=\left(\begin{matrix}1\\0\end{matrix}\right)</math>,
***第二个本征态（类似像素白）表示成 <math>|{\downarrow }\rangle=|1\rangle=\left(\begin{matrix}0\\1\end{matrix}\right)</math>，
***灰度值为0.8的像素表示成两个本征态的叠加 <math>|\Psi\rangle=\sqrt{0.8}|{\uparrow }\rangle+\sqrt{0.2}|{\downarrow }\rangle=\left(\begin{matrix}\sqrt{0.8}\\\sqrt{0.2}\end{matrix}\right)</math>
**两个量子比特(qubit)的直积态：<math>|\Psi\rangle =|{\uparrow }\rangle|{\downarrow }\rangle=\left(\begin{matrix}1\\0\end{matrix}\right)\otimes \left(\begin{matrix}0\\1\end{matrix}\right)=\left(\begin{matrix}0\\1\\0\\0\end{matrix}\right)=\left(\begin{matrix}0&0\\1&0\end{matrix}\right)</math> [[File:Product state 1.png|120px|缩略图||两个量子比特的直积态]]
**两个量子比特的直积态：<math>|\Psi\rangle =|{\uparrow }\rangle\left(\frac{1}{\sqrt{2}}|{\uparrow }\rangle+\frac{1}{\sqrt{2}}|{\downarrow }\rangle\right)</math>
*秩为1的张量作为模型可以用来拟合任意的张量（当然误差可能非常大），或者说提取任意张量的“最重要”的信息，但它的缺点是参数数目太少，表达能力十分有限。n个量子比特，精确描述可能需要 <math>2^n</math>个参数( <math>2^n-1</math>个自由参数)，但是秩为1对张量只有 <math>2n</math>个参数(<math>n</math>个自由参数)。
[[File:rank_1.png|520px|缩略图|居中||用秩为1的张量拟合一个任意张量]]
*秩为1张量的推广
**CP分解，Canonical rank, 参数数目ndr
**Tucker分解，参数数目(ndr+r^n)
**矩阵乘积态，也叫做Tensor Train,ndr^2
===秩大于1的张量:'''纠缠态'''===
*不可分解的纯态
**两个量子比特的纠缠态: <math>\frac{1}{\sqrt{2}}|{\uparrow }\rangle|{\downarrow }\rangle-\frac{1}{\sqrt{2}}|{\downarrow }\rangle|{\uparrow }\rangle </math>，在任何基下都不能写成直积态，纠缠来源于(anti)相关性。
**EPR对: <math>\frac{1}{\sqrt{2}}|{\uparrow }\rangle|{\uparrow }\rangle+\frac{1}{\sqrt{2}}|{\downarrow }\rangle|{\downarrow }\rangle </math>， 它的rank是多少？
**<math>|\textrm{GHZ}\rangle=\frac{1}{\sqrt{2}}\left( |{\uparrow }\rang^{\otimes n}+ | {\downarrow }\rangle^{\otimes n}\right)</math>
*秩与纠缠
**秩为1->没有纠缠。
**秩越大，通常纠缠越多，通过纠缠熵(Entanglement entropy)来定量刻画。
**纠缠意味着一些信息被两个量子比特共享，单独看其中一个会损失信息！
**张量展开成 <math>2\times 2</math>矩阵的rank＝这个矩阵Singular value非零元素个数 ＝ 约化密度矩阵非零本征值数目
**为什么是SVD？因为SVD = Schmidt decomposition，天然的正交二分方法。
**多个（例如7个）量子比特怎么看两个子系统（例如前3个和后4个）之间有没有纠缠？
***同样是把维度为 <math>2^7</math>的张量需要展开成维度为 <math>2^3\times 2^4</math>的矩阵，然后看这个矩阵的秩。
***这个矩阵的奇异值平方＝约化密度矩阵的本征值。
***大家回想一下Singular Values的定义，实际上求解一个矩阵的SVD的一个方法就是去求解这个矩阵所对应的协方差矩阵的本征值问题。
***这个 <math>2^7</math>的张量有很多种展开成矩阵的方法，这实际对应着不同的permute -> reshape 操作。对任意张量如果可以这么操作（有无限大内存和计算量），这会给出纠缠的准确度量，给出DMRG所需的最大bond dimension。
**小测试：<math>|\Psi\rangle=\frac{1}{ {2}}|{\uparrow }\rangle|{\uparrow }\rangle+\frac{1}{ {2}}|{\downarrow }\rangle|{\downarrow }\rangle+\frac{1}{ {2}}|{\uparrow }\rangle|{\downarrow }\rangle+\frac{1}{ {2}}|{\downarrow }\rangle|{\uparrow }\rangle </math>有没有纠缠？
*纠缠熵
**纠缠熵定义为约化密度矩阵的熵。
***密度矩阵<math>\rho=|\Psi\rangle\langle\Psi|</math> （对于纯态波函数<math>\Psi</math>）秩为1。
***约化密度矩阵<math>\rho_A=\textrm{Tr}_B|\Psi\rangle\langle\Psi|</math>的秩是否大于1决定A系统和B系统有无纠缠。
***<math>
\psi_{AB}</math>是<math>\Psi</math>被reshape后得到的矩阵。有<math>\rho_A=\psi_{AB}\psi_{AB}^\dagger</math>， 因此<math>\rho_A</math>的秩等于<math>\rho_B</math>的秩等于<math>
\psi_{AB}</math>的秩。
***<math>\rho_A</math>的本征值等于<math>\rho_B</math>的本征值等于<math>
\psi_{AB}</math>的奇异值平方。
***纠缠熵定义为<math>S(\rho_A)=S(U\rho_A U^\dagger)=S(P(\{\lambda_i\}))=\sum_i\lambda_i\log(\lambda_i)</math>,其中U是酉矩阵,<math> P(\{\lambda_i)\}</math>是约化密度矩阵的本征值的概率分布。
===物理中常用的张量网络===
*矩阵乘积态(Matrix Product States), 在应用数学中称为Tensor Train [[File:tns.png|320px|缩略图|居右||]]
**常被用于(一维)量子系统
**缩并很简单
**关联指数衰减
*Projected Entanglement Pair State (PEPS), 二维的MPS
**天然对应二维系统
**缩并指数难
*Tree Tensor Network, 在应用数学中Hierarchical Tucker Decomposition
**和mps差不多，但是有着关联长度的优势
*Multi Entanglement Renormalization Ansatz
**常用语描述临界系统，关联power law衰减
==矩阵乘积态==
==张量网络作为非监督生成模型==
[[category:旧词条迁移]]