更改
跳到导航
跳到搜索
第244行:
第244行:
− +
− +
→混合层级深度模型(Compound hierarchical-deep models)
: <math>p(\boldsymbol{\nu}, \psi) = {\frac{1}{Z}}\sum_h{e^{{\sum_{ij}}{W_{ij}^{(1)}}{\nu_i} {h_j}^1 + {\sum_{jl}}{W_{jl}}^{(2)}{h_j^{1}}{h_l^{2}}+{\sum_{lm}}{W_{lm}^{(3)}}{h_l^{2}}{h_m^{3}}},</math>
: <math>p(\boldsymbol{\nu}, \psi) = {\frac{1}{Z}}\sum_h{e^{{\sum_{ij}}{W_{ij}^{(1)}}{\nu_i} {h_j}^1 + {\sum_{jl}}{W_{jl}}^{(2)}{h_j^{1}}{h_l^{2}}+{\sum_{lm}}{W_{lm}^{(3)}}{h_l^{2}}{h_m^{3}}},</math>
其中<math>\boldsymbol{h} = \{\boldsymbol{h}^{(1)}, \boldsymbol{h}^{(2)}, \boldsymbol{h}^{(3)} \}</math> 是隐藏单元的集合,<math>\psi = \{\boldsymbol{W}^{(1)}, \boldsymbol{W}^{(2)}, \boldsymbol{W}^{(3)} \} </math> 是模型参数, 代表可见-隐藏和隐藏-隐藏对称交互作用项。
其中<math>\boldsymbol{h} = \{\boldsymbol{h}^{(1)}, \boldsymbol{h}^{(2)}, \boldsymbol{h}^{(3)} \}</math> 是隐藏单元的集合,<math>\psi = \{\boldsymbol{W}^{(1)}, \boldsymbol{W}^{(2)}, \boldsymbol{W}^{(3)} \} </math> 是模型参数, 代表可见-隐藏和隐藏-隐藏对称交互作用项。
一个学习后的DBM模型是一个定义联合分布的无向模型<math>P(\nu, h^1, h^2, h^3)</math>. 一种表达学到的东西的方式是【条件模型】 <math>P(\nu, h^1, h^2|h^3)</math> 和一个先验项<math>P(h^3)</math>.
一个学习后的DBM模型是一个定义联合分布的无向模型<math>P(\nu, h^1, h^2, h^3)</math>. 一种表达学到的东西的方式是【条件模型】 <math>P(\nu, h^1, h^2|h^3)</math>和一个先验项<math>P(h^3)</math>.
这里<math>P(\nu, h^1, h^2|h^3)</math> 代表一个条件DBM网络,它可以被看成两层DBM,但带有<math>h^3</math>状态给出的偏置项 :
这里<math>P({\nu}, {h^1}, {h^2}|{h^3})</math>代表一个条件DBM网络,它可以被看成两层DBM,但带有<math>h^3</math>状态给出的偏置项 :
: <math>P(\nu, h^1, h^2|h^3) = \frac{1}{Z(\psi, h^3)}e^{\sum_{ij}W_{ij}^{(1)}\nu_i h_j^1 + \sum_{jl}W_{jl}^{(2)}h_j^{1}h_l^{2}+\sum_{lm}W_{lm}^{(3)}h_l^{2}h_m^{3}}.</math>
: <math>P(\nu, h^1, h^2|h^3) = \frac{1}{Z(\psi, h^3)}e^{\sum_{ij}W_{ij}^{(1)}\nu_i h_j^1 + \sum_{jl}W_{jl}^{(2)}h_j^{1}h_l^{2}+\sum_{lm}W_{lm}^{(3)}h_l^{2}h_m^{3}}.</math>