Produs Khatri–Rao

În matematică produsul Khatri–Rao al matricilor este definit drept^[1][2][3]

${\displaystyle \mathbf {A} \ast \mathbf {B} =\left(\mathbf {A} _{ij}\otimes \mathbf {B} _{ij}\right)_{ij}}$

în care al ij-lea bloc este produsul Kronecker m_ip_i × n_jq_j al blocurilor corespunzătoare din A și B, presupunând că numărul partițiilor pe linii și coloane ale ambelor matrici este egal . Mărimea produsului este atunci (Σ_i m_ip_i) × (Σ_j n_jq_j).

De exemplu, dacă ambele A și B sunt partiționate 2 × 2:

${\displaystyle \mathbf {A} =\left[{\begin{array}{c | c}\mathbf {A} _{11}&\mathbf {A} _{12}\\\hline \mathbf {A} _{21}&\mathbf {A} _{22}\end{array}}\right]=\left[{\begin{array}{c c | c}1&2&3\\4&5&6\\\hline 7&8&9\end{array}}\right],\quad \mathbf {B} =\left[{\begin{array}{c | c}\mathbf {B} _{11}&\mathbf {B} _{12}\\\hline \mathbf {B} _{21}&\mathbf {B} _{22}\end{array}}\right]=\left[{\begin{array}{c | c c}1&4&7\\\hline 2&5&8\\3&6&9\end{array}}\right],}$

se obține:

${\displaystyle \mathbf {A} \ast \mathbf {B} =\left[{\begin{array}{c | c}\mathbf {A} _{11}\otimes \mathbf {B} _{11}&\mathbf {A} _{12}\otimes \mathbf {B} _{12}\\\hline \mathbf {A} _{21}\otimes \mathbf {B} _{21}&\mathbf {A} _{22}\otimes \mathbf {B} _{22}\end{array}}\right]=\left[{\begin{array}{c c | c c}1&2&12&21\\4&5&24&42\\\hline 14&16&45&72\\21&24&54&81\end{array}}\right].}$

Aceasta este o submatrice a produsului Tracy–Singh^[4] dintre cele două matrici (fiecare partiție din acest exemplu este o partiție într-un colț al produsului Tracy–Singh) și poate fi numită și produsul Kronecker pe blocuri.

Produsul cu divizarea feței

Produs cu divizarea feței matricilor

Un concept alternativ al produsului matricial, care utilizează divizarea pe linii a matricilor cu un anumit număr de linii a fost propus de Vadim Sliusar^[5] în 1996. ^{[6][7][8][9][10]}

Această operație matricială a fost numită „produsul cu divizarea feței” al matricilor^[7][9] sau "produsul Khatri–Rao transpus". Acest tip de operație se bazează pe produse Kronecker linie cu linie din două matrici. Folosind matricile din exemplele anterioare partiționate pe linii:

${\displaystyle \mathbf {C} ={\begin{bmatrix}\mathbf {C} _{1}\\\hline \mathbf {C} _{2}\\\hline \mathbf {C} _{3}\\\end{bmatrix}}={\begin{bmatrix}1&2&3\\\hline 4&5&6\\\hline 7&8&9\end{bmatrix}},\quad \mathbf {D} ={\begin{bmatrix}\mathbf {D} _{1}\\\hline \mathbf {D} _{2}\\\hline \mathbf {D} _{3}\\\end{bmatrix}}={\begin{bmatrix}1&4&7\\\hline 2&5&8\\\hline 3&6&9\end{bmatrix}},}$

rezultatul este:^[6][7][9]

${\displaystyle \mathbf {C} \bullet \mathbf {D} ={\begin{bmatrix}\mathbf {C} _{1}\otimes \mathbf {D} _{1}\\\hline \mathbf {C} _{2}\otimes \mathbf {D} _{2}\\\hline \mathbf {C} _{3}\otimes \mathbf {D} _{3}\\\end{bmatrix}}={\begin{bmatrix}1&4&7&2&8&14&3&12&21\\\hline 8&20&32&10&25&40&12&30&48\\\hline 21&42&63&24&48&72&27&54&81\end{bmatrix}}.}$

Principalele proprietăți

1. Transpusa (V. Sliusar, 1996^[6][7][8]):

   ${\displaystyle \left(\mathbf {A} \bullet \mathbf {B} \right)^{\textsf {T}}={\textbf {A}}^{\textsf {T}}\ast \mathbf {B} ^{\textsf {T}}}$,

2. Biliniaritate și asociativitate:^[6][7][8]

   ${\displaystyle {\begin{aligned}\mathbf {A} \bullet (\mathbf {B} +\mathbf {C} )&=\mathbf {A} \bullet \mathbf {B} +\mathbf {A} \bullet \mathbf {C} ,\\(\mathbf {B} +\mathbf {C} )\bullet \mathbf {A} &=\mathbf {B} \bullet \mathbf {A} +\mathbf {C} \bullet \mathbf {A} ,\\(k\mathbf {A} )\bullet \mathbf {B} &=\mathbf {A} \bullet (k\mathbf {B} )=k(\mathbf {A} \bullet \mathbf {B} ),\\(\mathbf {A} \bullet \mathbf {B} )\bullet \mathbf {C} &=\mathbf {A} \bullet (\mathbf {B} \bullet \mathbf {C} ),\\\end{aligned}}}$

   unde A, B și C sunt matrici, iar k este un scalar,

   ${\displaystyle a\bullet \mathbf {B} =\mathbf {B} \bullet a}$,^[8]

   unde ${\displaystyle a}$ este un vector,
3. Proprietatea produsului mixt (V. Sliusar, 1997^[8]):

   ${\displaystyle (\mathbf {A} \bullet \mathbf {B} )\left(\mathbf {A} ^{\textsf {T}}\ast \mathbf {B} ^{\textsf {T}}\right)=\left(\mathbf {A} \mathbf {A} ^{\textsf {T}}\right)\circ \left(\mathbf {B} \mathbf {B} ^{\textsf {T}}\right)}$,

   ${\displaystyle (\mathbf {A} \bullet \mathbf {B} )(\mathbf {C} \ast \mathbf {D} )=(\mathbf {A} \mathbf {C} )\circ (\mathbf {B} \mathbf {D} )}$,^[9]

   ${\displaystyle (\mathbf {A} \bullet \mathbf {B} \bullet \mathbf {C} \bullet \mathbf {D} )(\mathbf {L} \ast \mathbf {M} \ast \mathbf {N} \ast \mathbf {P} )=(\mathbf {A} \mathbf {L} )\circ (\mathbf {B} \mathbf {M} )\circ (\mathbf {C} \mathbf {N} )\circ (\mathbf {D} \mathbf {P} )}$^[11]

   ${\displaystyle (\mathbf {A} \ast \mathbf {B} )^{\textsf {T}}(\mathbf {A} \ast \mathbf {B} )=\left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)\circ \left(\mathbf {B} ^{\textsf {T}}\mathbf {B} \right)}$,^[12]

   unde ${\displaystyle \circ }$ indică produsul Hadamard,
4. ${\displaystyle (\mathbf {A} \circ \mathbf {B} )\bullet (\mathbf {C} \circ \mathbf {D} )=(\mathbf {A} \bullet \mathbf {C} )\circ (\mathbf {B} \bullet \mathbf {D} )}$,^[8]
5. ${\displaystyle \ a\otimes (\mathbf {B} \bullet \mathbf {C} )=(a\otimes \mathbf {B} )\bullet \mathbf {C} }$,^[6] unde ${\displaystyle a}$ este un vector-linie,
6. ${\displaystyle (\mathbf {A} \otimes \mathbf {B} )(\mathbf {C} \ast \mathbf {D} )=(\mathbf {A} \mathbf {C} )\ast (\mathbf {B} \mathbf {D} )}$,^[12]
7. ${\displaystyle (\mathbf {A} \otimes \mathbf {B} )\ast (\mathbf {C} \otimes \mathbf {D} )=\mathbf {P} [(\mathbf {A} \ast \mathbf {C} )\otimes (\mathbf {B} \ast \mathbf {D} )]}$, unde ${\displaystyle \mathbf {P} }$ este matricea de permutări.^[13]
8.  

   ${\displaystyle (\mathbf {A} \bullet \mathbf {B} )(\mathbf {C} \otimes \mathbf {D} )=(\mathbf {A} \mathbf {C} )\bullet (\mathbf {B} \mathbf {D} )}$,^[9][11]

   Similar:

   ${\displaystyle (\mathbf {A} \bullet \mathbf {L} )(\mathbf {B} \otimes \mathbf {M} )\cdots (\mathbf {C} \otimes \mathbf {S} )=(\mathbf {A} \mathbf {B} \cdots \mathbf {C} )\bullet (\mathbf {L} \mathbf {M} \cdots \mathbf {S} )}$,

9.  
   ${\displaystyle c^{\textsf {T}}\bullet d^{\textsf {T}}=c^{\textsf {T}}\otimes d^{\textsf {T}}}$,^[8]
   ${\displaystyle c\ast d=c\otimes d}$,
   unde ${\displaystyle c}$ și ${\displaystyle d}$ sunt vectori,
10. ${\displaystyle \left(\mathbf {A} \ast c^{\textsf {T}}\right)d=\left(\mathbf {A} \ast d^{\textsf {T}}\right)c}$,^[14] ${\displaystyle d^{\textsf {T}}\left(c\bullet \mathbf {A} ^{\textsf {T}}\right)=c^{\textsf {T}}\left(d\bullet \mathbf {A} ^{\textsf {T}}\right)}$,
11.  

    ${\displaystyle (\mathbf {A} \bullet \mathbf {B} )(c\otimes d)=(\mathbf {A} c)\circ (\mathbf {B} d)}$,^[15]

    unde ${\displaystyle c}$ și ${\displaystyle d}$ sunt vectori (este o combinare a proprietăților 3 și 8). Similar:

    ${\displaystyle (\mathbf {A} \bullet \mathbf {B} )(\mathbf {M} \mathbf {N} c\otimes \mathbf {Q} \mathbf {P} d)=(\mathbf {A} \mathbf {M} \mathbf {N} c)\circ (\mathbf {B} \mathbf {Q} \mathbf {P} d),}$

12.  
    ${\displaystyle {\mathcal {F}}\left(C^{(1)}x\star C^{(2)}y\right)=\left({\mathcal {F}}C^{(1)}\bullet {\mathcal {F}}C^{(2)}\right)(x\otimes y)={\mathcal {F}}C^{(1)}x\circ {\mathcal {F}}C^{(2)}y}$,
    unde ${\displaystyle \star }$ este convoluția vectorilor, iar ${\displaystyle {\mathcal {F}}}$ este matricea Fourier^⁠(d),
13.  

    ${\displaystyle \mathbf {A} \bullet \mathbf {B} =\left(\mathbf {A} \otimes \mathbf {1_{c}} ^{\textsf {T}}\right)\circ \left(\mathbf {1_{k}} ^{\textsf {T}}\otimes \mathbf {B} \right)}$,^[16]

    unde ${\displaystyle \mathbf {A} }$ este matricea ${\displaystyle r\times c}$, ${\displaystyle \mathbf {B} }$ este matricea${\displaystyle r\times k}$, ${\displaystyle \mathbf {1_{c}} }$ este vectorul cu toate elementele de lungime 1 ${\displaystyle c}$, iar ${\displaystyle \mathbf {1_{k}} }$ este vectorul cu toate elementele de lungime 1 ${\displaystyle k}$ sau

    ${\displaystyle \mathbf {M} \bullet \mathbf {M} =\left(\mathbf {M} \otimes \mathbf {1} ^{\textsf {T}}\right)\circ \left(\mathbf {1} ^{\textsf {T}}\otimes \mathbf {M} \right)}$,^[17]

    unde ${\displaystyle \mathbf {M} }$ este matricea ${\displaystyle r\times c}$, ${\displaystyle \circ }$ indică îmmulțirea pe elemente, iar ${\displaystyle \mathbf {1} }$ este vectorul cu toate elementele de lungime 1 ${\displaystyle c}$.

    ${\displaystyle \mathbf {M} \bullet \mathbf {M} =\mathbf {M} [\circ ]\left(\mathbf {M} \otimes \mathbf {1} ^{\textsf {T}}\right)}$,

    unde ${\displaystyle [\circ ]}$ indică produsul cu penetrarea feței al matricelor.^[9] Similar:

    ${\displaystyle \mathbf {P} \ast \mathbf {N} =(\mathbf {P} \otimes \mathbf {1_{c}} )\circ (\mathbf {1_{k}} \otimes \mathbf {N} )}$,

    unde ${\displaystyle \mathbf {P} }$ este matricea ${\displaystyle c\times r}$, iar ${\displaystyle \mathbf {N} }$ este matricea ${\displaystyle k\times r}$,
14.  

    ${\displaystyle \mathbf {W_{d}} \mathbf {A} =\mathbf {w} \bullet \mathbf {A} }$,^[8]

    ${\displaystyle vec((\mathbf {w} ^{\textsf {T}}\ast \mathbf {A} )\mathbf {B} )=(\mathbf {B} ^{\textsf {T}}\ast \mathbf {A} )\mathbf {w} }$^[9]= ${\displaystyle vec(\mathbf {A} (\mathbf {w} \bullet \mathbf {B} ))}$,

    ${\displaystyle \operatorname {vec} \left(\mathbf {A} ^{\textsf {T}}\mathbf {W_{d}} \mathbf {A} \right)=\left(\mathbf {A} \bullet \mathbf {A} \right)^{\textsf {T}}\mathbf {w} }$,^[17]

    unde ${\displaystyle \mathbf {w} }$ este vectorul format din elementele de pe diagonala ${\displaystyle \mathbf {W_{d}} }$, ${\displaystyle \operatorname {vec} (\mathbf {A} )}$ este stivuirea coloanelor matricei ${\displaystyle \mathbf {A} }$ una peste alta pentru a forma un vector.
15.  

    ${\displaystyle (\mathbf {A} \bullet \mathbf {L} )(\mathbf {B} \otimes \mathbf {M} )\cdots (\mathbf {C} \otimes \mathbf {S} )(\mathbf {K} \ast \mathbf {T} )=(\mathbf {A} \mathbf {B} ...\mathbf {C} \mathbf {K} )\circ (\mathbf {L} \mathbf {M} ...\mathbf {S} \mathbf {T} )}$.^[9][11]

    Similar:

    ${\displaystyle {\begin{aligned}(\mathbf {A} \bullet \mathbf {L} )(\mathbf {B} \otimes \mathbf {M} )\cdots (\mathbf {C} \otimes \mathbf {S} )(c\otimes d)&=(\mathbf {A} \mathbf {B} \cdots \mathbf {C} c)\circ (\mathbf {L} \mathbf {M} \cdots \mathbf {S} d),\\(\mathbf {A} \bullet \mathbf {L} )(\mathbf {B} \otimes \mathbf {M} )\cdots (\mathbf {C} \otimes \mathbf {S} )(\mathbf {P} c\otimes \mathbf {Q} d)&=(\mathbf {A} \mathbf {B} \cdots \mathbf {C} \mathbf {P} c)\circ (\mathbf {L} \mathbf {M} \cdots \mathbf {S} \mathbf {Q} d)\end{aligned}}}$,

    unde ${\displaystyle c}$ și ${\displaystyle d}$ sunt vectori.

Exemple^[15]

${\displaystyle {\begin{aligned}&\left({\begin{bmatrix}1&0\\0&1\\1&0\end{bmatrix}}\bullet {\begin{bmatrix}1&0\\1&0\\0&1\end{bmatrix}}\right)\left({\begin{bmatrix}1&1\\1&-1\end{bmatrix}}\otimes {\begin{bmatrix}1&1\\1&-1\end{bmatrix}}\right)\left({\begin{bmatrix}\sigma _{1}&0\\0&\sigma _{2}\\\end{bmatrix}}\otimes {\begin{bmatrix}\rho _{1}&0\\0&\rho _{2}\\\end{bmatrix}}\right)\left({\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}\ast {\begin{bmatrix}y_{1}\\y_{2}\end{bmatrix}}\right)\\[5pt]{}={}&\left({\begin{bmatrix}1&0\\0&1\\1&0\end{bmatrix}}\bullet {\begin{bmatrix}1&0\\1&0\\0&1\end{bmatrix}}\right)\left({\begin{bmatrix}1&1\\1&-1\end{bmatrix}}{\begin{bmatrix}\sigma _{1}&0\\0&\sigma _{2}\\\end{bmatrix}}{\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}\,\otimes \,{\begin{bmatrix}1&1\\1&-1\end{bmatrix}}{\begin{bmatrix}\rho _{1}&0\\0&\rho _{2}\\\end{bmatrix}}{\begin{bmatrix}y_{1}\\y_{2}\end{bmatrix}}\right)\\[5pt]{}={}&{\begin{bmatrix}1&0\\0&1\\1&0\end{bmatrix}}{\begin{bmatrix}1&1\\1&-1\end{bmatrix}}{\begin{bmatrix}\sigma _{1}&0\\0&\sigma _{2}\\\end{bmatrix}}{\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}\,\circ \,{\begin{bmatrix}1&0\\1&0\\0&1\end{bmatrix}}{\begin{bmatrix}1&1\\1&-1\end{bmatrix}}{\begin{bmatrix}\rho _{1}&0\\0&\rho _{2}\\\end{bmatrix}}{\begin{bmatrix}y_{1}\\y_{2}\end{bmatrix}}.\end{aligned}}}$

Aplicații

Produsul cu divizarea feței este utilizat în teoria matricei-tensor a matricei de antene digitale. Aceste operațiuni sunt utilizate și în:

• Sisteme de inteligență artificială și învățare automată pentru minimizarea operatiilor de convoluție,^[15]
• Modele populare de prelucrare a limbajului natural și modele hipergraf de similitudine,^[18]
• Aproximarea datelor cu funcții P-spline^⁠(d),^[16]
• Modelul liniar generalizat matricial în statistică,^[17]
• Alte prelucrări statistice, cum ar fi studiile interacțiunilor în mediul genotip X.^[19]

Note

1. en Khatri, C. G.; Rao, C. R. (1968). „Solutions to some functional equations and their applications to characterization of probability distributions”. Sankhya. 30: 167–180. Arhivat din original (PDF) la 23 octombrie 2010. Accesat în 21 august 2008. 
2. en Liu, Shuangzhe (1999). „Matrix Results on the Khatri–Rao and Tracy–Singh Products”. Linear Algebra and Its Applications. 289 (1–3): 267–277. doi:10.1016/S0024-3795(98)10209-4 . 
3. en Zhang X; Yang Z; Cao C. (2002), „Inequalities involving Khatri–Rao products of positive semi-definite matrices”, Applied Mathematics E-notes, 2: 117–124 
4. en Liu, Shuangzhe; Trenkler, Götz (2008). „Hadamard, Khatri-Rao, Kronecker and other matrix products”. International Journal of Information and Systems Sciences. 4 (1): 160–177. 
5. en Anna Esteve, Eva Boj & Josep Fortiana (2009): "Interaction Terms in Distance-Based Regression," Communications in Statistics – Theory and Methods, 38:19, p. 3501 [1]
6. ^ en Slyusar, V. I. (27 decembrie 1996). „End products in matrices in radar applications” (PDF). Izvestiya VUZ: Radioelektronika. 41 (3): 50–53. 
7. ^ en Slyusar, V. I. (20 mai 1997). „Analytical model of the digital antenna array on a basis of face-splitting matrix products” (PDF). Proc. ICATT-97, Kyiv: 108–109. 
8. ^ en Slyusar, V. I. (15 septembrie 1997). „New operations of matrices product for applications of radars” (PDF). Proc. Direct and Inverse Problems of Electromagnetic and Acoustic Wave Theory (DIPED-97), Lviv.: 73–74. 
9. ^ en Slyusar, V. I. (13 martie 1998). „A Family of Face Products of Matrices and its Properties” (PDF). Cybernetics and Systems Analysis C/C of Kibernetika I Sistemnyi Analiz. 1999. 35 (3): 379–384. doi:10.1007/BF02733426. 
10. en Slyusar, V. I. (2003). „Generalized face-products of matrices in models of digital antenna arrays with nonidentical channels” (PDF). Radioelectronics and Communications Systems. 46 (10): 9–17. 
11. ^ en Vadym Slyusar. New Matrix Operations for DSP (Lecture). April 1999. – DOI: 10.13140/RG.2.2.31620.76164/1
12. ^ en C. R. Rao. Estimation of Heteroscedastic Variances in Linear Models.//Journal of the American Statistical Association, Vol. 65, No. 329 (Mar., 1970), pp. 161–172
13. en Masiero, B.; Nascimento, V. H. (1 mai 2017). „Revisiting the Kronecker Array Transform”. IEEE Signal Processing Letters. 24 (5): 525–529. Bibcode:2017ISPL...24..525M. doi:10.1109/LSP.2017.2674969. ISSN 1070-9908. 
14. en Kasiviswanathan, Shiva Prasad, et al. «The price of privately releasing contingency tables and the spectra of random matrices with correlated rows.» Proceedings of the forty-second ACM symposium on Theory of computing. 2010.
15. ^ en Thomas D. Ahle, Jakob Bæk Tejs Knudsen. Almost Optimal Tensor Sketch. Published 2019. Mathematics, Computer Science, ArXiv
16. ^ en Eilers, Paul H.C.; Marx, Brian D. (2003). „Multivariate calibration with temperature interaction using two-dimensional penalized signal regression”. Chemometrics and Intelligent Laboratory Systems. 66 (2): 159–174. doi:10.1016/S0169-7439(03)00029-7. 
17. ^ en Currie, I. D.; Durban, M.; Eilers, P. H. C. (2006). „Generalized linear array models with applications to multidimensional smoothing”. Journal of the Royal Statistical Society. 68 (2): 259–280. doi:10.1111/j.1467-9868.2006.00543.x. 
18. en Bryan Bischof. Higher order co-occurrence tensors for hypergraphs via face-splitting. Published 15 February 2020, Mathematics, Computer Science, ArXiv
19. en Johannes W. R. Martini, Jose Crossa, Fernando H. Toledo, Jaime Cuevas. On Hadamard and Kronecker products in covariance structures for genotype x environment interaction.//Plant Genome. 2020;13:e20033. Page 5. [2]

Bibliografie

• en Rao C.R.; Rao M. Bhaskara (1998), Matrix Algebra and Its Applications to Statistics and Econometrics, World Scientific, p. 216 
• en Zhang X; Yang Z; Cao C. (2002), „Inequalities involving Khatri–Rao products of positive semi-definite matrices”, Applied Mathematics E-notes, 2: 117–124 
• en Liu Shuangzhe; Trenkler Götz (2008), „Hadamard, Khatri-Rao, Kronecker and other matrix products”, International Journal of Information and Systems Sciences, 4: 160–177 

Vezi și

• Produs Kronecker
• Produs Hadamard