Na teoria da probabilidade, um modelo de Markov é um modelo estocástico usado para modelar sistemas de mudança pseudo-aleatória. Presume-se que os estados futuros do sistema dependem apenas do estado atual, não dos eventos que ocorreram antes dele (ou seja, presume a propriedade de Markov). Geralmente, essa suposição permite raciocínio e computação com o modelo que, de outra forma, seria intratável. Por esta razão, nas áreas de modelagem preditiva e previsão probabilística, é desejável que um determinado modelo exiba a propriedade de Markov.
Introdução
Existem quatro modelos de Markov usados em diferentes situações, dependendo se cada estado sequencial é observável ou não, e se o sistema deve ser ajustado com base nas observações:
Modelos de Markov
|
|
O estado do sistema é totalmente observável
|
O estado do sistema é parcialmente observável
|
| O sistema é autônomo
|
cadeia de Markov
|
Modelo oculto de Markov
|
| O sistema é controlado
|
processo de decisão de Markov
|
Processo de decisão de Markov parcialmente observável
|
Cadeia de Markov
O modelo de Markov mais simples é a cadeia de Markov . Ele modela o estado de um sistema com uma variável aleatória que muda ao longo do tempo. Nesse contexto, a propriedade de Markov sugere que a distribuição dessa variável depende apenas da distribuição de um estado anterior. Um exemplo de uso de uma cadeia de Markov é a cadeia de Markov Monte Carlo.
Modelo oculto de Markov
Um modelo oculto de Markov é uma cadeia de Markov para a qual o estado é apenas parcialmente observável ou observável com ruído. Em outras palavras, as observações estão relacionadas ao estado do sistema, mas normalmente são insuficientes para determinar seu estado com precisão.
Processo de decisão de Markov
Um processo de decisão de Markov é uma cadeia de Markov na qual as transições de estado dependem do estado atual do sistema e de um vetor de ação aplicado ao sistema. Um processo de decisão de Markov é geralmente empregado para calcular um plano de ações que maximizará alguma utilidade em relação às recompensas esperadas.
Processo de decisão de Markov parcialmente observável
Um processo de decisão de Markov parcialmente observável (PDMPO) é um processo de decisão de Markov no qual o estado do sistema é observado apenas parcialmente. Os PDMPOs são conhecidos por serem NP-completos, mas técnicas de aproximação recentes os tornaram úteis para uma variedade de aplicações, como controlar agentes simples ou robôs. [1]
Veja também
Notas
- Este artigo foi inicialmente traduzido, total ou parcialmente, do artigo da Wikipédia em inglês cujo título é «Markov model».
Referências
