Среднеобратный ранг

Среднеобратный ранг (MRR) — статистическая оценка откликов процесса на запросы, упорядоченных по вероятности и правильности. Характеризует эффективность информационного поиска. Обратный ранг в данном случае означает обратное число номера (ранга) первого правильного ответа в списке откликов. Среднеобратный ранг определяется как среднее обратных рангов по всем запросам Q:^[1]

${\displaystyle {\text{MRR}}={\frac {1}{|Q|}}\sum _{i=1}^{|Q|}{\frac {1}{{\text{rank}}_{i}}}.\!}$

где ${\displaystyle {\text{rank}}_{i}}$ означает положение первого релевантного документа для запроса i.

Обратное значение среднеобратного ранга соответствует среднему гармоническому между рангами.

Пример

Рассмотрим три запроса, которые переводят русские слова из единственного числа в родительный падеж множественного числа. Во всех случаях данного примера система делает три попытки, первые попытки считаются системой наиболее правильными:

Запрос	Ответы	Правильный ответ	Ранг	Обратный ранг
кочерга	кочерг, кочергей, кочерёг	кочерёг	3	1/3
попадья	попадь, попадей, попадьёв	попадей	2	1/2
турок	турок, турков, турчан	турок	1	1

По этим примерам мы вычисляем среднеобратный ранг как (1/3 + 1/2 + 1)/3 = 11/18 , то есть приближённо 0.61.

Если же ни один из ответов не правильный, среднеобратный ранг считается равным 0. Обратите внимание, что только первый релевантный ответ учитывается, а последующие релевантные ответы игнорируются.

См. также

• Информационный поиск
• Вопросно-ответная система ^[2]

Ссылки

• D. R. Radev; H. Qi; H. Wu; W. Fan (2002). "Evaluating web-based question answering systems". Proceedings of LREC.

Примечания

1. E.M. Voorhees (1999). "Proceedings of the 8th Text Retrieval Conference". TREC-8 Question Answering Track Report. pp. 77—82.
2. D. R. Radev, H. Qi, H. Wu, W. Fan (2002). Evaluating web-based question answering systems. Proceedings of LREC.