Si vous disposez d'ouvrages ou d'articles de référence ou si vous connaissez des sites web de qualité traitant du thème abordé ici, merci de compléter l'article en donnant les références utiles à sa vérifiabilité et en les liant à la section « Notes et références ».
Ce réfractomètre exploite le phénomène de réflexion totale interne, qui intervient lorsqu'un faisceau de lumière parcourant un milieu arrive sur l'interface avec un milieu d'indice plus faible : à partir d'un certain angle, dit angle critique, le faisceau n'est pas réfracté dans le second milieu, mais réfléchi dans le premier.
Dans le cas du réfractomètre à RTI, les deux milieux utilisés sont un verre très dense optiquement (en général d'indice 1,96) et la gemme comme second milieu.
La lumière incidente utilisée est une lumière monochromatique jaune émettant à 589 nanomètres de manière à éviter le phénomène de dispersion dans le verre dense, taillé et poli sous forme d’hémicylindre. La gemme doit être idéalement bien taillée, les surfaces lisses, sans aspérités et préférablement planes. Elle peut être transparente, translucide ou opaque[Information douteuse]. Un matériau brut, s’il présente des faces de prismes ou de pyramides ou autre, suffisamment lisses, peut également être testé.
La lumière incidente traversant l’hémicylindre atteint l’interface entre les deux milieux à un certain angle. Selon les propriétés des gemmes, les angles critiques à partir desquels il y aura une RTI seront différents.
Sur une échelle graduée située à l'intérieur du réfractomètre apparaissent deux zones : une zone claire correspondant aux rayons qui ont subi la RTI, et une zone sombre correspondant aux rayons réfractés, « perdus ». La limite entre les deux zones correspond à l’angle critique (iC) et indique l’indice de réfraction de la gemme testée.
Afin de faciliter l’adhérence entre les deux milieux, on utilise un liquide de contact, l'iodure de méthylène, qui possède un indice de 1,79 environ. Tous les matériaux qui sont au-delà de cet indice sont qualifiés d’OTL (Over the limit / hors limite) et ne peuvent être testés. Cela concerne par exemple le diamant, certains grenats, le zircon, la moissanite, etc.
Les cristaux présentent souvent une biréfringence plus ou moins importante. Dans ces cas là, une rotation de la gemme permet d'observer la biréfringence si elle existe :
On observe un indice fixe et un variable si l’on fait tourner le matériau à 360° autour de lui-même sur le verre de l’hémicylindre : matériau uniaxe
On observe deux indices variables avec la rotation sur l'hémicylindre : matériau biaxe
Lorsque les gemmes sont taillées en cabochons, en perles ou autres surfaces non planes, la lecture de l'indice est approximative.