Ce phénomène n'intervient que lorsque le rayon lumineux incident se trouve dans un milieu d'indice de réfraction plus grand que l'éventuel rayon réfracté : réfraction de type verre/air par exemple. Ce phénomène est à la base des communications par fibre optique.
Sur le schéma ci-contre, l'angle θ1 est plus petit que l'angle limite et le rayon rouge est à la fois réfléchi et réfracté. Pour le rayon bleu incident selon l'angle θ2 supérieur à l'angle critique, il y a réflexion totale.
La mesure de l'angle limite permet ainsi de connaître le rapport des indices de réfraction des deux matériaux, et si l'un est connu de mesurer l'autre. Ce principe est utilisé dans les réfractomètres.
où et sont les indices respectifs des milieux 1 et 2 et et les angles formés avec la normale par respectivement le rayon incident et le rayon réfracté.
On en déduit l'expression
Cette équation possède une solution en si et seulement si le membre de droite est compris entre -1 et +1. On peut donc constater que pour , cette équation possède toujours une solution en , c'est-à-dire que pour , il existe toujours un rayon réfracté et il n'y a jamais réflexion totale.
Dans le cas , l'expression peut prendre des valeurs en dehors de l'intervalle [-1,1] : il n'y a alors pas de rayon réfracté et la réflexion est totale.
La valeur de limite est la valeur pour laquelle , et de cette équation on déduit alors l'angle d'incidence limite correspondant :
Approche par l'angle limite en transmission
On peut aussi aborder le problème selon une autre approche (qui est en fait équivalente) : à la traversée d'un dioptre d'un indice grand vers un indice plus petit, le rayon réfracté s'écarte de la normale. Plus l'angle d'incidence va être grand, plus le rayon réfracté va s'écarter de la normale, jusqu'à se trouver dans le plan du dioptre. On a alors atteint une limite, à laquelle . Le rayon réfracté se propageant alors parallèlement au dioptre, on considère que la lumière n'est plus transmise dans le milieu 2. On retrouve ainsi la valeur obtenue avec le premier raisonnement grâce à .
Approche électromagnétique
On considère un rayon se propageant dans un milieu d'indice n, par exemple du verre, et rencontrant un dioptre séparant ce milieu de l'air ou du vide.
Le champ électrique s'écrit alors
avec et , et .
Pour une onde se propageant dans le verre, .
Le champ électrique du rayon dans le milieu 2, ici le vide, vérifie
avec , et .
En incidence oblique, le facteur de transmission de Fresnel vaut .
On se place par exemple dans le cas où n=1,5 et , on a alors , de sorte de est imaginaire pur, et s'écrit
Le champ dans le milieu 2 est alors de la forme :
.
On a ainsi une décroissance exponentielle du champ dans la direction z : c'est une onde évanescente.
Le facteur de réflexion à l’interface verre-vide vaut .
Ici est réel et est imaginaire pur, de sorte que : c'est bien un phénomène de réflexion totale.
On remarque cependant que le champ transmis dans le vide n'est pas nul, mais qu'il décroit de manière exponentielle.
Cette onde permet d'obtenir le phénomène de réflexion totale frustrée : en accolant un second dioptre au voisinage du premier, il est possible de récupérer une partie de l'onde évanescente, et tout se passe comme s'il n'y avait pas eu de réflexion totale. En effet, une partie de la lumière est réfractée. Ceci constitue une sorte d'effet tunnel optique.
La réflexion totale n'est pas immédiate, car l'onde évanescente pénètre un peu dans le milieu avant d'être réfléchie. Le retard induit par cette réflexion dépend de la polarisation de la lumière : on peut ainsi séparer les composantes transverse électrique et transverse magnétique d'un faisceau incident.