Dans l'encéphale, la substance grise est située en périphérie, c'est-à-dire autour de la substance blanche. De ce fait, on dit que la substance grise définit un cortex (« écorce » en latin). Ce cortex est formé d'un empilement de couches de cellules nerveuses (entre 3 et 6 pour le cortex cérébral et 3 pour le cortex cérébelleux) lesquelles se différencient par le type cytoarchitectonique, la densité cellulaire et la connectivité. Autour des ventricules cérébraux, la substance grise est agglutinée en amas cellulaires qui n'ont généralement pas l'organisation laminaire des cortex : ce sont les noyaux gris centraux (thalamus, ganglions de la base, etc.).
