Samuel Rayner va néixer el 1806 a Colnbrook, a Buckinghamshire (actualment Berkshire); més tard la família es va mudar al barri de Marylebone de Londres. Allà Rayner va aprendre les tècniques de la pintura possiblement del seu avi. A l'edat de quinze anys aprenia com a delineant amb l'antiquari John Britton; la Royal Academy li va acceptar una pintura de Malmesbury Abbey.[2] Un col·lega estudiant seu que l'influencià artísticament fou George Cattermole.[2]
Matlock Bath el 1832
Rayner va ser el fundador d'una família de pintors. El 1823 va fugir amb Anne Manser, quatre anys més gran que ell i també artista. Es van casar el 1824 i el seu primer fill va néixer a Londres, però va morir en poc temps. Sis dels seus fills es van convertir en pintors. La casa de Rayner era un museu a Matlock Bath en la dècada de 1830 quan Louise, William Henry i Rhoda (Rose) van néixer. El gravat d'Arthur Jewitt il·lustra la casa de Rayner a Matlock Bath el 1832. Hi ha dues entrades més als museus de la foto: el museu de la dreta era el museu de John Mawe i el del'esquerra era el Vallance's Royal Centre Museum.[3] Vallance i Rayner eren socis. Hi ha una panoràmica de Matlock Bath gravada per Ann Rayner que també mostra la seva casa i que actualment es troba al Buxton Museum and Art Gallery. Aquest gravat fou fet per la muller de Samuel amb un diamant sobre marbre negre d'Ashford, que era extret a la mateixa regió.
Louise Rayner és la més coneguda dels fills de Samuel i Ann: els seus germans foren Ann ("Nancy"), Margaret, Rose, Frances i Richard. Nancy Rayner fou influenciada per Octavius Oakley i fou la primera dels descendents a ser reconeguda com una artista distingida, però va morir de tuberculosi a l'edat de 28 anys.[2] Samuel fou elegit col·legiat de la Societat de Pintors en Colors d'Aigua el 1845 però fou exclòs de la societat el 1851 després d'un escàndol financer. Alguns dels seus treballs es troben exposats al Derby Museum and Art Gallery.[4]
