Родился в аристократической семье Англии. Сын Хью Клиффорда, седьмого барона Клиффорда из Чадли и Мэри Люси, единственной дочери кардинала Томаса Уэлда.
Получил образование в колледже Стонихерст. В августе 1846 года получил своё первое звание младшего лейтенанта и начал военную службу в 1-м батальоне Стрелковой бригады.
Участвовал в 1846—1847 и 1852—1853 годах в Каффроских войнах в Южной Африке. После возвращения в Англию командующий 1-го батальона Стрелковой бригады полковник Броун был назначен командиром бригады Лёгкой дивизии и во время Крымской войны лейтенант Клиффорд был назначен его адъютантом.
В мае 1855 года был назначен заместителем помощника генерал-квартирмейстера и, оставаясь в Крыму до завершения войны, был произведен в чин бревет-майора и получил медаль и пряжки за кампании при Альме, Инкермане, Севастополе и иностранные правительств — орден Почётного легиона и Орден Меджидие 5 степени.
После начала военных действий в Китае был направлен туда и в качестве помощника генерал-квартирмейстера участвовал в операциях с декабря 1857 по январь 1858 года, в результате которых был взят Кантон. За заслуги получил чин подполковника и китайскую медаль.
В в 1870—1873 годах был адъютантом главнокомандующего и помощником генерал-адъютанта британского штаба (1873—1855).
В 1880-х годах служил губернатором Капской колонии.
С апреля по сентябрь 1882 года занимал должность командующего Восточным округом Англии.
Умер 12 апреля 1883 г. В мировую историю вошел не только как военный, но и как оригинальный художник, чьи наполненные реальным драматизмом акварели лучше любых других отражают ужасы войны. В настоящее время они экспонируются в музее Стрелковой бригады (The Royal Green Jackets (Rifles) Museum) в Винчестере.
