Как поэт входил в первую поэтическую группу неподцензурных московских авторов 1950-х — «группу Черткова». В поэтическом наследии Сергеева выделяются небольшие поэмы «Шварц» и «Розы», предвосхищающие плодотворную работу в этом жанре Елены Шварц (совпадение фамилий случайно). Первая публикация стихов Сергеева состоялась в 1993 в журналах «Новый мир» и «Новое литературное обозрение».
Проза Сергеева (первая публикация в 1990) распадается на две основные части: прозаические миниатюры иронически-абсурдистского плана (сам Сергеев называл эти тексты «рассказиками») и мемуарная проза, частично посвященная крупным литераторам, с которыми Сергеев тесно общался (Николаю Заболоцкому, Анне Ахматовой, Иосифу Бродскому, посвятившему Сергееву несколько значительных стихотворений, и др.), но главным образом рассказывающая о быте и нравах 1930-50-х гг. Из мемуарных глав, отличающихся большой наблюдательностью и скрупулёзной точностью, Сергеев составил мозаичный по композиции текст «Альбом для марок» (1995), отмеченный Букеровской премией несмотря на то, что от романного жанра он достаточно далек.
Писательство и перевод были главным делом Андрея Сергеева, но коллекционирование занимало огромное место в его жизни. В книге «Альбом для марок» он пишет: «Сколько себя помню, я собирал монеты и марки… при лучших филателистических предпосылках выбор пал — окончательно — на нумизматику. В самом слове слышалось что-то изумительное». Нумизматические интересы А. Я. Сергеева не раз менялись. В юные годы он собирал, по его словам, весь мир и окрестности. Потом только Россию. Позднее увлекся антикой, а последние 30 лет собирал почти исключительно варварские подражания античным монетам, прежде всего «чеканенные или имевшие хождение в пределах Российской империи / СССР». Накопленные соображения и выводы об этом богатом материале А. Я. Сергеев изложил в своих статьях и заметках. В 1990-е годы некоторые из них были напечатаны, две статьи вышли в трудах ГИМа, последняя статья — посмертно. В интервью 1998 года сказал: «Если… коллекцию нельзя повторить, то имеет смысл её отдать в музей.» Когда речь зашла о его коллекции, то решительно заявил: «после моей смерти — в Исторический музей» (воля Сергеева выполнена).
Первая жена, с 1957 по 1970 г. — Людмила Георгиевна Сергеева (р. 1935) филолог, автор воспоминаний о Иосифе Бродском (2015—2016) и Анне Ахматовой (2015). Вторая жена, с 1970 по 1998 г. — Галина Даниловна Муравьёва (р. 1942), переводчик с итальянского языка.
Погиб на 66-м году жизни, переходя улицу по дороге домой с литературного вечера, — был сбит джипом. Похоронен на Щербинском кладбище[2].
Варварский чекан на Тамани. — М., 2001. — (Нумизматика в Историческом музее, вып.115).
Монеты варварского чекана на территории от Балкан до Средней Азии. Каталог коллекции Сергеева А. Я. в ГИМ. — 2012.
Переводы
Робинсон Э. А. Стихотворения и поэмы. Тильбюри-таун / Пер. с англ. [и предисл.] А. Сергеева; илл.: И. Гирель. — М.: Худ. лит., 1971. — 143 с. — 10 000 экз.
Элиот Т. С. Бесплодная земля : Избр. стихотворения и поэмы / Пер. с англ. А. Сергеева; ред. [и авт. примеч.] В. Муравьёв; предисл. Я. Засурского; илл. А. Сапожникова. — М.: Прогресс, 1971. — 188 с.
Енот и опоссум. Американские народные считалки. / Пер. А. Сергеева. — М.: Детская литература, 1979. — Обл. + 16 с. без пагинации. — 300 000 экз.
Мастерс Э. Л. Антология Спун-Ривер; Новый Спун-Ривер / Пер. с англ. [и предисл.] А. Сергеева; [коммент. О. Алякринского]. — М.: Худ. лит., 1990. — 413, [2] с. — 40 000 экз.
Звездокол: Избр. переводы: поэты Англии, Ирландии, США, Австралии. — СПб.; М.: Летний сад, 2008. — 512 с.