Được dự định sẽ được phái sang khu vực Thái Bình Dương cho những cuộc tấn công sau cùng nhắm vào Đế quốc Nhật Bản, Harold J. Ellison đang hoàn tất việc chạy thử máy huấn luyện khi nhận được tin Nhật Bản đầu hàng vào ngày 15 tháng 8 năm 1945, kết thúc cuộc chiến tranh. Đặt cảng nhà tại Norfolk, Virginia, nó hoạt động tại vùng bờ biển Đại Tây Dương và vùng biển Caribe trong hai năm tiếp theo, tham gia các chuyến đi huấn luyện cho nhân sự của Hải quân Dự bị Hoa Kỳ cùng các cuộc thực tập chống tàu ngầm. Nó khởi hành từ Norfolk vào ngày 10 tháng 11 năm 1947 cho chuyến đi đầu tiên sang Địa Trung Hải, mở đầu cho cho nhiều lượt sau này được cử sang phục vụ cùng Đệ Lục hạm đội nhằm gìn giữ hòa bình tại khu vực này cũng như bảo vệ cho những quyền lợi của Hoa Kỳ tại đây.[1]
Harold J. Ellison đã tham gia vào việc tìm kiếm chiếc tàu ngầmAnhHMS Affray bị mất tích trong eo biển Manche vào tháng 4, 1951, và thực hiện những chuyến đi đến vùng biển Caribe và Bắc Âu trong năm 1953. Từ năm 1954 đến năm 1956, nó tiếp tục thực hành chiến thuật dọc theo vùng bờ Đông cùng những chuyến đi sang Châu Âu. Sau khi xảy ra vụ Khủng hoảng Kênh đào Suez năm 1956, con tàu tham gia các hoạt động gìn giữ hòa bình tại khu vực Đông Địa Trung Hải trong năm 1957.[1]
Vào tháng 9, 1958, Harold J. Ellison hoạt động cùng Đội đặc nhiệm Alfa để huấn luyện những chiến thuật và thiết bị mới trong chiến tranh chống tầu ngầm, và tiếp tục vai trò này cho đến tháng 4, 1959. Nó quay trở lại nhịp độ hoạt động thường lệ khi khởi hành từ Norfolk vào ngày 21 tháng 9 cho một chuyến đi khác sang Địa Trung Hải.[1]
1960 – 1983
Vào năm 1960, Harold J. Ellison chuyển cảng nhà đến Charleston, South Carolina, và sang năm 1961, trong lượt biệt phái sang phục vụ cùng Đệ Lục hạm đội tại Địa Trung Hải, con tàu đã băng qua kênh đào Suez để đi đến vịnh Ba Tư. Vào tháng 1, 1962, con tàu tham gia vào việc thu hồi tàu vũ trụ tại Đại Tây Dương trong khuôn khổ Chương trình Mercury. Cũng trong năm đó, nó trải qua một đợt nâng cấp rộng rãi tại Xưởng hải quân Brooklyn theo chương trình Hồi sinh và Hiện đại hóa Hạm đội (FRAM: Fleet Rehabilitation and Modernization). Nó gia nhập trở lại hạm đội vào đầu năm 1963, và cho đến năm 1964 lại tiếp tục nhịp điệu huấn luyện và tập trận ngoài khơi bờ biển Đại Tây Dương.[1]
Cùng với Hải đội Khu trục 24, Harold J. Ellison khởi hành từ Norfolk vào ngày 29 tháng 9, 1965, đi ngang qua kênh đào Panama trong hành trình đi sang khu vực Tây Thái Bình Dương. Trong cuộc Chiến tranh Việt Nam, nó phục vụ canh phòng máy bay cho các tàu sân bay tại Trạm Yankee trong vịnh Bắc Bộ, tham gia Chiến dịch Sea Dragon ngăn chặn việc vận chuyển vũ khí của đối phương, hoạt động tìm kiếm và giải cứu (SAR) phi công bị bắn rơi cũng như hỗ trợ hải pháo cho lực lượng tác chiến trên bộ. Sau khi hoàn thành lượt phục vụ, nó quay trở về nhà qua ngã kênh đào Suez và hoàn tất chuyến đi vòng quanh thế giới khi về đến Norfolk vào tháng 4, 1966. Sang tháng 7, nó đi đến Xưởng hải quân Norfolk để đại tu; công việc trong xưởng tàu này kéo dài cho đến hết năm 1966.[1]
Vào ngày 19 tháng 7, 1974, Harold J. Ellison khởi hành Norfolk từ để đi sang Địa Trung Hải cùng với tàu sân bay Independence (CV-62). Nó được điều sang Hải đội Khu trục 30 vào ngày 30 tháng 11, 1974, đồng thời chuyển cảng nhà đến Philadelphia, Pennsylvania. Trong giai đoạn còn lại của quãng đời phục vụ, nó tiếp tục huấn luyện học viên sĩ quan dự bị trong những chuyến đi dọc theo vùng bờ Đông Hoa Kỳ hay vùng biển Caribe. Chiếc tàu khu trục được cho xuất biên chế vào ngày 1 tháng 10, 1983. Cùng với tàu chị em William C. Lawe (DD-763), vốn cũng được cho xuất biên chế cùng ngày hôm đó, nó là chiếc tàu khu trục lớp Gearing cuối cùng của Hải quân Hoa Kỳ.[1]
Harold J. Ellison được cho rút tên khỏi danh sách Đăng bạ Hải quân vào ngày 1 tháng 10, 1983, rồi được chuyển cho Pakistan. Nó tiếp tục phục vụ cùng Hải quân Pakistan như là chiếc PNS Shah Jahan (D-164) cho đến năm 1993, khi nó ngừng hoạt động và bị tháo dỡ để làm nguồn phục tùng cho các tàu chiến khác còn hoạt động. Con tàu bị đánh chìm như một mục tiêu một năm sau đó.[1]