روابط ارمنستان و ژاپن بهطور رسمی در ۷ سپتامبر ۱۹۹۲ برقرار شد. پیش از این، روابط از طریق اتحاد جماهیر شوروی بود.
در اصل، ارمنستان در سفارت ژاپن در پکن و ژاپن در سفارت ارمنستان در مسکو نمایندگی داشتند.[نیازمند منبع]سفارت ارمنستان در توکیو در ۱۳ ژوئیه ۲۰۱۰ افتتاح شد و سفارت ژاپن در ایروان در ۱ ژانویه ۲۰۱۵ ساخته شد.[۳] ارمنستان در ابتدا در ژاپن سفیر نداشت، تا ماه مه ۲۰۱۲، هنگامی که هراند پوغوسیان به عنوان سفیر ارمنستان منصوب شد.[۴]
در ۲۹ ژوئن ۲۰۱۷، توسط معاون وزیر امور خارجه ژاپن موتوم تاکیساوا اعلام شد که شرایط ویزا برای اتباع ارمنستان از اول سپتامبر ۲۰۱۷ کاهش مییابد،[۵] و در ۳۱ اوت ۲۰۱۷، ارمنستان شرایط ویزا برای شهروندان ژاپنی را لغو کرد.[۶]