Szülei nem tudták iskoláztatni, ezért már igen fiatalon szakmát tanult, fodrász lett. Egy ideig a Nemzeti Színház fodrászmestere is volt. 1898-ban Pásztory alapította Budapesten az első virágcsarnokot. 1909-ben "cs. és kir. udvari szállító"-i címet kapott. A virágkereskedelemből szerzett vagyonát később szenvedélyébe, a filmezésbe forgatta, előbb mozit nyitott (Eldorado, a VIII. kerületi Népszínház utcában), majd 1914-ben létrehozta a Nemzeti Filmvállalatot, ahol elsősorban népszínműveket dolgozott át filmre. Többször is pereskedett Janovics Jenővel különféle művek (Tóth Ede: A tolonc, Abonyi Lajos: A betyár kendője) megfilmesítési jogáért. 1917-ben társult Korda Sándorral, és a Corvin Filmgyár igazgató-rendezőjeként működött. Néhány hónappal a halála előtt kilépett a Corvinból, és Pásztory Filmvállalat néven saját céget alapított.