Ludvigsen giocò nello Start nel 1986, collezionando 18 presenze tra campionato e coppa.[2] Nel 1988 passò al Fyllingen, dove contribuì alla promozione del campionato 1989. Perse la finale di Coppa di Norvegia 1990 con questa squadra, contro il Rosenborg. Si trasferì poi al Brann, formazione per cui esordì il 16 aprile 1994, nella vittoria per 5-1 sullo Strømsgodset.[3] Il 1º maggio successivo arrivò la sua prima rete in squadra, contribuendo così al successo per 2-4 sul campo del Sogndal.[4] Perse anche la finale di Coppa di Norvegia 1995, sempre contro il Rosenborg. Nel 1996 subì un grave infortunio che gli fece terminare la carriera.[1]
Allenatore
Ad ottobre 2003 fu nominato nuovo allenatore del Fyllingen, assieme a Stein Arve Lone.[5] Il 24 maggio 2005 rassegnò le proprie dimissioni.[6] Il 22 novembre 2014 venne annunciato come nuovo allenatore del Frøya.[7]