Narodil se 7. dubna 1912 v obci Poluvsie , dnes části Rajeckých Teplic v Žilinském kraji na Slovensku. Otec Ferdinand Gabčík byl dělník, jezdící za prací do USA a Argentiny, matka Češka Marie byla v domácnosti. Jozef Gabčík byl nejmladším z čtyř dětí (měl dva starší bratry a sestru).
Po absolvování obecné školy v Rajeckých Teplicích odešel do Čech, kde v Kovářově u Písku absolvoval školu měšťanskou a v letech 1927 až 1932 vyučil kovářem a zámečníkem a absolvoval dva roky pokračovací školy.
V rámci prezenční vojenské služby, kterou nastoupil 1. října 1932 u 14. pěšího pluku v Košicích, absolvoval i poddůstojnickou školu v Prešově s velmi dobrým prospěchem. Dosáhl hodnosti desátníka a po skončení prezenční služby v roce 1934 pokračoval na vlastní žádost jako délesloužící poddůstojník, v témže roce byl i povýšen na četaře. V roce 1937 ukončil svůj závazek a nastoupil jako civilní zaměstnanec do vojenské továrny na výrobu bojových plynů v Žilině. Ale po nehodě, kdy se nadýchal bojových plynů, byl přeložen do vojenského skladu ve Skalce u Trenčína.
Před převzetím skladu bojových látek německou armádou provedl sabotáž na přepravních zásobnících. Před hrozícím zatčením opustil 6. června 1939 Slovensko směrem do Polska. V Krakově vstoupil do československé vojenské skupiny. Zde se poprvé setkal s Janem Kubišem. Společně s ním odplul do Francie, kde podepsali závazek k Cizinecké legii a nastoupili k 1. pluku v Sidi bel Abbes. 26. září 1939 byl prezentován v Agde do vznikající československé zahraniční armády ve Francii a zařazen jako zástupce velitele kulometné čety u 1. pěšího pluku. 29. prosince 1939 byl povýšen na četaře a zúčastnil se bojů o Francii.
Po pádu Francie 12. července 1940 byl s ostatními evakuován do Anglie, kde požádal o přeřazení k letectvu, čemuž tehdy nebylo vyhověno. Od 2. do 22. února 1941 absolvoval kurz pro rotmistry a následně byl povýšen na rotmistra. Na základě doporučení pplk. Barovského byl zařazen do výcviku pro plnění úkolů zvláštního určení a stal se jedním z prvních osmi absolventů kurzu útočného boje ve Skotsku. Od 17. července do 27. prosince 1941 absolvoval základní sabotážní kurz, poté následoval parašutistický výcvik na letišti Ringway u Manchesteru (dnes Manchester Airport), dále potom kurzy ve střelbě, práce s výbušninami, řízení motorových vozidel a sebeobraně. Během výcviku byl informován o cílech své mise a byl jmenován velitelem výsadku Anthropoid.
Zdroj: wikipwdie