Szombathelyen született 1911. november 8-án, Rasztovich Imre néven. Szülei Rasztovich Gyula ügyvéd és Kálcis Irén. A premontrei rend főgimnáziumában végezte tanulmányait. Miután
leérettségizett, Budapesten a Pázmány Péter Tudományegyetemen jogot tanult, 1935-ben doktorált.

1935-től a Magyar Nemzeti Diákszövetség főtitkára és az Egyetem és Ifjúság című lap szerkesztője, illetve kiadója volt. 1941-től a Magyar Egyetemi és Főiskolai Sportegyesületek Országos Központjának főtitkára. A MOB-ban titkárként dolgozott. A Vallás és Közoktatási Minisztériumban 1936-tól segédtitkár, majd 1943-tól miniszteri titkár lett. 15 évesen kezdett el vívni. Budapestre kerülésétől, 1929-től 1940-ig a BEAC vívója volt. Gerentsér László irányításával edzett. Kard- és tőrvívásban egyaránt versenyzett, de nemzetközi szintű eredményeit kardvívásban érte el. 1933 és 1939 között tagja volt a magyar kard válogatottnak. 1934-ben Európa-bajnokságot nyert a kardcsapattal. 1935-ben főiskolai vb-t nyert kard egyéniben és csapatban is. Ugyanebben az évben Európa-bajnok volt csapatban, második egyéniben. Az 1936. évi nyári olimpiai játékokon, Berlinben – a Berczelly Tibor, Gerevich Aladár, Kabos Endre, Kovács Pál, Rajcsányi László, Rajczy Imre összeállítású magyar csapat tagjaként – olimpiai bajnoki címet szerzett. Az újkori nyári olimpiai játékok történetében ez volt a harmincegyedik, egyben a magyar vívósport tizenegyedik, illetve a magyar férfi kardcsapat ötödik aranyérme. 1937. számára a sikerek éve. Olaszországban, San Remóban az Aranykard-versenyt nyerte meg. Ebben az évben a világranglistát is vezette. Megnyerte a magyar kardbajnokságot, a kardcsapattal Párizsban világbajnokságot nyertek, a döntőben az örök rivális olaszokat 10:6-ra verve. Ugyanott egyéniben nyolcadik lett. 1945-től családjával Argentínában élt. Tíz éven keresztül az argentin kard válogatott edzője volt. 1955-től az Argentin Olimpiai Bizottság titkára volt, a melbourne-i olimpián a hivatalos delegáció tagjaként volt jelen. Az 1961-es Buenos Aires-i vívó-világbajnokság főrendezője
volt. 1956-tól 1966-ig egy járműgyártó illetve kereskedelmi cégnél volt kereskedelmi igazgató.

1978. március 31-én, 67 éves korában hunyt el. Halálának 23. évfordulóján, 2001-ben, szombathelyi szülőházán emléktáblát helyeztek el az emlékére. Ugyanebben az évben a szombathelyi sportiskola a bajnok nevének felvételével erősítette meg: Rajczy Imre emléke örök marad.

Sporteredményei:

olimpiai bajnok (csapat: 1936)
világbajnok (csapat: 1937)
kétszeres Európa-bajnok (csapat: 1934, 1935)
Európa-bajnoki 2. helyezett (egyéni: 1935)
kétszeres főiskolai világbajnok (egyéni: 1935 ; csapat: 1935)
magyar bajnok (egyéni: 1937)