Józef Kalinowski urodził się 1 września 1835 r. w Wilnie, w szlacheckiej rodzinie herbu Kalinowa. Jego ojciec był profesorem matematyki na Uniwersytecie Wileńskim. Po ukończeniu z wyróżnieniem Instytutu Szlacheckiego w Wilnie (1843-1850), Józef podjął studia w Instytucie Agronomicznym w Hory-Horkach koło Orszy (dziś Białoruś). Zrezygnował z nich po dwóch latach. W 1855 r. przeniósł się do Mikołajewskiej Szkoły Inżynierii Wojskowej w Petersburgu, gdzie uzyskał tytuł inżyniera. Jednocześnie wstąpił do wojska. Wtedy właśnie przestał przystępować do sakramentów świętych, do kościoła chodził rzadko, przeżywał rozterki wewnętrzne, a także kłopoty związane ze swoją narodowością, służbą w wojsku rosyjskim i zdrowiem. Wciąż jednak stawiał sobie pytanie o sens życia, szukając na nie odpowiedzi w dziełach filozoficznych i teologicznych. Po ukończeniu szkoły (1855) został adiunktem matematyki i mechaniki budowlanej oraz awansował do stopnia porucznika. W 1859 r. opuścił Akademię i podjął pracę przy budowie kolei żelaznej Odessa-Kijów-Kursk. Po roku przeniósł się na własną prośbę do Brześcia nad Bugiem, gdzie pracował jako kapitan sztabu przy rozbudowie twierdzy. Czując, że zbliża się powstanie, podał się do dymisji, aby móc służyć swoją wiedzą wojskową i umiejętnościami rodakom. Został członkiem Rządu Narodowego i objął stanowisko ministra wojny w rejonie Wilna. W końcu zdecydował się na wyjazd do Warszawy, gdzie chciał podjąć leczenie i miał nadzieje na znalezienie pracy. Z powodów zdrowotnych otrzymał zwolnienie z wojska w maju 1863 r.
Jednocześnie, wspierany modlitwami matki i rodzeństwa, przeżywał nawrócenie religijne, m.in. pod wpływem lektury Wyznań św. Augustyna: nie tylko wrócił do praktyk religijnych, ale przejawiał w nich szczególną gorliwość. Gdy wybuchło powstanie styczniowe, mając świadomość jego daremności, ale zarazem nie chcąc stać na uboczu, gdy naród walczy, przyłączył się do powstania. Sprzeciwiał się niepotrzebnemu rozprzestrzenianiu się walk. W liście do brata pisał: "Nie krwi, której do zbytku przelało się na niwach Polski, ale potu ona potrzebuje".
Po upadku powstania powrócił do Wilna, gdzie 24 marca 1864 r. został aresztowany i osadzony w więzieniu. W wyniku procesu skazano go na karę śmierci. W więzieniu otaczała go atmosfera świętości. Wskutek interwencji krewnych i przyjaciół, a także z obawy, że po śmierci Polacy mogą uważać Józefa Kalinowskiego za męczennika i świętego, władze carskie zamieniły mu wyrok na dziesięcioletnią katorgę na Syberii. Przez pewien czas przebywał w Nerczyńsku, potem w Usolu, następnie w Irkucku i Smoleńsku. Podczas pobytu na Syberii oddziaływał na współtowarzyszy swoją głęboką religijnością, zadziwiał niezwykłą wprost mocą ducha, ujmował cierpliwością i delikatnością, wspierał dobrym słowem i modlitwą, czuwał przy chorych, pocieszał i podtrzymywał nadzieję. Dzielił się z potrzebującymi nie tylko skromnymi dobrami materialnymi, ale również bogactwem duchowym. Bolał go fakt, że wielu zesłańców nie posiadało żadnej wiedzy religijnej. Szczególnie chętnie katechizował dzieci i młodzież.
Po ciężkich robotach Józef Kalinowski powrócił do kraju w 1874 r. Uzyskał paszport i wyjechał na Zachód jako wychowawca młodego księcia Augusta Czartoryskiego (beatyfikowanego przez św. Jana Pawła II w 2003 r.). Opiekował się nim przez trzy lata. W lipcu 1877 r., mając już 42 lata, Józef Kalinowski wstąpił do nowicjatu karmelitów w Grazu (Austria), przybierając zakonne imię Rafał od św. Józefa. Po studiach filozoficznych i teologicznych na Węgrzech, złożył śluby zakonne i otrzymał święcenia kapłańskie 15 stycznia 1882 r. w Czernej koło Krakowa. W kilka miesięcy później został przeorem klasztoru w Czernej. Urząd ten pełnił przez 9 lat. Przyczynił się w znacznej mierze do odnowy Karmelu w Galicji. W 1884 r. został założony z jego inicjatywy klasztor karmelitanek bosych w Przemyślu, 4 lata później we Lwowie, a na przełomie 1891 i 1892 roku - klasztor ojców wraz z niższym seminarium w Wadowicach.
Wiele godzin spędzał w konfesjonale - nazywano go "ofiarą konfesjonału". Miał niezwykły dar jednania grzeszników z Bogiem i przywracania spokoju sumienia ludziom dręczonym przez lęk i niepewność. Przeżyty w młodości kryzys wiary (gdy przez ponad 10 lat żył bez sakramentów) ułatwiał mu zrozumienie błądzących i zbuntowanych przeciwko Bogu. Nikogo nie potępiał, ale starał się pomagać. Zawsze skupiony, zjednoczony z Bogiem, był człowiekiem modlitwy, posłuszny regułom zakonnym, gotowym do wyrzeczeń, postów i umartwień.
Zmarł 15 listopada 1907 r. w Wadowicach, w opinii świętości. Jego relikwie spoczywają w kościele karmelitów w Czernej. Za życia i po śmierci cieszył się wielką sławą świętości. Bez reszty oddany Bogu, umiał miłować Go w drugim człowieku. Potrafił zachować szacunek dla człowieka i jego godności nawet tam, gdzie panowała pogarda. Dlatego uważany jest za patrona Sybiraków.
Beatyfikował go św. Jan Paweł II w 1983 r. podczas Mszy świętej na krakowskich Błoniach; kanonizacji dokonał w Rzymie w roku 1991, podczas jubileuszowego roku czterechsetlecia śmierci św. Jana od Krzyża, odnowiciela zakonu karmelitów. Św. Rafał Kalinowski jest patronem oficerów i żołnierzy, orędownikiem w sprawach trudnych.

W ikonografii Święty przedstawiany jest podczas modlitwy, w habicie karmelity.