Parafię erygował Kard. Aleksander Kakowski 26 października 1913 roku z części parafii praskiej, a pierwszym proboszczem był Ks. Aleksander Sękowski. W roku 1909 księżna Maria Radziwiłłowa wybudowała pierwszy kościół drewniany. W roku 1918 bierzmował młodych Kard. Achilles Ratti, późniejszy papież Pius X. Plany nowej świątyni, według projektu Zdzisława Mączeńskiego, zatwierdzono w 1934 roku, a do budowy przystąpiono w 1938 r. Świątynia uległa częściowym zniszczeniom w roku 1939, a w 1944 została doszczętnie spalona. Kard. Wyszyński poświęcił fundamenty pod nową świątynię w roku 1949, a w 1957 wmurował kamień węgielny. Do roku 1960, wtedy miało miejsce poświęcenie kościoła w stanie surowym, liturgię sprawowano w kaplicy Domu Pracy im. Kard. Aleksandra Kakowskiego przy ul. Poborzańskiej 33. W roku 1964 Kard. Stefan Wyszyński konsekrował nową świątynię. W latach osiemdziesiątych przebudowano prezbiterium, obłożono filary marmurem i rozbudowano organy (z 10 do 26 głosów). W latach 1985-1988 zbudowano Dom Katechetyczny, bardzo potrzebny, gdyż na katechezę przychodziło około 6 tys. dzieci i młodzieży. W roku 1992 przybyły marmurowe ołtarze: soborowy i ku czci Matki Bożej oraz chrzcielnica. Zamontowano 12 witraży i wstawiono nowe ławki. Od 2006 r. wymieniono posadzkę w kościele i zakrystii, schody przed kościołem, oraz wszystkie konfesjonały. Ufundowano nową drogę krzyżową na zewnątrz kościoła i tablice poświęcone Św. Janowi Pawłowi II i Prymasowi Tysiąclecia Stanisławowi Kardynałowi Wyszyńskiemu. Kilkanaście dni po katastrofie smoleńskiej stanął przed kościołem pomnik w kształcie drzewa upamiętniający ofiary mordu katyńskiego i katastrofy lotniczej pod Smoleńskiem. 15 maja 2011 roku miała miejsce koronacja figury Matki Bożej Różańcowej. W 2012 r. zakończono remont elewacji zewnętrznej kościoła. 19 czerwca 2014 odbyło się poświęcenie i oddanie do użytku wiernych Kaplicy Adoracji Najświętszego Sakramentu jako wotum parafian za 100 lat istnienia parafii. W 2015 25 marca Ks. Abp Henryk Hoser dokonał podniesienia świątyni do rangi Sanktuarium Diecezjalnego Matki Bożej Różańcowej.