Die ersten Monate und Jahre gestalteten sich schwierig. Der Ordensmeister in Rom, dem jede Neugründung unterstand, solange es noch keine eigenständige Provinz gab, wollte das Düsseldorfer Kloster zu einem Vorzeigekonvent für den gesamten Orden machen und forderte von den Düsseldorfer Konventualen strikte Askese. Nachtchor und unzureichendes Essen ließen sich jedoch kaum mit der aufreibenden Arbeit in der Seelsorge vereinbaren. Viele Patres wurden aus Erschöpfung krank und starben bereits in jungen Jahren. Auch der Ordensnachwuchs blieb zunächst aus. Von den 21 Männern, die zwischen 1860 – 75 in das Düsseldorfer Kloster eintraten, weil sie sich zum Priester berufen fühlten, blieben nur 8. Finanzielle Schwierigkeiten kamen hinzu. Pater Ceslaus von Robiano OP, der ursprünglich Geld für den Bau des Düsseldorfer Klosters sammeln sollte, hatte für sich ein neues Projekt entdeckt; er träumte von einer Gründung in Berlin und war inzwischen dort, um in Moabit, einem seelsorglich völlig unterversorgten Arbeiterviertel der Stadt, ein Kloster aufzubauen.
So konnte erst im März 1866 in Düsseldorf mit dem Bau von Kloster und Kirche begonnen werden, nachdem August Graf von Spee zu Heltorf für den Orden ein Grundstück an der Ecke Talstraße/Herzogstraße erworben hatte. Dass Graf Spee zunächst Eigentümer des Grundstücks blieb, sollte sich in der Zeit des Kulturkampfs noch als Segen erweisen; denn mit dem Klostergesetz von 1875 wurden alle Orden in Preußen verboten, die sich nicht ausschließlich der Krankenpflege widmeten. Die Dominikaner mußten daher im August 1875 die Stadt verlassen und durften erst im Dezember 1887 wieder nach Düsseldorf zurückkehren. Graf Spee erstritt vor dem Leipziger Reichsgericht sein Eigentumsrecht und konnte so das Klostergelände vor Zugriffen des Staates schützen.
Die Bauarbeiten kamen in diesen Jahren völlig zum Erliegen und konnten erst nach der Rückkehr der Dominikaner wieder aufgenommen werden. Klostergebäude und Kirche wurden von Anfang an groß geplant, da der Düsseldorfer Konvent zugleich als Ausbildungshaus für die Novizen und Studenten der künftigen deutschen Ordensprovinz dienen sollte. Zunächst hatte man bei dem renommierten Kölner Dombaumeister Ernst Friedrich Zwirner angefragt. Als sich dessen Pläne aber als zu kostspielig und kaum realisierbar erwiesen, beauftragte Pater Dominikus Lentz OP den ihm aus Wien bekannten Architekten und Dombaumeister Friedrich von Schmidt. Dessen Pläne sahen – ganz im Stil der Zeit – eine großzügige Klosteranlage mit einer neugotischen Kirche nach dem Vorbild des Altenberger Doms vor, für deren Realisierung jedoch die nötigen finanziellen Mittel fehlten. 1869 konnte immerhin der Chor der Kirche eingesegnet und ein Teil des Klostergebäudes bezogen werden. Nach der Aufhebung des Klosters 1875 ruhten die Bauarbeiten erneut, bis die Dominikaner im Dezember 1887 nach Düsseldorf zurückkehrten. Fortan übernahm Caspar Clemens Pickel, der zahlreiche Düsseldorfer Kirchen wie St. Peter in der Friedrichstadt und St. Apollinaris in Oberbilk schuf, die Bauleitung. Am 28. Oktober 1890 konnte die Klosterkirche endlich durch den Kölner Erzbischof Philipp Krementz eingeweiht werden.
