Die Familie Van Gogh zog am 31. Januar 1871 in das stattliche Pfarrhaus schräg gegenüber der evangelischen Kirche ein. Dies ist ein 'freies Haus mit einem Garten und einem Stück Land für den Kartoffelanbau'. Vincent lebte nicht mehr zu Hause und auch seine Schwester Anna verließ für längere Zeit das elterliche Nest, während die anderen Kinder meist bei ihren Eltern lebten. Theo geht zunächst in Oisterwijk zur Schule, während Wil, Lies und Cor zu Hause von einer Gouvernante unterrichtet werden. Als Theo in Brüssel arbeitet und Vincent erfährt, dass er in Helvoirt wohnt, sehnt er sich danach, mit ihnen allen zu Hause zu sein.
Vincent selbst hat nie in Helvoirt gelebt, aber er reiste, um seine Eltern in den Ferien und während der Feiertage zu besuchen. Dank der Briefe von Vincent und seiner Familie weiß man, dass er mehrmals 'zu Hause' blieb. In der Regel blieb er dort ein paar Tage, manchmal auch länger. Nachdem er Weihnachten 1872 mit seinen Eltern gefeiert hatte, schrieb er im März 1873: "Wenn ich kann, werde ich zu Ostern nach Helvoirtfahren".
Einen Monat nach Ostern kehrte er in das Dorf zurück, um sich zu verabschieden, bevor er zu seinem neuen Arbeitgeber in London weiterzog. In diesem Jahr schaffte es Vincent wegen der vielen Geschäfte nicht, zu Weihnachten nach Hause zu fahren. Im Jahr 1874 wurde ihm ein längerer Urlaub gewährt. Er blieb dann vom 27. Juni bis zum 14. Juli in Helvoirt und wohnte auch zu Weihnachten im Pfarrhaus.
Das rechteckige Haus mit Giebeldach ist weiß verputzt und verfügt über einen tiefen Garten mit einem Gemüsegarten und Obstbäumen. Wenn Sie das Haus betreten, befindet sich das Wohnzimmer auf der linken Seite und das Esszimmer dahinter. Auf der rechten Seite des mittleren Korridors befindet sich das Arbeitszimmer von Theodorus. Das Haus in der Kerkstraat, der späteren Torenstraat, sieht aus wie aus dem achtzehnten Jahrhundert. Das Haus wurde jedoch bereits 1657 vom Vorsteher der katholischen Abtei St. Gertrudis in Leuven erbaut. Ihr gehörte damals auch die alte Kirche und der Kirchenbesitz. Die Protestanten handelten aus, dass die Abtei diese Güter nach dem Achtzigjährigen Krieg im Austausch für ein Predigerhaus und ein Gehalt behalten durfte. Bis 1954 blieb es ein Predigerhaus. Das Gebäude wurde mehrmals restauriert, mit größeren Reparaturen um 1979 und 1988.
Als Vincent in Helvoirt weilte, war er noch kein Künstler, aber er zeichnete bereits. In den Sommerwochen des Jahres 1874 war er recht produktiv. Nach seiner Rückkehr nach London schrieb er: "Mein Appetit auf das Zeichnen hat hier in England wieder aufgehört, aber vielleicht werde ich eines Tages wieder einen Anfall haben". Er wählt Motive in seiner unmittelbaren Umgebung, sogar das Pfarrhaus wird auf dem Papier festgehalten. Seine Mutter schreibt an Theo: 'Vincent hat ziemlich viel gezeichnet. Vor Lies das Schlafzimmerfenster und einen Teil der Eingangstür, so dass dieser Teil des Hauses - er stand an der Seite von Jans' Häuschen - hübsch herausgearbeitet ist.