Die Familie Van Gogh lebte hier von 1882 bis 1886, als die Mutter nach Breda zog. Vincent von Dezember 1883 bis Ende 1885.
Das Pfarrhaus wurde 1764 von der Zivilgemeinde erbaut, die damals verpflichtet war, Wohnraum für den reformierten Pfarrer bereitzustellen. Vincent van Goghs Vater, Theodorus van Gogh, war Pfarrer in der Gemeinde.
Vincent hatte sein erstes Atelier in Nuenen in dem Waschhaus hinter dem Pfarrhaus. Seine Eltern stellten einen Ofen, eine hölzerne Ottomane und ein Kinderbett auf und ließen das Ganze 'weiter aufplustern', um es gemütlich zu machen. Vincent zog es vor, dass sein Vater kein großes Fenster in die Wand einbaute.
Einige Monate später erkundigt sich Vincent bei Theo nach einem festen finanziellen Zuschuss: "Warum ich das wissen muss, ist, weil ich, wenn ich mich darauf verlassen kann, irgendwo ein weiteres geräumiges Atelier nehmen würde, das ich brauche, um mit Modellen arbeiten zu können. Dasjenige, das ich derzeit habe, hat folgende geografische Lage. Und meine Vorstellungskraft ist nicht stark genug, um diesen Fortschritt gegenüber der Situation im letzten Jahr zu finden". Seine hinzugefügte Skizze, die den Kohlenschuppen, die Toilette, die Kanalisation und die Dunggrube zeigt, sollte Theo davon überzeugen, dass es sich nicht um einen florierenden Arbeitsplatz handelt. Tatsächlich beschloss er Anfang Mai 1884, ein größeres Atelier vom katholischen Küster Johannes Schafrat und seiner Frau zu mieten. Ein Jahr später, nachdem sein Vater inzwischen gestorben war und es zu Reibereien mit seiner Schwester Anna gekommen war, verließ er das Pfarrhaus, um in diesem Atelier zu leben.
Das Wohnhaus stammt aus dem Jahr 1764, wie man noch an den Mauerankern an der Vorderfassade ablesen kann. Rechts vom Haus ließ Theodorus' Vorgänger, Reverend Begemann, 1840 ein Kutschenhaus errichten. Bevor die Familie in ihr neues Haus einzog, musste es umfassend renoviert werden. Sowohl vor als auch nach dem Einzug der Van Goghs wurde das Presbyterium umfassend restauriert. Die putzartige Zementschicht wurde bei einer Restaurierung 1957 entfernt. Diese Schicht und auch das Kutschenhaus sind auf dem Gemälde De pastorie te Nuenen vom Herbst 1885 zu sehen. Vincent zeichnet und malt sowohl die Vorder- als auch die Rückseite des Pfarrhauses, auch nachdem er das Haus verlassen hat. Da dieses Gemälde und die gleichnamige Zeichnung in die Hände von Theo bzw. Willemien gelangten, könnten sie als Andenken an das Elternhaus gedacht gewesen sein.
Der tiefe hintere Garten ist ein Lieblingsplatz von Vincent. Es ist ein wunderschöner Garten mit einer Rasenfläche, Blumen, Obstbäumen und im hinteren Teil ein Gemüsegarten und ein großer Teich mit einer Terrasse. Vincent hält den Garten häufig fest, aus verschiedenen Blickwinkeln und zu verschiedenen Jahreszeiten. Die ersten Zeichnungen entstehen bereits im Monat seiner Ankunft. Im Jahr 1884 fertigt er eine Reihe von Federzeichnungen an, die den Garten in Winterstimmung zeigen. Dann zeichnet er auch den Weg 'hinter den Hecken', der hinter dem Garten liegt. In dem Aquarell De tuin van de pastorie te Nuenen verwandelt er den hinteren Garten in einen öffentlichen Park und setzt nicht nur Figuren in Szene, sondern auch den inzwischen abgerissenen Alten Turm. Heute ist der Garten weniger üppig bepflanzt, aber im Großen und Ganzen unverändert geblieben; der Teich wurde in jüngster Zeit restauriert.
Auch heute noch ist das Pfarrhaus ein Wohnsitz. Mehrmals im Jahr ist es möglich, Vincents Atelier und Garten zu besuchen.
