Die Familie De Jonge van Zwijnsbergen beschließt, Bauland auf der gegenüberliegenden Seite des Mariënhofs für 350 Gulden an die Familie Van Gogh zu verkaufen. Joan de Jonge und Theodorus führen den Verkauf am 28. September 1874 auf Schloss Zwijnsbergen durch. Hendrik Verzijl ist ebenfalls als Zeuge anwesend. Der Pfarrer bittet die Gemeinde um die Erlaubnis, einen Graben trocken zu legen, damit ein Haus gebaut werden kann. Das Grundstück am Keiweg ist für den Bau eines Hauses für drei Schwestern des Pfarrers bestimmt. Sie haben sich in Breda um ihren Vater, den Großvater Vincent van Goghs, gekümmert, und es wurde vereinbart, dass der Erlös aus dem Verkauf seines Hauses in der Visserstraat nach seinem Tod an sie geht. Sie entscheiden sich, ein Haus in Helvoirt bauen zu lassen.
Obwohl das Haus noch nicht fertiggestellt war, kamen Dorothea Maria ('Doortje', 1815-1882) und Johanna Wilhelmina ('Antje', 1812-1883) am 16. April 1875 nach Helvoirt. Maria Johanna ('Mietje', 1831-1911) schloss sich ihnen wenig später an. Es ist wahrscheinlich, dass Vincent die Baustelle im Winter 1874 sah, als er einen Abendspaziergang am Rijksweg machte. Theodorus war weiterhin mit dem Haus beschäftigt und schrieb am 29. April 1875: "Von 5 bis 12 war ich damit beschäftigt, den Garten der Tanten zu bepflanzen und zu dekorieren. Es sieht jetzt gut aus, aber ich bin müde". Am 20. Juli 1875 ziehen die drei Schwestern in das Haus ein.
Die Tanten erteilen den Kindern der protestantischen Gemeinde in Helvoirt Religionsunterricht. Dabei belohnten sie fleißige Kinder mit einem Bild. Die Geschichte besagt, dass Zeichnungen von Vincent verwendet wurden. Die Echtheit der Kinderzeichnungen, die mit dieser Geschichte in Verbindung gebracht werden, ist jedoch fraglich.
