Vincents Großvater hatte eine prominente Position innerhalb der protestantischen Gemeinde in der überwiegend katholischen Provinz im Süden der Niederlande inne. Er war nicht nur Pfarrer der Grote Kerk, sondern ab 1828 auch Pfarrer der Königlichen Militärakademie. Außerdem ist er von 1825 bis 1866 Sekretär und Buchhalter der Gesellschaft zur Förderung des Wohlstands, die sich um die Verbesserung der Lage der Protestanten in Nordbrabant bemüht.
Pfarrer Vincent van Gogh und seine Frau Elisabeth Huberta Vrijdag (1790-1857) hatten 12 Kinder, die in Breda aufwuchsen. Die Familie lebte zunächst im Haus Wijngaarden in der Catharinastraat 9 und dann von 1833 bis 1875 im Haus Den Grooten Toelast in der Visserstraat 3, das 1887 abgerissen wurde.
Kinder genießen in Breda eine gute Ausbildung. Einige von ihnen besuchen die der Grote Kerk angeschlossene Kapitelschule, die sogenannte Lateinschule in der Nieuwstraat. Diese Ausbildung war der Elite vorbehalten. Die Söhne machen dann Karriere als Soldaten, Kunsthändler und Prediger. Die Töchter werden Lehrerinnen und arbeiten auch im Haushalt verschiedener Verwandter.
Wie sein Vater entschied sich auch Vincents Vater Theodorus van Gogh (1822-1885) für den Beruf des Pfarrers. Weniger talentiert als sein Großvater, erhielt er Stellen in kleinen brabantischen Dörfern, nacheinander in Zundert (1849), Helvoirt (1871), Etten (1875) und Nuenen (1882), wo er 1885 starb. Der Weg des Malers Vincent van Gogh durch Brabant deckt sich mit diesen Arbeitsplätzen seines Vaters.
Breda ist für die Familie Van Gogh immer eine Wiege in Brabant geblieben. Das Haus der Großeltern in der Visserstraat ist ein Treffpunkt für alle Familienmitglieder. Auch Vincent besuchte es in seiner Jugend regelmäßig. Wenn er aus seinem Heimatdorf Zundert anreiste, fuhr er über den Bahnhof Breda. Er kennt die Stadt also gut. Als er 1888 im südfranzösischen Arles ankam, schrieb er an seinen Bruder Theo, dass ihn die Stadt an Breda erinnerte.
Über die Beziehung zwischen Vincent und seinem Großvater ist nur wenig bekannt. Vincent hat ihn einmal gezeichnet, nach einem Foto. Ein kurzer Auszug aus einem Brief an Theo zeigt, dass Vincent ihn für einen kalten und unangenehmen Mann hielt.