Die vielen Hausweber von Nuenen in den 1980er Jahren weckten bald Vincents Interesse. Seine Faszination ist leicht zu stillen: bis zu einem Drittel der männlichen Einwohner sind Weber von Beruf. Frauen helfen beim Spinnen oder Aufwickeln des Garns. 'Mein Kopf ist nicht auf das Schreiben eingestellt und ich habe wenig Zeit dafür, denn wenn ich nicht bei Moe bin, sitze ich hier in der Nähe bei einer Weberin, von der ich 2 gemalte Studien in der Hand habe', schreibt er im Januar 1884 an Theo.
Die Weber in Nuenen verrichten ihre Arbeit zu Hause; der Webstuhl steht im Haus oder in einer Scheune auf einem Lehmboden. Die kleinen Räume stören Vincent: "Diese Leute sind schwer zu zeichnen, denn in den kleinen Räumen kann man sich nicht weit genug entfernen, um den Webstuhl zu zeichnen [...] Aber ich habe hier einen Raum gefunden, in dem es zwei Webstühle gibt ... wo man es tun kann". Die Weber führen ein karges Dasein. In der ersten Hälfte des Jahres 1884 widmet Vincent den Kunsthandwerkern etwa dreißig Gemälde und Zeichnungen. Auch ihre Werkzeuge bilden ein Motiv: 'Ich male auch einen Webstuhl - aus alter grünbrauner Eiche - in den die Jahreszahl 1730 geschnitzt ist. In der Nähe dieses Webstuhls, an einem kleinen Fenster, durch das man ein grünes Feld sehen kann, steht ein Hochstuhl und das kleine Kind sitzt stundenlang darin und beobachtet das Schiffchen der Weber, das hin und her schießt. Obwohl er die Innenräume meist ohne Details abbildet, wird ihnen in einigen wenigen Werken mehr Aufmerksamkeit geschenkt. Die Behausungen sind meist nur schwer zu identifizieren.
Vincent hatte Kontakt zu mehreren Webern, die ihm Modell standen, darunter Toon Swinkels, Peter Smulders und Pieter Dekkers. Swinkels lebt in einem baufälligen Haus auf dem Berg und Vincent soll drei Monate lang in der Weberei seines Vaters gemalt haben. Dekkers, dessen Sohn Driek für Vincent Vogelnester sammelt, wohnt etwas außerhalb des Dorfes in De Rijt 2; beide Häuser sind im Laufe der Zeit abgerissen worden.
Von den zahlreichen Weberhäusern in Nuenen sind nur noch wenige erhalten geblieben. Eines befindet sich im Zentrum auf dem heutigen Berg, nur einen Steinwurf vom Pfarrhaus entfernt. Obwohl es dafür keine Beweise gibt, ist es plausibel, dass Vincent das Haus nicht nur von außen, sondern auch von innen kannte. Es wird angenommen, dass das Anwesen 1763 als Weberhaus gebaut wurde. Nach mehreren Besitzern kaufte der Weber Willem van der Burg das Haus im Jahr 1869, woraufhin es ein Jahrhundert lang im Familienbesitz blieb. Willems Tochter ist Küsterin der reformierten Gemeinde und wohnt dort bis 1967.
Nach einer Renovierung im Jahr 2017 dient es unter dem Namen 'The Sexton's Cottage' als Übernachtungsmöglichkeit.
