De verfmolen De Zwemmer stond aan de Wormerringdijk ten westen van oliemolen De Hoop of Kuiken en ten oosten van oliemolen De Kerkuil. Eigenaar Andries Jansz Steenhouwer bood hem op 13 februari 1683 te koop aan. Hij slaagde er toen niet in de molen van de hand te doen. Maar op 21 september van dat jaar slaagde Claes Claesz Muys er in opdracht van de eigenaar en zijn compagnon Jan Jansz. Smit wel in “de opstal van de molen De Zwemmer” voor f. 125,- te verkopen aan Jan Jansz. Vijzelaar uit Edam . Het luttele bedrag doet vermoeden dat de molen, waarvoor op 8 april 1675 een windbrief was verstrekt aan Smit en Steenhouwer, door brand geveld was of zware stormschade had opgelopen. Zo kort na de bouw kon het verval immers niet zo ernstig zijn, dat de molen vrijwel niets meer waard was.