Het poortje, in 1627 voor 50 gulden vervaardigd door steenhouwe Coenraet Crijnsen, vormde het sluitstuk van de inrichting van het voormalige Brigittenklooster tot werkhuis voor arme kinderen.
Zo’n 50 kinderen, waarvan een deel intern verbleef, werden aan het spinnen en weven gezet; zij droegen een soort “wezenkleding”, bestaande uit grauw en/of blauw laken.
Na een onderbreking van enkele decennia ging de instelling vanaf 1687 verder als burgerweeshuis.
De tekst boven het poortje verwijst naar een verbouwing van dit gebouw in 1719.