До конца 11-ого столетия Уэльс являлся частью уэльсского королевства Deheubarth, которым управлял принц Гриффит Рхайс. В 1093 году Рхайс был убит в сражении норманами возле Брекона. В те времена норманы предприняли общий набег на южный Уэльс. Замок был построен в Пембруке, чтобы обеспечить сокращение оттока населения из этой области, но особой пользы в этом деле он не принес, и в 1108 Генрих I попытался поддержать процесс колонизации, заселяя фламандцев в Deugleddau (область вокруг Хаверфордуэста). Один из фламандских лидеров, Визо, принял баронство, сосредоточенное на его замке в Wiston (приблизительно три мили на север Пайктон) и затем начал предоставлять состояния его благородным последователям. Это, скорее всего, было в то время, когда в Пайктоне был построен первый замок.