Строение замка датируется еще двенадцатым столетием, еще во времена существования Эдуарда Английского. В то время был завоеван Уэльс, поэтому началось массовое строительство замков, во время которого и был воздвигнут замок Конви.
На постройку замка было выделено полторы тысячи человек, которые потратили на постройку четыре года усердного труда. Но вскоре замок Конви забросили, и он пустовал, потихоньку разрушаясь. Но уже во время Гражданской войны, которая была в семнадцатом веке, замок был использован роялистами в качестве укрепления, только продержались они не долго, и вскоре были разбиты.
