O primeiro edifício foi construído na primeira metade do século XIV, sendo destinado a Alfândega Régia e habitação dos seus oficiais. Constituído por duas torres ameadas separadas por um pátio central, era o edifício de arquitectura civil mais importante da zona ribeirinha. Segundo a tradição, teria nascido nesta casa o Infante D. Henrique, em 1394. Anexa ao edifício funcionou a Casa da Moeda do Porto, desde o Século XIV. Com grandes obras de remodelação no século XVII, a Alfândega manteve-se neste local durante mais de 500 anos.