Ve starověku byl Gibraltar považován za jeden z Herkulových sloupů. Končilo zde Středozemní moře a začínal Atlantik. Ale i dnes, kdy již nepatří ke Španělsku, zůstaly Herkulovy sloupy součástí španělského státního znaku.
V roce 711 bylo území dobyto muslimskými Araby a skála byla pojmenována po dobyvateli Džabal al Tárikovi (Tárikova skála). Maurský vojevůdce Tariq ibn Ziyad jako první objevil strategický význam skály jako jedinečné přírodní pevnosti,ale trvalé sídlo s hradem zde bylo vybudováno až v roce 1160.