Ondanks het feit dat Pago Pago zo klein is, is er veel historie te vinden tegen een epische achtergrond. De stad, of accurater zou zijn de cluster van verschillende vissersdorpen, is langs de kust van de Pago Pago-haven gelegen, die door de duizenden jaren vulkanische erosie op het eiland Tutuila is uitgesleten. De fjordachtige haven, een van de meest verbluffende in de zuidelijke Stille Oceaan, wordt geflankeerd door steile en weelderige heuvels, met als grootste Rainmaker Mountain.
De beschermde haven werd in 1872 door Commander R.W. Meade uitgekozen als brandstofstation voor de Amerikaanse marine. Meade onderhandelde over het onroerend goed met het Samoaanse opperhoofd, wat ervoor zorgde dat er van 1900 tot 1951 een marinebasis in gebruik was op Pago Pago.
Pago Pago zelf is rustig, voor zover dat mogelijk is in een hoofdstad, de meeste commercie en activiteit vinden plaats in de gebieden Fagatogo en Utulei. De heuvels bij het strand staan vol huizen en langs de straat voor het dok zijn er verschillende winkels. Het beste uitzicht op de haven en het stadscentrum vindt u op de top van Mount Alava in het nationaal park van Amerikaans-Samoa.