Vyšší Brod se rozkládá na úpatí vrcholků náležejících k Šumavě, na pravém břehu Vltavy, nedaleko hranice s Rakouskem.
Osada na místě města vznikla počátkem 13. století jako tržiště na jedné z nejstarších soumarských stezek, která vedla Vyšebrodským průsmykem od Dunaje do Čech. První písemná zmínka je v darovací listině z 1. června 1259, kdy pan Vok I. z Rožmberka založil cisterciácký klášter a osadu věnoval Rožmberskému panství.
Nejvýznamnější památkou je cisterciácký klášter s gotickým chrámem Nanebevzetí Panny Marie. Dnes v klášteře žije komunita mnichů, kteří se snaží o obnovu řeholního života i klášterního komplexu. V klášteře jsou možné prohlídky s průvodcem. Náměstí obklopují měšťanské domy a dominuje mu děkanský kostel svatého Bartoloměje. Mezi další památky patří barokní most přes Vltavu z 18. století, gotická radnice z roku 1525 a o století starší pozdně gotický špitál.
Město i s okolím je turisticky vysoce atraktivní. Ve městě křižují lokální cyklistické trasy a začíná tady tzv. Šumavská cyklostezka, která vede po levém břehu Vltavy přes Čertovu stěnu k hrázi Lipenské přehrady. Dále po levém břehu Lipna až do Nové Pece a do hloubi národního parku Šumava. Město je také výchozím bodem celé řady značených turistických tras. Vyšší Brod je i výchozím místem vodní turistiky. U Vltavy mezi klášterem a železniční stanicí Vyšší Brod-Klášter se nachází kemp u kterého začíná splavný úsek dolní Vltavy.
V bezprostřední blízkosti obce se nachází národní přírodní rezervace Čertova stěna a Luč s unikátním žulovým masivem a zbytky přirozeného a suťového lesa. Nedaleko severozápadního okraje města se rozprostírá vodní plocha přehradní nádrže Lipno II.