Al igual que el lago Kauneonga, el lago Swan forma parte del histórico Borscht Belt, una zona turística de montaña inmortalizada en la película de 1987 «Dirty Dancing». De hecho, el nombre de la ciudad no tiene nada que ver con los cisnes, ni con el famoso ballet. Originalmente conocida como Stevensville, Swan Lake recibió su nuevo nombre en honor a Alden Swan, un empresario de Brooklyn que compró el lago (y grandes extensiones de tierra cercanas) a principios de siglo. Hoy en día, a los pescadores les gustan estas aguas por la lubina negra, el pez luna y el lucio.