Wie der Kauneonga Lake ist auch der Swan Lake Teil des historischen Borscht Belt, einem Bergferiengebiet, das durch den Film „Dirty Dancing“ aus dem Jahr 1987 unsterblich wurde. Tatsächlich hat der Name der Stadt nichts mit Schwänen zu tun – oder mit dem berühmten Ballett. Ursprünglich als Stevensville bekannt, wurde Swan Lake nach Alden Swan benannt, einem Geschäftsmann aus Brooklyn, der den See (und große Landflächen in der Umgebung) um die Jahrhundertwende gekauft hatte. Heute schätzen Angler diese Gewässer wegen ihrer Schwarzbarsche, Sonnenbarsche und Hechte.