Jelsa, mimo, że obecnie w większości nastawiona na turystykę, może oczarować maleńkim uroczym starym miastem oraz pięknymi piaszczystymi plażami.
Jelsa to jedna z większych miejscowości i port na północnym wybrzeżu wyspy Hvar. W połowie XIX w. osuszono tutejsze podmokłe tereny, po czym powstało tu nowe centrum Jelsy. Miasto jest połączone z pobliskimi miejscowościami (Pitve, Vrisnik, Svirce) drogami lokalnymi. Pierwsze osiedle i tutejszy barokowy kościół Św. Jana powstały tu w XVII w.
W wieku XIX nastapił rozkwit gospodarczy Jelsy. Zwiększył się też eksport dzięki rozwojowi przemysłu winnego. Powstał wtedy park miejski, w 1868 r. została założona czytelnia (pierwsza na wyspach dalmatyńskich). Jelsa straciła swoją pozycję wraz ze stopniowym wypieraniem żaglowców przez statki parowe. Nową rozwijającą się dziedziną stała się turystyka.
Miasto obejmuje dwa największe szczyty na wyspie – na zachodzie św. Nikola, a na wschodzie Hum. Od strony południowej Jelsa otoczona jest wzgórzami: Vrh, Samotorac, Gozd, a od północy przed wiatrami północnymi chroni ją góra Burkovo. Połączona jest długim 1,5 km nadbrzeżnym deptakiem z Vrboską.
Najbardziej interesujące miejsca w Jelsa to Perivoj (Ogród), powstały ok 1870 r. W pobliżu parku stoi kościół św. Michała, noszący cechy gotyckiej architektury. Interesujący jest też kościół św. Rocha z końca XVI w., który znajduje się przy wjeździe do miasta. Równie ciekawy jest wybudowany jako twierdza wzmocniony Kościół Ś. Maryi, obecnie pod wezwaniem św. Fabiana i Sebastiana), który zdołał obronić Jelsę w czasie najazdu tureckiego w 1571 r.W nim znajduje się najwięcej dzieł sztuki. a ołtarzu głównym wisi obraz barokowego weneckiego malarza Pietera de Costera (1612-1702) „Bogurodzica ze św. Fabianem i Sebastianem” z XVII w. Na uwagę zasługuje także późnogotycki krucyfiks z XV w. i dwa inne obrazy nieznanych autorów z XVII w. Kościół ten został wspomniany w statucie jako kościół św. Maryja, wokół którego zaczęło się kształtować siedlisko. W czasie częstych najazdów tureckich został ufortyfikowany i jako kościół – twierdza przetrwał do dziś dnia. Fasada z białego kamienia została dodana w XIX w., ukrywa w pewnym stopniu renesansowy zarys budynku. Na dziedzińcu kościoła znajduje się archeologiczna kolekcja, tu prezentowane są pozostałości z różnych okresów historycznych miasta. Kościól jest trójnawowy, w podłodze są XVI-wieczne płyty nagrobne.
W starszej części Jelsy na głównym placu Jelsy znajduje się fascynująca XV-wieczna kaplica Sv. Ivana z miniaturowym placem i otaczającymi go malowniczymi domami z XV-XVII w. Warto zwrócić uwagę na dom Skrivanellich z herbem na portalu z 1561 r. i z łacińską inskrypcją „DOMINIUS CUSTODIAT INTROITUM TUUM ET EXITUM TUUM !” (Pan niech strzeże wejścia i wyjścia twego).. Na całym terenie miasta utrzymały się ruiny Civitas Vetus Ielsae , czyli starego miasta Jelsa.
Na wzgórzu niedaleko miasta znajdują się pozostałości po warowni Tor z dobrze zachowaną grecką wieżą obserwacyjną z IV w. p.n.e.
Warto też zobaczyć Grad (lub Galešnik) – położone kilometr na wschód od wieży ruiny miasta-twierdzy, zburzonego w 1310 r. podczas nieudanego powstania przeciw Wenecji.
Rokrocznie pod koniec sierpnia świętuje się w Jelsie Dni Wina (Dani Vina).