Il Palazzo Orsini ha origine intorno al XIV secolo, per opera dei figli di Giordano Orsini ai quali fu dato il potere su Stimigliano. È molto probabile che il Palazzo sorga sui resti di un'antica villa romana. Esso è costituito da tre corpi principali che si dispongono a "C" intorno a un cortile interno. Sul lato destro rispetto alla Piazza Vittorio Emanuele, si erge un torrione che è visibile a molti chilometri di distanza.
Si accede al palazzo da un antico portale bugnato, gli appartamenti sono decorati con affreschi del XVI secolo.
Dal cortile si accede nella cappella gentilizia, inaugurata nel 1595 come riportato sull'epigrafe posta nella cappella stessa. Si può ammirare all'interno un affresco rappresentante la Fuga in Egitto.