La famiglia arrivò a Matera intorno al 1460 e vent'anni dopo partecipò alla campagna di Otranto contro i turchi guadagnando cosi i favori del re di Napoli, Ferrante di Aragona. La costruzione del palazzo iniziò nella seconda metà del 1500 e fu completata solo nella seconda metà del settecento, quando Ottavio Venusio divenne barone. Nel 1797 il re di Napoli, Ferdinando IV, nominò Giuseppe Venusio marchese.
Durante il 19 e 20esimo secolo Palazzo Venusio è andato incontro ad una lenta decadenza. Negli ultimi dieci anni la famiglia Viceconte lo ha interamente restaurato e riportato agli antichi splendori.