Fue construido durante la primera mitad del 400, por Marin Contarini, hijo de Antonio Contarini, procurador de San Marcos. El edificio anterior, fue parcialmente demolido e integrado al nuevo. Ca'd'Oro, es un edificio  pequeño pero muy bello, otro ejemplo del gótico veneciano que típicamente muestra motivos bizantinos y orientales. El hijo del propietario, Pietro, tuvo que dividir el palacio entre las hijas y de esta manera, comenzó la historia turbulenta del Palacio Ca'd'Oro.

Durante el período del Setecientos, fue una propiedad de la familia Bressa, mientras que en el Ochocientos cambió de propietario sucesivamente y fue objeto de profundas alteraciones y vandalismos. Afortunadamente, estas alteraciones fueron deshechas cuando el barón Giorgio Franchetti, compró el palacio. Se creó una nueva escalera descubierta sobre el modelo de aquella del edificio "Palazzo Contarini dalla Porta di Ferro". La base del aljibe es original y fue el primer trabajo independiente de Bartolomeo Bon. En 1916, Giorgio Franchetti donó Ca' d’Oro y su colección de obras maestras del arte renacentista al Estado. De esta manera, el edificio, se convirtió en museo.

En el exterior, posee diversos elementos al igual que el Palacio Ducal, de hecho, pertenecen a la misma época. El edificio, se organiza alrededor de un patio abierto y en el centro, se posiciona una base de un aljibe en mármol veronés, obra de Bartolomeo Bon, ya mencionada. Durante la labor realizada por Giorgio Franchetti, fue creado el pavimento de mármol con motivos geométricos en el pórtico de la planta baja, que cubre 350 metros cuadrados. Fue el mismo Franchetti, quien diseño los motivos y dedicó atención a los trabajos. Se utilizaron piedras preciosas que pertenecían a la antigua época romana.

La colección de Franchetti, conservada en el edificio, incluye obras maestras de Mantegna, Tiziano, Giorgione, Palmezzano, Guardi, Bordone, pero hay bronces, esculturas y otros cuadros venecianos y flamencos, que forman parte de la colección estatal.