L’abitato di Zorzoi, sviluppatosi in epoca romana alle pendici del Monte Castello lungo la strada per il Primiero, deve il suo sviluppo edilizio proprio alla presenza di questa importante arteria commerciale, sostituita alla fine dell’Ottocento dall'attuale tracciato di fondovalle che segue il corso del Cismon.
Il toponimo, un tempo scritto dordòi, rimanda al nome latino Goergius ed indica più che il proprietario delle terre, chi le abitava. È interessante notare come l’insediamento si sia sviluppato sul versante del monte lasciando libera la piana che è da sempre stata coltivata ed utilizzata per il sostentamento degli abitanti.
Che il paese, al pari di altri, abbia avuto per secoli una connotazione agricola e pastorale lo si vede dai molti rustici superstiti, con le stalle a volta (cuba) nei piani inferiori e la presenza sui fronti meridionali di molti poggioli in legno, dove si facevano essiccare i prodotti della terra (granoturco, pa-tate, fagioli). Le occasioni commerciali però non mancavano, permettendo ad alcune famiglie locali di arricchirsi. È il caso dei Moretta, ma soprattutto dei Valle che arrivarono a costruirsi un vero e proprio palazzo. Contemporaneamente si instaurarono dei rapporti con gli ambiti artistici veneto e tedesco i cui influssi, ripresi anche dagli scalpellini locali, si fecero sentire nell'edilizia per secoli, così tra le strette vie è possibile scorgere dal pilastro sagomato al piccolo affresco del rustico, fino all'edificio residenziale impreziosito con superfici a bugnato e squisito mascherone settecentesco in pietra.
Anche l’architettura religiosa ebbe ampio sviluppo, non solo nella chiesa curaziale costruita agli inizi del Cinquecento. L’Oratorio della Beata Vergine di Pompei fu eretto al centro del paese per comodità degli abitanti nel 1898 per iniziativa di Benedetto Dalla Valle. Si presenta con semplici linee classiche, mentre l’interno è ad aula unica con un solo altare, sistemato nel 1972 e sormontato dalle statue della Madonna di Pompei, San Domenico e S. Caterina da Siena.
Il piccolo sacello dedicato ai Santi Vittore e Corona risale nelle forme attuali all'Ottocento, mentre le decorazioni interne, opera del Pocchiesa, sono più recenti.
Diversi piccoli nuclei abitati circondano Zorzoi: la Bettola, in direzione del Pontet, era un punto di sosta obbligato per chi percorreva la strada delle Schenaro.
Moline è invece di origine più recente, essendo sorta attorno ad un opificio attivo sulle rive del Cismon già nel Settecento (da cui il nome) e lungo il tracciato di una vecchia mulattiera che da Lamon, per ponte Oltra, si spingeva fino a Pontet dove si trovava il confine con il Tirolo austriaco. Con la costruzione della nuova strada per il Primiero (1882) godette di un notevole sviluppo con la costruzione di una locanda, punto obbligato di sosta, fino alla costruzione, nel 1929, della grande centrale idroelettrica. Originariamente la frazione era collegata con Zorzoi da diverse mulattiere: si ricordano le vie Longa, delle Vit e Verai. Lungo una di queste, su una casa ancora oggi abitata, spicca una Madonna affrescata del Settecento.
Molte altre località sarebbero degne di nota: fra queste si segnalano verso valle Gorna, con mulino e segheria degli anni Trenta e un recente sviluppo residenziale, ad est Murer, con begli esempi di edilizia rurale ed una caratteristica testa scolpita nella pietra, ed infine Col dei Mich, pianoro prativo esposto a sud e frequentato dall’uomo fin dalle epoche più remote. Qui si trova il centro polifunzionale restaurato dal Parco, sede oggi di un agriturismo, ma che rivela in parte la sua originaria funzione di torre di avvistamento di origine duecentesca. Alle falde del Monte Castello e nell'alta valle dell'Olac, infine, sono presenti molte casere “a gradoni”, costruzioni tipiche della fascia del prealpeggio.