现存建筑可分为早、中、，晚三期。早期建筑藏语称“扎西群宗”，始建于13世纪，现存最高为12米的宫墙残段和南、北大门；中期建筑藏语称“甘丹拉孜”，建于15世纪；为拉加里王宫遗址现存的主体建筑，由王宫、仓库、拉康（宫殿）、广场、马厩等组成，原为5层，现存3层。尚残存部分壁画；晚期建筑称 “夏宫”，建于18世纪，现存部分为一基本完整的院式宫。
拉加里王宫遗址基本保持了原建筑的布局和结构，其建筑风格融合了汉族的建筑风格，这在西藏王宫建筑中是极为珍贵的，亦是研究西藏地方历史、建筑史的重要实物资料。遗址不远处有著名的色吾温泉。