中央大樓建築平面呈「日」字型，中央區域的樓上樓下分別是大會議室和大禮堂，尤其樓上挑高兩層半，作法十分氣派。中央大樓建築主體的外牆基座主要由花崗石構成，花崗石來自日本，質地堅固，色澤淺白。尤於正值二次大戰期間，為國防安全之需，牆身所貼二丁掛瓷磚特別選擇深褐色；這個顏色也稱為國防色，具有防空保護的作用。

民國30年代，臺北市鋪柏油的路面不多，在外行走經常風塵滿面，必須有個可以洗手潔容的地方；中央大樓北面入口的洗塵設備，讓前來洽公者可以先淨手洗塵，再進入辦公或洽公，顯得較為整潔有精神。同樣的手洗設備，也可在臺大醫院舊館發現，可說是實用而貼心的設計。

據時期建築流行使用磨石子，中央大樓也呈現這股流行風潮。室內牆壁用磨石子作水平線條，形成兩種顏色的水平帶狀裝飾。尤其值得一看的是磨石牆面所展現的手工建築之美，它使用來自宜蘭的寒水石或七厘石，先以手工預鑄磨石子牆片，再將牆片貼覆壁上，牆片之間緊密相合，手工施作的精細程度，連一根針也難以插入，而且它能良好保存至今，十分珍貴難得。

院會室是行政院的核心空間，廣闊挑高的室內空間極為氣派。院會室因應使用者需求，經過歷次修飾，建築材料多已非初建形貌。

中央大樓展現了不一樣的空間規劃，當時日字形建築樓梯多半設計在四個角落，中央大樓卻將樓梯設在四邊的中段地區，並且進一步採用SRC（Steel Reinforce Concrete）鋼骨鋼筋混凝土結構，使建築有更充份的抗震功能。

大禮堂的上空採用大跨距鋼鐵桁架，是當時最進步的構造。此外，廁所並非設在角落，而是在走道中間，便於使用，也是與眾不同之處。

民國十九年以前的臺灣公共建築甚少興建地下室，但是中央大樓卻設有局部地下室，因為在它興建時，正逢蘆溝橋事變（民國26年）中日戰事期間，基於戰備考量，而興建作為防空避難之用。

中央大樓座北朝南，日字形平面營造出兩個中庭──東天井和西天井，天井兩側均闢圓型拱門，讓馬車進出，近年整修成為中庭花園，闢魚池，種植臺灣海棗、小葉欖仁、金露華等植栽，是一處小而美的庭園風景。

中央大樓迴廊上，仍妥善保存當初的檜木窗戶，那是今日已經甚少見到的平衡錘拉窗，以檜木製作，在窗戶兩邊各設一條鐵索，鐵索上裝滑輪，窗框裡裝秤錘，讓秤錘重量等於上下兩片玻璃窗的重量，就能叫窗子在上下拉動時，隨意停住而不會下滑，展現當時工匠智慧又環保的巧妙設計。

1930年代，全世界風行Art Deco潮流，藝術裝飾為其特色。當時設計界流行表達設計主題，造型常呈現幾何趣味，斜格子代表一種設計理念，尤以美國建築師萊特（Frank Loyd Wright）提倡的設計風格最為著名。

中央大樓入口門廳的門扇採用了這種斜線條菱形格子設計，反映Art Deco的時尚風潮。大廳樓梯扶手及欄杆形式簡潔，不做裝飾，同樣是1930年代後期流行的設計風格，牆面則於近年整修時貼上進口花崗石片。 中央大樓的門窗均使用斜格金屬窗花，門楣上的橫批窗與前大門、後大門的形制維持一致，以取得造型上的協調感。

門扇裝飾
院長辦公區的雕花門扇，裝飾採用整棟建築均使用的菱形元素，立體菱形花紋具有古典建築的遺風，造型美觀大方。

一樓接待室設在正大門的左翼，因為左側為大，表示以客為尊，室內共有二十五個座位，是院長等人接見國內外賓客最常使用的場所。面對接待室主牆，院長坐在右手邊的主人位，往左看，院長右手邊是主賓的座位，依序而坐；左手邊是陪賓的座位，同樣依序而坐。

中央大樓是民國26年至民國29年(日據時期)間所建，與監察院（民國4年，原臺北州廳）、公賣局（民國11年，專賣局）、總統府（民國8年，臺灣總督府）及臺大醫院舊館（民國5年）等後期文藝復興式建築，在建築風格上有顯著的差異。屋頂不再作古典的希臘式三角頂或圓頂，也不作尖塔，而採取水平屋頂，這是日本國勢鼎盛時期（民國26年）的建物，建築風格受到當時全世界流行的現代主義的影響，外觀特別強調簡潔方塊體與水平線之組合，設計手法與中山堂（民國25年，原臺北公會堂）如出一轍。

中央大樓從外觀看是三層樓，中央區卻有四層樓高度，實際樓高16.5公尺。當年施工紀錄顯示：一樓1122坪，二樓1047坪，三樓968坪，四樓234坪。它的前身是日據時期臺北市役所新厦，民國26年(日據時期)啟建，民國29年落成。 在臺灣現存日據時期官式建築中，行政院中央大樓是保存良好且仍在使用的日據時期官式建築代表。