從大峽谷進入藏兵洞，出了洞口，就來到了紅山堡。據說藏兵洞有三條通道可以進入紅山堡，這只是其中的一個洞口，其余的兩口洞口還沒有找到，可見當年在這個立體防御體系中，上下連通，來往是多么的便捷。

紅山堡是因位于紅山地區而得名。據史書記載，古時在夕陽的照射下，這里山巒一片鮮紅，因命為“紅山”后訛傳為“橫山”，“紅山堡”舊時也就一名“橫山堡”。它是明代長城防御體系中的一個城障，始建于明弘治十六年（1503年），由總制陜西軍務戶部尚書秦纮秦筑，距今已有500多年。“紅山堡”本屬靈州千戶所轄，其為正方形，邊長均為300米，設東門一道，有甕城，門向南開。墻高8米，底寬7米，頂厚4米，是按照明代長城沿線70里一城，30里一堡的防御體制設置的。它東至清水營50里，西至橫城20里。

初時，駐堡將士僅為“一百二員”，就是說戍守將士只有102人。到明英宗天順年間（1457—1464年），瓦剌毛里孩、阿羅書、學羅忽三部漸強，入居河套。自成化元年（1465年）瓦剌三部不斷寇掠陜西、寧夏。成化九年（1473年），王越于時屬靈州的紅鹽池大敗孛忽羅等部，迫使他們“渡河北去”。但韃靼部漸強，小王子部又率眾入居河套，經常侵擾邊塞“殺傷以萬計”使生產遭受嚴重破壞。這時，紅山堡等長城沿線防守任務更重。明正德十六年（1521年）戶部尚書兼右副都御史，總制三邊（陜西、寧夏、固原）的秦纮，委派寧夏都指使史鏞擴建紅山堡，南北長約380米，東西長約320米；甕城長30米，寬20米。堡內住軍251名，設守堡官員一名，操守官一名。城堡中，還可以看到原有的房屋基址。如按明代兵制，每5人分住一間營房，紅山堡應有50多間房屋。在城堡西北臺地處，能見到大量殘破磚瓦和建筑構件殘片堆積。這里可能是守堡官員的住所，在沒遭到破壞前，可能是一座檔次較高的恢宏建筑。

最初設置紅山堡等城障時，主要有兩個目的；一是加強長城線上的防守（這在介紹藏兵洞時已談過）；二是“防秋”。所謂“防秋”古已有之，到了明代，韃靼、瓦剌貴族仍然遵循突厥等游牧民族貴族的古例，就是往往于秋天馬肥草盛之際，大舉興兵南侵，這時農耕還正值秋收季節。為此，從隋唐至明，每到這時就要調集大軍戍邊，以保護百姓秋收，因稱之為“防秋”。但在客觀上，其作用并不僅如此。如自嘉靖十年（1531年），王瓊筑“頭道邊”，實施“深溝高壘”后，使長城內的“寧鹽大道”和陜北有屏障保護的交通大道相銜接，從而成為商運往來的“黃金商道”。另一方面，又在橫山至清水營各城障設立驛站，其中紅山驛設驛馬18匹，原有驛站3名，新添至7名，往靈州南下關中的驛道，比過去延長了120里，是寧夏鎮軍事供應及軍機文書傳遞、官員往來的必經之道，這就和“寧鹽大道”共同構成了在軍事保護下的兩大主要交通線。另一重要作用，就是長城內外各族人民出入清水營“馬市”及“牛羊小市”進行商品交易和商貿往來，紅山堡是重要通道之一。

據志書記載，明代長城沿線自橫城起至延綏的今定邊界，共有城障21座（城堡之間又根據需要修筑的小城堡稱為“障”）。橫城分邊守備17里，清水營守備36里，兩城營之間的18里統歸紅山堡分邊守備。這樣紅山堡一頭挑著橫城營，一頭挑著清水營，其軍事上的重要性顯而易見，正應它在地理上的特殊性，藏兵洞的修建就更容易理解了，大約建于實施深溝高壘的嘉靖十年（1531年）。

紅山堡及其他城障之北的長城基部，一般都設有“暗門”（即類似城門的拱形小券門）可使長城內外相通，由戍軍把手，按照規定開啟。除此之外，明代在修筑長城時，還于長城內側每5里筑有一座烽火臺，紅山堡屬下有4座，即安邊墩、大鶯墩（此墩處的長城上有“暗門”），鎮羅邊墩、窯兒邊墩。烽火臺為黃土夯筑，也稱煙墩、烽臺、烽燧、烽堠、狼煙臺，俗稱“煙火墩”。這種墩臺，長城上也有設置，專用以軍事報警，白天燃煙，夜間舉火，依次遞相燃放，軍情很快就可傳報到鎮或州所。這種古老的報警方式，被譽為“世界上最早的無線電”。

明成化二年（1466年）的法令中規定：“合設煙墩，并看守堠夫，務必時加提調整點，須要廣積桿草，晝夜輪流看望，遇有警急，晝則舉煙，夜則舉火，接遞通報，毋致損壞，有誤軍情聲息……傳報得宜寇敵者，準其功，違者處以軍法”。每座墩臺一般設三個戍卒看守，日夜輪流值班。至于傳遞軍情，其法令又規定“令邊堠舉放烽炮，若見敵一、二人至百余人，舉放一烽一炮；五百人二烽二炮、千人以上三烽三炮；五千人以上四烽四炮；萬人以上五烽五炮”。每座烽火臺，通常都配備有旗幟、鼓、弩、軟梯、炮石、火藥、火箭、狼糞、牛糞、柴草等。