Esimesed jäljed inimasustusest Kõrvemaal pärinevad juba kiviajast, kuid läbi aegade on siin väga vähe inimesi elanud. Tähendab ju sõna „kõrb, kõrve” suurt metsa või põlist laant.

Enne Nõukogude võimu oli praegusel kaitseala territooriumil üle 40 talu. Koitjärve külas Oru talus elas aastaid oma venna Jüri juures kirjanik Anton Hansen Tammsaare, kelle loomingus kajastuvad kirjeldused Põhja-Kõrvemaa maastikest. Kõige tuntuim neist on „Kõrboja peremees“.

Sõjaväe polügooni rajamisel sunniti 1953. aastal kõik tsiviilelanikud alalt lahkuma. Peale Nõukogude armee lahkumist on olnud püsiasustuse naasmine vaevaline. Kaitseala siseosas on ainsad taastatud talud Kulli talu Pillapalu külas ja Tooma-Jüri talu Koitjärve külas. Põhja-Eesti sügavaima, Umerikjärve ääres asus kunagise Soome konsuli Emil Vesterise suvila. Tänaseks on hoonest alles vaid vundament. See on üks väheseid märke inimasustusest Põhja-Kõrvemaa järvede ääres. Umerikjärve on kutsutud ka Konsuli järveks.

Paukjärve äärde planeeriti ehitada sanatoorium, sõja tõttu plaan ei õnnestunud, küll aga jõuti  sinna rajada 1931. aastal Noorte Meeste Kristliku Ühingu suvelaager, kus veetsid suvesid sajad poisid. Laagrit ja selle arvukaid rajatisi meenutab nüüd vaid lõkkeaseme betoonring järve kaldal.