家中屋敷は、禄高・身分の高い者ほど御根小屋に近く、軽輩になるほど城下の末端に配置され、市街戦を想定しての町づくりがされている。小堀氏時代は家臣団も少なく、せいぜい一〇〇人程度であったと考えられ、武家屋敷も御根小屋とその周辺で十分足りたであろう。しかし、その後鳥取から移った池田氏は、六万五千石の大名であったから、早急に家臣団の住居をつくることが必要となった。池田氏の入封以後、水谷氏・安藤氏・石川氏を経て板倉氏にいたるまで、各時代の家中屋敷などの推移についてみると別表のようになる。同じ五万石でも、水谷氏と板倉氏を比較すると軒数・世帯数ともに水谷氏が多い。つまり、水谷氏は表高五万石でも実高八万六千石、新高十一万石余りにも及んでいたことの反映であろう。