Kara Kuvvetleri Komutanlığı Karargâh Binasının bulunduğu yer; İnşaat yapılmadan önce Ali Şan Bey’in Çiftliği olarak bilinmekte idi. (Ali Şan Bey; 1919 yılında Ankara’da aile fertleri ile birlikte Ermeni Çeteleri tarafından şehit edilmiştir.)
Karargâhın kuzey-güney istikametindeki üç katlı eski bölümün inşaatına İsmet İnönü Bulvarı (Eskişehir Yolu) güneyindeki benzer yapı ile birlikte 1932 yılında başlanmış ve her iki binanın inşası 1937 yılında tamamlanarak yedek subay okulu olarak kullanılmaya başlanmıştır. Bu kullanımda İsmet İnönü Bulvarının güneyindeki binada piyade sınıfı yedek subay adayları, kuzeyindeki halen Kara Kuvvetleri Karargâhının bir bölümü olarak kullanılan binaya da piyade sınıfı hariç diğer sınıf yedek subay adayları iskân edilmiştir.
Bu Bina sırasıyla;
1937-1941 yılları arasında Yedek Subay Okulu (Piyade Sınıfı Dışındaki Yedek Subay Adayları)
1941-1946 yılları arasında Harp Akademisi
1946-1953 yılları arasında Yedek Subay Okulu (Piyade Sınıfı Dışındaki Yedek Subay Adayları)
1953-1972 yılları arasında Gülhane Asker Hastanesi
1972 yılında Kara Kuvvetleri Karargâhı (Kara Kuvvetleri Komutanlığı Türkiye Cumhuriyeti Döneminde kurulduğu 1949 yılında 1972 yılına kadar karargâh olarak MSB eski binasının kuzeye bakan bölümünde görev yapmıştır.)
1979 yılında Kara Kuvvetleri Komutanlığı Karargâhının yeni iki katlı komutanlık ve 9 katlı karargâh bölümlerinin inşaatına başlanmıştır.
20.12.1985 tarihinde Karargâhın İsmet İnönü Bulvarına (Eskişehir Yolu) paralel bir cephe ile inşa edilen yeni bölümü tamamlanarak hizmete açılmıştır.
