Heredot’un dünyanın en eski kavmi olarak nitelediği Frigler, Kütahya bölgesinde rastlanan ilk topluluktur. Büyük Frigya ve Küçük Frigya şeklinde ikiye ayrılarak yönetilen Frig devleti içinde Aizanoi, Küçük Frigya’nın önemli şehirleri arasında yer almaktadır. Friglerden sonra bölgede sırasıyla Kimmer, Lidya, Pers, İskender İmparatorluğu, Bergama Krallığı ve M.Ö.133’de Roma imparatorluğunun hakimiyeti görülür. Şehir Roma döneminde piskoposluk merkezi olarak önemini korumuştur.

1078’de Anadolu Selçuklu Devletini kuran Kutalmışoğlu Süleyman Şah aynı tarihte Kütahya’yı fetheder. Bölge Germiyan Beyliği kuruluncaya kadar Türklerle Bizans arasında sürekli el değiştirmiştir. 1097 haçlı seferleri esnasında bölge haçlılarca işgal edilir. 1176’da ise II.Kılıçarslan’ın Miryekefalon savaşında Bizans ordusunu yenmesinin ardından 1177 ve 1182’de Kütahya ve Eskişehir havalisini kati olarak Türkleştirir.

Osmanoğulları’nın Batı Anadolu’ya yerleşmesi sırasında Çavdar Tatarları Aizanoi bölgesine yerleşerek üs olarak kullanmıştır. İlçenin Çavdarhisar adını bu boydan aldığı bilinmektedir.       

Kütahya'nın 59 km güney batısında yer alan ilçenin yüzölçümü 298 km2 , rakımı ise 1000 metredir. Arazi genellikle ovalık ve bazı kesimleri de ormanlardan oluşmaktadır. İlçede Ege ve İç Anadolu'nun karasal iklimi hakimdir. İlçemizin % 40’ı Ormanlık alandır.

Kütahya’ya 59 km uzaklıkta olan Çavdarhisar, Kütahya-Uşak Devlet Karayolu (D 240) üzerinde kurulmuş bulunmaktadır. İlçemiz Kuzeyden Aslanapa, Güneyden Gediz, Batı bölgesinden Emet ve Hisarcık ilçelerine komşudur.