Afyon’un ilk sahipleri Hititlerdir. Pekçok höyüklerde Hititlere ait tarihi zenginlikler ortaya çıkarılmıştır. Afyon kalesini yapan Hitit imparatoru “Mürsil”dir.

Hititlerden sonra Sakarya boylarında hüküm süren Frikler (Frikyalılar) Afyon’a sahib oldular. Frikyalılar bu şehre “Sineda” ismini vermişlerdir. Afyon müzesi, Hitit ve Frikyalılara ait eserler bakımından en zengin olanıdır.

Frikyalılardan sonra Lidlar (Lidyalılar) bu bölgeye sahib oldular.

M. Ö. altıncı asırda Perslerin eline geçti. M.S. 4. asırda Makedonya Kralı Büyük İskender’in istilasına uğradı. Bunun ölümünden sonra Selevkosların, sonra da Bergama Krallığının eline geçti. M.S. 2. asırda Bergama Krallığı ile birlikte Roma İmparatorluğuna katıldı.

Roma İmparatorluğu M.S. 395 senesinde ikiye ayrılınca burası Doğu Roma (Bizans) İmparatorluğunun elinde kaldı.

Müslüman Araplar ve İranlı Sasaniler Afyon’a kadar geldiler. Müslümanların meşhur kahramanlarından Battal Gazi’nin Afyon’da Bizanslılarla savaşırken 739 senesinde şehid olduğu rivayet edilmektedir.

Bizanslılar, Afyon’a "yüksek kale” manasına gelen Akronium (Akroenos) ismini verdiler

1071 Malazgirt Savaşından sonra Anadolu Fatihi ve Anadolu’daki Türk devletinin kurucusu Kutalmışoğlu Süleyman Şah bütün Anadolu gibi Afyon’u da feth etti. 1146’da Birinci Kılıçarslan, Bizans İmparatoru Manuel Komnenos’u Bolvadin civarında yendi.

Birinci Haçlı Seferinde haçlı orduları Afyon’u geri aldılar. Afyon şehri civarında Türklerle Bizanslılar arasında büyük ve kanlı savaşlar oldu. Selçuklular, Afyon’u Bizanslılardan yeniden aldılar.

Selçuklu sultanı Alaeddin, Afyon şehrini imar ettirdi. Devlet hazinesi burada saklandı. Bu sebepten Selçuklu devrinde, Afyon’un bir ismi de “Hisar-ı Devlet”, Devlet hazinesinin saklandığı hisar olmuştur.

Moğolların Anadolu genel valisi Timurtaş, taht şehri Konya'yı işgalden sonra Afyon’u kuşatmış, fakat Selçuklu veziri Sahib Ata şehri teslim etmemiştir.

On üçüncü asrın ikinci yarısında Sahib Ata Fahreddin Ali Bey, oğul ve torunları da asrın sonuna kadar Afyon valiliği yaptılar. Şehir sonra Germiyan Beyliğine geçti. 1390 senesinde Sultan Yıldırım Bayezid Han, Afyon’u Osmanlı Devletine kattı. 1402’de Timur Han burasını yeniden Germiyan Beyliğine verdi. Germiyanoğlu Yakub Beyin ölümü ve vasiyeti üzerine Afyon, Osmanlı toprağı oldu.

1451’de Kütahya’da bulunan Anadolu Beylerbeyliği’ne (eyaletine) bağlanarak, Karahisar-ı Sahib Sancağı ismini almıştır. 1685’te Hüdavendigar (Bursa) vilayetine bağlı sancak, Tanzimattan sonra Kütahya’ya bağlı bir ilçe olmuştur. 1914’te bağımsız sancak olan Afyon, Cumhuriyet devrinde Afyonkarahisar ismiyle il olmuştur.

Osmanlı devrinde yolların birleştiği ve ikmallerin yapıldığı bir üs olarak kullanılmıştır.

On yedinci asırda Celali isyanları, on dokuzuncu asırda Anadolu’nun an’anevi sanayiinin yıkılışı ile Afyon geriledi. 1833’te Kavalalı Mehmed Ali Paşanın birkaç ay işgalinde kaldı.

28 Mart 1921’de şehri Yunanlılar işgal etti. Sonra 7 Nisan 1921’de geri çekilip 13 Temmuz 1921’de yeniden aldılar.

Türk İstiklal Harbinin dönüm noktası olan Başkomutanlık Meydan Savaşı, Afyon’da cerayan etti. 27 Ağustos 1922’de, Afyon yeniden hakiki sahipleri olan Türklerin eline geçti... Yunanlılar 1 sene 25 gün süren işgallerinde Afyon’u aşırı derecede tahrib ettiler.

27 Ağustos’ta Afyon’un kurtuluş törenleri, 30 Ağustos Zafer Bayramında ise Dumlupınar’da törenler yapılır.