Afyonkarahisar adında geçen "afyon", Latince'de tıpta ilaç yapımında kullanılan haşhaş bitkisinin özsuyu için kullanılan "opium" kelimesinin zamanla yazılış ve söylenişte değişikliğe uğramış halidir. "Opium" kelimesi, "afium", "afiom", "afion"dan sonra "afyon" haline gelmiştir.

Yaklaşık 3 bin 350 yıllık tarihe sahip olan "Karahisar Kalesi" de şehrin güneyinde, yerden 226 metre yükseklikteki trakit bir kaya kütlesi üzerinde bulunmaktadır. Kaleyi Hitit Kralı 2. Murşil MÖ 1344'teki Arzava Seferi sırasında askerlerine sığınak olarak yaptırmıştır ve kale Hapanova Kalesi (Yüksek Tepe Şehri) adıyla anılmıştır.

Frigler döneminde Hapanova Kalesinin eteklerine bir köy olarak kurulan şehrin bilinen klasik çağlardaki en eski adı Akronio'dur. Romalılar döneminde bu adın gerek paralar üstünde gerekse Latince kitabelerde ve diğer kaynaklarda Akronium şeklinde yazıldığı anlaşılmaktadır. Akrones, Akroenos, Latince şeklinin halk arasında ve daha sonra Bizanslılar döneminde değişmiş şeklidir.
Malazgirt Savaşından sonra Sultan I. Mesut'un emri ile Akronium Kalesi'nin eteklerine Karaşar Türkleri yerleşmiş ve daha sonra kaleye Karahisar adı verilmiştir. Karahisar ve yöresi, Selçuklu Veziri Sahib Ata Fahreddin Ali'nin "Sahip" unvanı nedeniyle "Karahisar-ı Sahip" olarak anılmıştır. Karahisar-ı Sahip "Vezirin Karahisarı" anlamına gelmektedir.
İlin adı Osmanlı arşivlerinde de "Karahisar-ı Sahip" olarak geçmekte, bu dönemde Afyonkarahisar adının yöresel olarak kullanıldığı tahmin edilmektedir. Cumhuriyet'in ilk yıllarından itibaren ise "Afyonkarahisar" olarak anılmış, Atatürk Nutuk'ta da 34 ayrı yerde Afyonkarahisar adını kullanmıştır.

Afyonkarahisar, coğrafi konumu itibariyle bir geçiş ve kavşak noktasındadır. Böyle bir coğrafi konum nedeniyle Hititler'in Arzava seferine giderken buradan geçmesi gerekmiş, Frigler bu bölgeye yerleşmiş, Persler için "Apemeia" merkez olmuş, Büyük İskender'in ordusu bu bölgede savaşmış ve ardından Anadolu'yu paylaşmış, Roma için büyük önem taşıyan ticaretin can damarı olan yollar Afyonkarahisar'da kesişmiş, Bizanslılar bölgeyi askeri üs olarak kullanmıştır. Araplar ve daha sonra Türkler için Afyonkarahisar, Anadolu'nun alınabilmesi için öncelikle alınması gereken yer olma anlamı taşımıştır.
Türklerin Anadolu'ya yerleşmesi sürecinde önemli bir yeri olan Miryakefalon Savaşı bu topraklar üzerinde yapılmış, Selçuklular için üs olmuş, Osmanlılar Anadolu'yu Osmanlı bayrağı altında birleştirmek için Karamanoğullarına burada saldırmış, Anadolu'yu ele geçirmek isteyen Yunanlılar burada üs oluşturmuştur. Ulu Önder Atatürk, Kurtuluş Savaşında son derece önemli bir nokta olan Büyük Taarruz'u bu topraklarda Kocatepe'de yönetmiştir.

Afyonkarahisar, son büyük zaferin kilidi oldu, esası oldu. Afyonkarahisar, tarihi mücadelemizde unutulmaz parlak bir sayfaya malikdir."
Gazi Mustafa Kemal Atatürk (Afyonkarahisar 21 Ekim 1925)

Afyonkarahisar, Milli Mücadele sürecinin başından sonuna kadar askeri ve lojistik pek çok durumda önemli roller üstlenmiştir. Bulunduğu konum nedeniyle demiryolu ulaşımında önemli bir yeri olan Afyonkarahisar, bu dönemde İngiliz, Fransız ve İtalyan ve daha sonra da Yunan askeri birlikleri tarafından işgal edilmiştir. Afyonkarahisar, Yunanlılar tarafından 2 kere işgal edilmiş, 2. işgal Büyük Taarruz'a kadar devam etmiştir. Afyonkarahisar 20 Ekim 1920'den sonra Batı Cephesi Karargahı olmuştur.
Milli Mücadele sırasında, 2 Ağustos 1920'de Afyonkarahisar Kongresi toplanmıştır. Kongreye Mustafa Kemal başta olmak üzere Konya, Uşak ve Nazilli Müdafaa-i Hukuk Derneği temsilcileri katılmıştır. Afyonkarahisar Kongresi sonunda daha önceki kongrelerde sözü edilen otonomi tezi reddedilmiş ve Türkiye Büyük Millet Meclisi hukukuna girilmiştir. Afyonkarahisar Kongresi Batı Anadolu kongreler sisteminin sonuncusudur.
Afyonkarahisar, Milli Mücadele yıllarında Kuvayi Milliye'nin hasta ve yaralı askerlerinin tedavi edildiği merkezlerden birisiydi. Trenle taşınan hasta ve yaralılar Afyonkarahisar ve diğer merkez olan Denizli'de tedavi edilmiştir. Afyonkarahisar'daki hastanenin bir bölümü daha sonra Alaşehir'deki ihtiyaç nedeni ile buraya taşınarak hizmet vermiştir. Hastanelerin ilaç ihtiyacı da Afyonkarahisar Sıhhiye Deposundan karşılanmıştır. 12. Kolordu'nun merkezi Afyonkarahisar'a alınmış, bu kolordu için savaş koşullarında önemli bir yeri olan hayvan hastanesi de bir süre Bolvadin'de yer almıştır. Daha sonra da Dinar'da böyle bir hastane kurulmuştur.

Başkomutan Mustafa Kemal, 26 Ağustos 1922'de Büyük Taarruz'u, Afyonkarahisar'ın merkez ilçesine bağlı Büyük Kalecik kasabası sınırları içinde yer alan 1.874 rakımlı Kocatepe'den başlatmış ve günümüzde de varlığını sürdüren siperden bizzat sevk ve idare etmiştir. Kocatepe'ye, Milli Savunma Bakanlığı tarafından 1953 yılında Milli Savunma Bakanlığı'nca anıt yapılmış ve üzerine yazıt konulmuştur. Kültür Bakanlığı da 1993 yılında Atatürk Anıtı ve çevre düzenlemesi yapmış ve Kocatepe ziyarete açılmıştır. Bronzdan yapılan Atatürk Anıtı 4 ton ağırlığında ve 7.5 metre yüksekliğindedir.

Mustafa Kemal Atatürk, Milli Mücadele'den sonra 31 kere Afyonkarahisar'a uğramış, 11'inde şehri gezerek incelemelerde bulunmuştur.