Karapapak adı, siyah astragan kalpak giydikleri için Kafkasya'daki komşu halklar tarafından verilmiştir. Karapapakların diğer bir adı olan "Terekeme" ise Arapça'daki, Türkmenler sözcüğünün karşılığı olan Terâkime sözcüğünden kaynaklanmaktadır. "Terekeme" terimi “yurtlarını terk edenler” anlamında kullanılmaktadır.
Çoğu zaman Terekeme olarak da adlandırılan Karapapaklar, Brockhaus ve Efron Ansiklopedik Sözlüğüne göre ayrı bir etnik grup olarak tanımlanmış olsa bile sıklıkla Azerbaycan Türklerinin bir alt etnik grubu olarak tanımlanmaktadır. Fahrettin Kirzioğlu ve Zeki Velidi Togan gibi bazı tarihçilerin teorilerine göreyse Karapapakların soyu Kumuklara dayanmaktadır. Terekemeler, asıl itibariyle, Gürcistan'ın güneyinde, Ermenistan'ın kuzeybatısında, Dağıstan'ın güneyinde, Azerbaycan'ın iç ve kuzeybatı topraklarında yaşamaktaydılar. Güney Kafkasya'nın Rus işgaline uğramasıyla birlikte 1813 ve 1828 yılları arasında Osmanlı Devleti ve İran'a yoğun göç hareketleri yaşanmıştır. Osmanlı-Rus Savaşı Rusya'nın sınırlarını Kars'ı da içe alacak şekilde genişlemesiyle sonuçlanınca, Terekemelerin yerleşim yerleri yeniden Rus egemenliği altına girdi. Rus Devrimi sonrası başlayan Sovyet yönetiminin ardından Karapapaklar, Sovyetler Birliğinde ayrı bir millet olarak tanımlanmaya başlanmıştır. 1930'larda Karapapakları ayrı bir millet olarak kabul etme politikası durduruldu ve 1944 yılında Karapapaklar, Ahıska Türkleri ile birlikte kitleler halinde Orta Asya'ya sürüldüler. 20. yüzyılın ortalarında nüfus sayımlarında Ahıska Türkleri ve Azerbaycan Türkleri ile birlikte sayılan Karapapaklar, günümüzdeki sayımlarda kendisini Karapapak veya Terekeme adlarıyla tanıtan kitleler tespit edilmiştir. 1926'da Sovyetler Birliğinin yaptığı nüfus sayımına göre ayrı bir millet olarak dahil edilen Karapapakların Güney Kafkasya'daki nüfusu 6,311 olarak tespit edilmiştir.
Atilla’nın ölümünden sonra (453) Bizans saldırıları sonucu Hunlar sahneden çekildi. Bu yıllarda kuzeyden Kafkasları aşarak Kür Irmağı boylarına Oğuz Türklerinden olan iki yeni boy geldi. “Borçalı” ve “Kazaklı” olarak anılan bu boylar, bugün Terekeme olarak bilinen Türklerin atalarıdır.
Terekeme terimi Arapça “Türkmen” kelimesinin çoğulu “Terakime” kelimesinden gelmektedir. At sürüleri (yılkı) ve koyun besiciliği yapan bu boylar siyah astragan kalpak giydiklerinden komşuları tarafından “Karapapaklar” diye anılırlardı. Astragan Buhara’da, aynı zamanda ülkemizde de yetiştirilen bir kuzu türü olan Karakul kuzusunun kıvırcık ve parlak postuna denir. Bu siyah astragan kalpaklı Karapapaklar, Kür boylarındaki egemenliklerini daha kalıcı kılmak amacıyla Tiflis, Nahcivan, Karabağ, Loru, Ahırkelek, Gence ve Şirvan dolaylarına yerleştiler. Kadını ve erkeğiyle iyi birer savaşçı olan Karapapaklar binlerce yıl aynı bölgeyi ellerinde tutmayı başardılar. Hunların doğu kanadının bekçileri olan Karapapaklar Kafkasların en eski kavimlerinden biri olarak tarihe geçmiştir.
Karapapak Türkleri çoğunlukla Gürcistan Borçalı’da yaşamaktalar. Bununla birlikte Azerbaycan’ın Gence ve Gence’den sonraki tüm bölgeleri Karapapak’tır.
Gürcistan ve Azerbaycan’ın yanı sıra Karapapakların en yoğun yaşadığı yer, başta Kars olmak üzere Türkiye’nin Doğu Anadolu bölgesidir. Kars, Iğdır ve Ardahan’da nüfusun çok önemli bir kısmı Karapapak’tır. Bu bölgelerde daha çok Terekeme adı kullanılır. Çıldır ilçesinin tamamı Terekeme’dir. Arpaçay, Susuz, Sarıkamış gibi ilçelerin de çoğu Terekeme’dir. Terekemeler Erzurum, Erzincan, Sivas, Amasya, Van, Ağrı gibi şehirlerimizde de oldukça fazladır. Sivas’ın Kangal ilçesinde yoğun bir Karapapak nüfusu vardır. Ayrıca buralardan İstanbul, Ankara, İzmir, Adapazarı, Bursa gibi şehirlere göç eden çok sayıda Karapapak Türkü vardır.
Bugün de Kafkas Karapapakları arasında yaygın olarak konuşulan bir efsane vardır: “Tanrı dünyayı dengede tutsun diye Kaf Dağı’nı yarattı. Daha sonra Karapapakları bu dağa bekçi kıldı.” Bu mitolojik yargı uzun bir geçmişin anılarını içerir.
Gümrü’nün kuzeydoğusundan çıkarak Kür’e karışan Borçalı Çayı ile Pembek Dağı’ndan çıkarak Aras’a karışan Kazak Çayı isimlerini Karapapaklardan almıştır.