Daratan Aceh Timur telah didiami manusia sejak Zaman Batu Pertengahan (Zaman Mesolitikum). Hal ini didasarkan hasil penelitian yang dilakukan oleh DR. H. Kupper yang menyebutkan bahwa telah dijumpai perkakas yang terbuat dari batu bergosok sebelah yang digunakan oleh manusia pada penggalian di kawasan antara Kuta Binjai dan Alue Ie Mirah ± 15 Km dari Kota Idi.
Zaman Batu Muda (Neolitikum) di Asia Tenggara diperkirakan sekitar 1.000 tahun sebelum Masehi. Pada saat itu, muncul Bangsa Proto Malay (Melayu Tua) yang menyebar ke berbagai penjuru termasuk Aceh Timur dan Aceh Utara. Kebudayaan mereka lebih maju dibandingkan dengan bangsa sebelumnya, mereka telah memasak makanan dan bercocok tanam.
Kemudian sekitar 300 tahun SM, muncul Bangsa Deutoro Malay (Melayu Baru) dengan kebudayaan yang lebih maju. Kedatangan mereka di Aceh membuat sebagian Bangsa Proto Malay (Melayu Tua) yang tidak mau berassimilasi mengungsi ke pedalaman. Menurut para ahli sejarah sisa-sisa Bangsa Proto Malay ini adalah nenek moyangnya orang Gayo, Batak, Nias dan Toraja.
Manakala perjalanan laut telah maju pesat, berdatangan pula ke Aceh para pedagang Parsia (Persia sekarang), Gujarat (India), China dan Eropa untuk berdagang dan mencari kayu pohon Peureulak untuk dijadikan kapal. Setelah agama Islam berkembang di semenanjung Arab diutus pula para pendakwah ke timur untuk menyebarkan agama Islam. Mereka ada yang mendarat di Peureulak dan menetap disana.
Pada hari Selasa 1 Muharram 225 H (840 M), diproklamirkan berdiri nya Kerajaan Islam Peureulak dengan dinobatkannya Sayed Maulana Abdul Aziz Syah (840-864 M) sebagai raja pertama, dengan ibu kota kerajaan bernama Bandar Khalifah. Ibnu Bathuthah dan Marco Polo pernah berkunjung ke Peureulak dan menulis dalam catatannya bahwa negeri itu telah maju pesat di bawah pemerintahan seorang raja yang taat beragama, dan masyarakatnya telah menganut agama Islam.
Sejak tahun 2000, Kabupaten Aceh Timur mengalami pemekaran yang ditujukan agar pembangunan kawasan itu merata. Daerah hasil pemekaran itu antara lain:
Sebelumnya ibu kota Kabupaten Aceh Timur adalah Kota Langsa tetapi dengan disetujui UU No. 3 Tahun 2001, ibu kota Kabupaten Aceh Timur dipindahkan ke Idi Rayeuk yang berpenduduk sekitar 34.282 jiwa (Sensus Penduduk Tahun 2010).