Camiliyayla köyünün eski adları Bozoluk ve Müzeyyen olarak da bilinmektedir. Camiliyayla köyüne 1877-1878 Osmanlı Rus savaşı göçmenleri yerleşmiştir. köyün osmanlı hanedanlığı zamanındaki ismi 2.abdulhamit yaylası olarak anılır.köyün yakınlarında bulunan ve eski bir yerleşim yeri olan "küçük su" mevkiisi burada daha öncede yerleşik hayatın olduğunun göstergesidir