Köyün adı, caminin bahçesinde bulunan İlyas Bey'den gelmektedir. Diğer adı da Yarhisar'dır.
Köydeki caminin bilinen inşa tarihi 1455'tir