köy oğuz aşiretine bağlı kayı boyunun yörüklerindendir karakeçili aşiretinden ayrılıp şimdi eskişehirin karaca şehir köyününe bağlı iken şimdiki çamlıca mahallesinin karagözler mevkiinde yerleşmiş bulunmakta idi.sonraları sivrisinek ve porsuk çayının sık sık taşması sonucu yaylalara çıkan yörükler şimdiki uludere şeyh edebali köyü ile hisarcık arasına yerleşti.Diğer komşu köyleri çalkara ve eski adı ahırköy olan yeşilyurt arasındadır.Köy osmangazi nin bey olaması ve amcalarından GÜNDÜZ ALP ın ortanca oğluna verdiği arazi üzerinde olduğundan ilk ismi ORTANCA iken günümüze ortaca olarak değişegelmiştir Köyde geyiklibaba nın o zamanki müritlerinden KOÇ TAGEDDİN'in tekkesi bulunmaktadır.Günümüze kadar gelen tekkede çok şey zaman ve insan kaynaklı sebeplerden dolayı epey tahribata uğramıştır ama son yapılan restorasyondan sonra hala ziyaret edilebilir.Bilecik e bağlı olmasına rağmen Eskişehire 35 km uzaklıktadır.