Son derece ıssız ve sakin olan Karakaya Köyü Gümüşlük’te bulunan Peksimet Dağı’nın sırtlarında bulunur. 16. yy’da korsanlardan korunmak amacıyla dağ eteklerine yapılan köy denizde 500 metre kadar içerde yer almaktadır.

Köyün yapıldığı dönemde dağ sırtı ağaçlar ile kaplı olduğundan dolayı görünmemekte idi, ancak günümüzde ağaçların kesilmesinden dolayı köy açığa çıkmıştır. 30 sene öncesine kadar terk edilmiş olan köyde yabancılar ev almaya başlayınca tekrar hareketlenmiştir.

Köye girişten önce tabelada ziyaretçilere uyarı yapılmaktadır. İlk uyarı köye araç ile girişler kesinlikle yasaktır diğeri ise köy sınırları içinde sigara içilmemesi gerektiğidir.