Krempna leży w dolinie górnego biegu rzeki Wisłoki. Pierwsi przybysze budowali swe  domostwa prawdopodobnie w okolicach Żydowskiego. Z czasem, z powodu silnych wiatrów i zbójeckich napadów przenieśli się na teren dzisiejszej wsi.

Nazwa wsi wywodzi się od słowa „kram”, gdyż wioska położona jest na szlaku handlowym do Bardejova, a kupcy rozkładali tu przydrożne kramy. Inne źródło wskazuje słowo „krępy”, miało ono odzwierciedlać posturę tutejszych mieszkańców, a świadectwem tego jest fakt, że do niedawna używano nazwy „Krępna”. 

Wieś wymieniana jest już w 1499 roku. Według źródeł w roku 1507 istniała tu prawosławna cerkiew p.w. śś. Kosmy i Damiana. Rejestr poborowy woj. krakowskiego z 1581 roku podaje, ze wieś była własnością Mikołaja Stadnickiego herbu Szreniawa (+ 1656). W 1510 roku Krempna należała w połowie do Andrzeja Stadnickiego kasztelana sanockiego. W 1725 roku Urszula Franciszka, wnuczka Konstantego Krzysztofa ks. Korybut Wiśniowieckiego – właściciela części dóbr żmigrodzkich – poślubiła Michała Kazimierza Radziwiłła „Rybeńku” (+ 1762), którego synem był Karol Stanisław Radziwiłł „Panie Kochanku” (+ 1790). On to był fundatorem budowy (przebudowy) nowej cerkwi w Krempnej. Fakt ten upamiętnia oryginalna tablica fundacyjna (1782) znajdująca się nad portalem cerkwi.

W wyniku Unii Brzeskiej (1596) prawosławna parafia Krempna przeszła wraz z całą diecezją przemyską do jedności z Rzymem w roku 1692. W zaborze austriackim unitów nazwano grekokatolikami. Podczas tzw. „schizmy tylawskiej” (1926), gdzie częściowo lub całe wsie przechodziły na prawosławie, Krempna w całości pozostała unicka. Cerkiew służyła grekokatolikom, aż do momentu powojennego wysiedlenia w ramach „Akcji Wisła”. Ponad połowę łemkowskich rodzin wysiedlono na Ukrainę (1945 rok), a resztę na Ziemię Lubuską i Mazury (1947 rok). Na miejscu pozostały tylko cztery rodziny mieszane i unicki proboszcz ks. Jan Wysoczański (+ 1981), który w latach 1947 – 1957 odprawiał nabożeństwa w obrządku łacińskim dla napływowych mieszkańców. W 1956 niewielka część dawnych mieszkańców powróciła do Krempnej.

Po wysiedleniach Krempna była obsługiwana przez księży z Nowego Żmigrodu, a później z Desznicy. Ostatecznie jako samodzielna rzymskokatolicka parafia powstała w roku 1969, decyzją Biskupa Przemyskiego Ignacego Tokarczuka. Cerkiew stała się kościołem parafialnym p.w. św. Maksymiliana Kolbe i funkcję tę pełniła do 2004 roku, kiedy wybudowano nowy kościół parafialny. Pierwszym proboszczem został ks. Kazimierz Piotrowski. Obecnie parafia Krempna należy do diecezji rzeszowskiej i dekanatu nowożmigrodzkiego.

Na wzgórzu za budynkiem Ośrodka Edukacyjnego Magurskiego Parku Narodowego. znajduje się cmentarz z I wojny światowej (nr 6) zaprojektowany przez słowackiego architekta Dušana Jurkoviča.

Największą atrakcją wsi jest niewątpliwie cerkiew, ze względu na swą strukturę architektoniczną, doskonale zachowane wnętrze wraz z bogatym wyposażeniem. Ściany tej świątyni są przesiąknięte modlitwą i trudem wielu pokoleń. Od 2007 roku trwają prace konserwatorskie. Jest usytuowana na „Polsko-Słowackim Szlaku Architektury Drewnianej”.

W latach 2001 – 2004 wybudowany został w Krempnej nowy kościół parafialny p.w. św. Maksymiliana Kolbe, konsekrowany 20 sierpnia 2006 roku.

Historia