Panská skála je pozůstatkem nevelkého čedičového návrší (597 m) vyčnívajícího z náhorní plošiny mezi Kamenickým Šenovem a Práchní. Její jméno vzniklo překladem německého názvu "Herrnhausfelsen" (Herrnhaus = panský dům), odvozeného od staršího lidového označení Gehörnhaus. Slovem "Gehörn" se ve zdejším kraji kdysi označovaly strmě čnějící skalní útvary.

Původně zde bylo asi 30 m vysoké holé návrší s trojicí křížů na vrcholku, nazývané Kalvárie nebo Křížový vrch. Již před koncem 18. století na něm jeden z prácheňských sedláků lámal čedičové sloupy, které se používaly na dveřní, okenní i jiné sloupky, patníky, obrubníky apod. Při lámání byla postupně odhalena pozoruhodná vnitřní stavba vršku, tvořeného štíhlými čedičovými sloupy. Pravidelně vyvinuté čtyř- až šestiboké sloupce jsou až 15 m dlouhé a v průměru mají okolo 20 - 25 cm. Uprostřed návrší stojí téměř svisle, ale směrem do stran se postupně sklánějí, a protože jsou uspořádány podle výšky jako píšťaly varhan, říká se skále lidově Varhany.

Tato jedinečná ukázka sloupcové odlučnosti čediče by ale s postupující těžbou zřejmě zanikla, kdyby se o její zachování nezasloužila řada významných lidí. Jedním z nich byl i profesor Josef Emanuel Hibsch (1852-1940), který v té době působil na Zemědělské akademii v Děčíně-Libverdě a svůj život zasvětil geologickému studiu Českého středohoří.

Dnes má Panská skála statut národní přírodní památky a je nejnavštěvovanějším geologickým útvarem v Čechách, dobře známým i geologům v zahraničí. Méně známá, ale zato mohutnější skalní stěna z čedičových sloupů je také na nedalekém Zlatém vrchu.

Z vrcholu Panské skály je pěkný výhled do okolí. Na západě je za Kamenickým Šenovem vidět táhlý Smrčník, vpravo od něj se otevírá pohled k České Kamenici se Zámeckým vrchem a v pozadí jsou lesnané kopce Českého Švýcarska s dominantou Růžovského vrchu.

Na severní straně je Šenovský vrch se vzdálenějším Ovčáckým vrchem, za nimiž uzavírá obzor hřeben Lužických hor se Studencem, Chřibským vrchem, Javorem a Jedlovou. Východně od Panské skály je osada Prácheň se zalesněnou Vyhlídkou, severovýchodně od osady se táhne hřbet Obrázku s Klučkami, za nímž vyčnívá špičatý Klíč a v pozadí vpravo od něj Zelený a Jezevčí vrch. Na jihovýchodě se otevírá pohled k Novému Boru na Chotovický vrch, Slavíček a Tisový vrch s Ralskem v pozadí. Výhled k jihu zakrývá zalesněný masiv Kameníku s Českou skálou.

Na jihovýchodním úpatí Panské skály stojí Mariánský sloup, postavený na památku mladého tovaryše a vdovy, kteří zde umrzli za bouřlivé zimní noci 18. ledna 1739. Jeho přesné stáří neznáme. Můžeme sice předpokládat, že byl postaven ještě v roce 1739, máme-li však věřit lidové tradici, podle níž nechal sloup postavit prácheňský rychtář Christian Palme, stalo se tak asi až po roce 1773. V roce 1838 nechal sloup zrenovovat Christianův syn Sebastian a další oprava proběhla v srpnu 1924. 

V lednu 2001 byl sloup neznámým vandalem povalen a rozbit na několik kusů, naštěstí se jej ale podařilo opravit, takže od léta 2002 už zase stojí na svém místě v plné kráse. Sloup kdysi obklopovalo šest lip, z nichž dnes zůstala už jen jediná. V roce 2006 u ní byly vysazeny tři mladé stromky.