Основной достопримечательностью храма является неописуемое природное чудо — поднимающийся из недр земли природный газ. Выходя на поверхность газ соприкасаясь с атмосферой, вернее с содержащимся в ней кислородом, горит, что придает этому явлению неописуемую зрелищность.
Основателями Храма являлась одна из индусских общин, проживавшая на территории Баку в XVII-XVIII веках, и относящаяся к касте сикхов. Есть мнение, что корни происхождения Хама уходят гораздо глубже.
По мнению зороастрийцев огнепоклонников, святилище которых находилось на территории Храма до его основания в начале нашей эры, огонь был не только фактором выживания, но и магическим символом.
Современный вид Храм Атештяг приобрел в следствии реконструкций, произошедших до начала XIX века. Алтарь-святилище, находящийся в центре двора Храма являет собой вместилище вечного огня, а по краям его окружают несколько более мелких очагов.
Сейчас можно наблюдать бьющий из колодца факел огня, но к сожалению он создан искусственно, так как живое дыхание земли не дошло до наших дней.