Het Mariabeeld dat binnenin de kapel vereerd werd, is er reeds meer dan drie eeuwen aanwezig. Over de oorsprong ervan staat in de oude geschriften vermeld: "Boven op de berg, nabij Perulwez stond een eik, genaamd de eik tussen de twee bossen", omdat hij diende als scheidingspaal tussen de bossen van Condé en Blaton. In en nis uitgehaald in één van de twee takken werd sinds lange jaren een Mariabeeldje vereerd. 

Na vele jaren bleef er van dit beeld enkel nog een vormloos blokje hout over, maar toch bleven de pelgrims destijds Maria nog altijd begroeten op de plaats waar haar beelddeken stond. In 1603 lag er te Perulwez een oude man Jan Watteau, ernstig ziek te bed. De parochiepriester Martin Lebrun, de latere abt van de abdij in Geraardsbergen had hem bediend. De zieke vertelde over de verering van Maria onder de naam "Onze Lieve Vrouw ter Eike". De pastoor die daar voor het eerst van hoorde ging ernaar op zoek en vond die oude boom met daaraan nog één groene tak. Daaruit liet hij twee beeldjes van Onze Lieve Vrouw snijden. Een ervan werd te Perulwez vereerd (O.L. Vrouw van Bon -Secours) het andere bracht hij mee naar Geraardsbergen waar hij in 1624 abt werd van het benedictijnenabdij. 

Tijdens de Franse Revolutie werd het beeld twaalf jaar verstopt omdat men vreesde voor ontering en vernieling. In 1807 kreeg ze terug Haar plaats in de kapel. Sinds dan staat er erboven te lezen "translatione dilucescam" wat betekent: "Ik verheugd mij om de overbrenging" In 1887 werd het beeld in naam van paus Leo XIIIde door de bisschop van Gent, mgr Lambrecht gekroond.
De juiste datum van de kerk is niet bekend. Maar het oudste document waarin de kapel  vermeld staat, is een verkoopsakte uit 1294 waarin staat: "verleden voor Bailliu ende scepene van de lande Boulaere, ten profijte van Jhanne Tant, cluusenaer inder cluuse bider capelle van Onser Vrouwe op de Hunnebeerch te Gherourdsbeerghe". 

Een zekere Jan Tant, deken van de Lakengilde van Leuven, werd op weg naar Brugge overvallen werd door en onweer. Zijn gezellen werden dood gebliksemd. Jan beloofde een kapel te bouwen op de berg als hij gezond mocht terugkeren van Brugge. Zo geschiedde. Later vestigde hij zich op de berg als kluizenaar.
De kapel in haar huidige vorm dateert van 1906, de kapel die daarvoor stond was bouwvallig en te klein geworden. De paters Jozefieten lieten en nieuwe en stijlvolle kapel bouwen die werd ingezegend in 1906 door mgr. Stilleman. Deze plechtigheid zou zomaar door twaalfduizend bedevaarders worden bijgewoond.
Onder meer in de verslaggeving over een mirakel dat gebeurde in 1760, komt in de kapel voor. In die tijd trokken vele bedevaarders naar Halle om er Onze Lieve Vrouw te vereren. Volgend de legende zou er een groep van 63 bedevaarders, die op terugweg waren en passeerde aan de kapel van Geraardsbergen, wat verder, boven op de berg halt houden. Daar stapte de voerman af om te controleren of de wagens en de paarden nog in goede staat waren om de tocht verder te zetten. Alles bleek in orde. Nog geen honderd meters verder breekt het "mechaniek" om de achterwielen stil te leggen stuk. De paarden schrikken en galopperen met een helse vaart de Oudenberg af. In uiterste nood aanroept het gezelschap Onze Lieve Vrouw van Halle om hen bij te staan. En Maria verhoorde hen. Plots stonden de paarden stil en iedereen kon veilig uitstappen. Een afbeelding van deze miraculeuze redding der "Halle bedevaarders" kan men bezichtigen in de kapel.
De meimaand is daar de maand van de bedevaarders.
De kapel is open in de zomertijd tot 20:00uur. In de winter tot 17:00uur. Einde mei is er 's avonds een gebedsviering gevolgd door een kaarsjesprocessie.
Deze plek is ook bekend omwille van de muur van Geraardsbergen, de renners van de Ronde van Vlaanderen rijden voorbij de kapel. Dagelijks beklimmen fietsers en wandelaars hier de helling, en vele zoeken hier dan wat rust en bezinning op.
Vóór de kapel heeft ieder jaar de laatste zondag van februari het Krakelingenfeest plaats, dan vertrekt er een stoet naar de top. Aan de kapel wordt dan het litaniegebed gebeden. Daarna is er de mastellenworp en 's avonds nog de "tonnekesbrand" waarmee de winter verbrand wordt, en vuur dat vanaf andere heuveltoppen in de omgeving beantwoord wordt

Onze Lieve Vrouwe wordt aangeroepen voor: Algemene hulp, troost en steun.

Gebed tot Onze Lieve Vrouw van de Oudenberg.

Onze Lieve Vrouw van de Oudenberg, Moeder van Jezus en onze Moeder, zie genadig neder op ons.
Vol vertrouwen richten wij ons tot U en smeken wij tot U.
Gij kent onze zonden en zwakheden,
Gij kent onze droefheden en hulpeloosheid.

Breng de zondaars tot Uw Goddelijke Zoon terug.
Laat ze de weg terugvinden tot Zijn Goddelijk Hart,
dat zo vol barmhartigheid is.
Sterk ons in de bekoringen.
Behoed ons voor de talrijke gevaren die ons bedreigen.
Laat ons op de moeilijke weg door het leven niet verloren gaan.

Toon ook dat Gij onze Moeder zijt in dagen van beproeving. Schenk de gezondheid weder aan de zieken.
Wees de toevlucht van al dezen die in armoe en smart gedompeld zijn.
Wees onze troosteres in al de ellenden van dit leven.

Koningin van de Hemel, wees ook Koningin over ons leven.
Heers over onze harten.
In alle eenvoud en oprechtheid beloven wij U,
de deugde van Uw heilig leven zoveel mogelijk na te volgen.
Wij willen ook Uw kinderen zijn,
dragend in onze ziel de trekken van U,
onze Moeder, en deze van Uw Goddelijke Zoon.
Met al de middelen die in ons bereik liggen zullen wij meewerken, opdat Uw rijk op aarde worde gevestigd!
Moge Gij weldra de liefderijke Vorstin van alle harten zijn!
Opdat kome het rijk van Jezus, 
laat komen Uw rijk, O Maria! 
Amen.

Bron en dank aan Danny van Avermaete