Op deze plek stond ooit de havezate Harreveld. De geschiedenis van deze plek gaan terug tot de middeleeuwen. In de late 18e eeuw kwam hier de familie Van Dorth te wonen. Het bekendste lid van deze familie was wel de freule Judith van Dorth. Vanwege haar Oranjegezindheid vond de dood op 22 november 1799 voor een executiepeleton in Winterswijk. Haar broer baron Gerrit van Dorth verdween spoorloos, grote schulden achterlatend.
De havezate Harreveld met de bijbehorende boerderijen en landerijen werd in 1802 executoriaal verkocht aan de geneesheer dr. J.J.S.von Raesfeld uit Bocholt, de oprichter van ijzergieterij Vulcaansoord in Terborg. De oude havezate werd gesloopt en er werd een nieuw landhuis binnen de grachten gebouwd.
Het gehele complex kwam later bezit van mevrouw Hulshof-Wieggers. Zij verkocht het complex, hoofdgebouw, koetshuizen, schuren, vier boerderijen en bijbehorende landerijen in 1875 aan Duitse franciscanen. Deze franciscanen waren uitgeweken uit Duitsland vanwege de 'Kulturkampf', de strijd die de Duitse overheid onder kanselier Otto von Bismarck van 1872 tot 1879 voerde tegen de katholieke kerk.
De franciscanen vestigden in het gebouw een klooster. In 1882 verplaatsten zij bovendien hun gymnasium voor het opleiden van priesterstudenten van Sittard naar Harreveld. Nieuwe gebouwen werden opgericht. Het oude landhuis werd in 1894 gesloopt. Een kapel werd in de jaren 1890-1892 gebouwd onder architectuur van broeder Quintilianus Borren O.F.M. en ook noord-vleugel kwam in 1892 gereed. Het totale aantal leerlingen tussen 1882 en 1909 was 1361. Het complex bleek toch niet groot genoeg en in 1909 werd het college overgeplaatst naar Vlodrop.
In 1911 werd het complex aangekocht door de Sint Vincentiusvereniging die er een jongensinternaat vestigde voor verwaarloosde jeugd. De leiding over het internaat berustte bij de broedercongreatie Onze Lieve Vrouw van Zeven Smarten. Vanaf september 1944 tot mei 1946 werden de gebouwen gebruikt als noodziekenhuis. Nadat het weer in gebruik genomen was als internaat, werd het gebouw op 14 januari 1948 door een grote brand getroffen, waarschijnlijk als gevolg van kortsluiting. Een gedeelte van de pupillen werd tijdelijk ondergebracht in het op dat moment leegstaande Kamp Holterhoek in Eibergen.
In 1970 werd het complex verkocht aan de Frentrop-stichting. De naam herinnert aan de Amsterdamse pater Frentrop, in het midden van de 19e eeuw een van de oprichters van Congregatie van Onze Lieve Vrouw van Zeven Smarten.
In het midden van de jaren '80 kreeg de stichting toestemming voor de bouw van nieuwe groepsverblijven, waarna het hoofdgebouw leeg kwam te staan en werd verkocht aan een projectontwikkelaar. Het gebouw viel ten prooi aan vernielzucht en brandstichting en raakte in verval. In 1991 kocht de Flentrop stichting het complex terug en vestigde hierop, in een nieuw gebouw, de gesloten inrichting "het Anker".
