Koniec 18. a začiatok 19. storočia však boli pre roľníkov veľmi nepriaznivé. Príčinou boli neúrodné roky, ale aj vysoké naturálne dane a poplatky pre rôzne vojská, ktoré sa v okolí Hrona pohybovali. Pre zaujímavosť, v rokoch 1802 – 1803 sa chovalo vo Sv. Kríži 170 volov, 48 koní, okolo sto kráv, 100 ošípaných a 280 oviec. Zaujímavý je veľký počet volov, ktoré sa využívali na rozšírenú povoznícku činnosť – furmanku. Roľníci sa snažili využiť akékoľvek možnosti na obživu. Väčšina sa živila prácou na biskupských majetkoch, na ktorých neskôr vznikol aj majer Kupča (prvá písomná zmienka v r. 1823). Roľníctvo naďalej zostávalo najvýznamnejšou činnosťou na získavanie prostriedkov.
Aj keď sociálna situácia nebola veľmi priaznivá, banskobystrický biskup Szerdahelyi rozhodol o vybudovaní nového chrámu, na ktorý v roku 1805 spracoval plány viedenský piarista Florian Dom. V roku 1806 sa začal stavať na gotických základoch starého chrámu, ktorý bol zbúraný. Kostol vysvätili v roku 1812. Vzniklo cenné architektonické dielo v klasicistickom slohu. Pomocné a povoznícke práce na výstavbe kostola robili obyvatelia Sv. Kríža. V tom období bola v mestečku vybudovaná aj nová murovaná škola s bytom pre učiteľa. Z toho istého roku (1817) pochádza aj súpis panských budov, ktoré zemepán prenajímal obyvateľom Kríža. V tomto popise sa uvádza mlyn, hostinec, jatka (predaj mäsa), hostinec Vartička. Súpis z roku 1823 uvádza aj iné domy – dom úradníka, kováča, želiarske domy, ba aj tehelňu a vápenku. Spomínaný mlyn bol pravdepodobne mlynom, ktorý sa nachádzal pod kaštieľom a vyhorel v 70. rokoch minulého storočia. Mnohí si ho ešte pamätáme. Len pre zaujímavosť, mlyn mal náhon z Lutilského potoku a mlel na 6 kameňoch. Patril k nemu byt aj stajne. Pri mlyne bola vybudovaná aj píla a v roku 1823 bola postavená aj nová jatka s dvomi miestnosťami. Jednou na prípravu mäsa a druhou na výsek. Panská jatka bola na severozápadnom okraji mestečka, na pravom brehu Lutilského potoka.
V tom období mal Sv. Kríž aj pivovar s pálenicou na pálenie liehu. Druhá pálenica, patriaca tiež panstvu, bola vybudovaná v miestnej časti Súhrada. Výnosnými boli hostince prenajímané od zemepána, v ktorých sa uzatvárali väčšie obchody. Prosperujúcim hostincom bola už spomínaná Vartička, ďalší hostinec bol pri ceste do Kremnice.
Určitá časť obyvateľov sa začiatkom 19. storočia zaoberala pltníctvom. Pri Hrone bol vytvorený sklad dreva, do ktorého sa vozilo drevo z okolitých lesov, ale aj píl. Nachádzal sa na pravej strane cesty do Ladomera, oproti prevádzke na výrobu kameňov – možno je to tam, kde ešte asi pred 20 rokmi sídlili Slovenské bazaltové závody. Pri sklade dreva bola vybudovaná aj ubytovňa pltníkov. Pri výrobe pltí sa zamestnávali aj obyvatelia okolitých dedín (Trubín, Dolná Trnávka, Lovčica) a obyčajne spúšťali plte na Hron v jarných mesiacoch, keď bol v rieke dostatok vody. Vtedy naraz púšťali z prístavu (bol oproti opatovskému mlynu) 30 – 40 pltí. Najviac sa plavili do terajšieho Štúrova. Medzi najznámejších organizátorov patrili Oťapka a Hurtík.
Spomeňme ešte niektorých remeselníckych majstrov. Ďuriš bol čižmárskym majstrom a vyrábal čižmy aj pre panských hajdúchov, kožušníkom bol Szabo, sklenárskym majstrom Glozer, mlyn mal prenajatý Sartoris, hostinec pri ceste do Kremnice zas Mialtro. Vychýrenými dovozcami vína do Sv. Kríža boli Hurta a Zúbrik.
Ešte niekoľko slov k životu v remeselníckym cechoch. Najznámejším cechom bol práve čižmársky cech, ktorý mal v roku 1841 štyroch majstrov a štyroch tovarišov, no o štyri roky neskôr už mal 10 majstrov. Ako uvádzajú historické materiály, títo majstri žili veľmi skromne. Podobne na tom boli aj kožušníci. Z remeselníkov sa mali najlepšie tí, ktorí mali prenajatý mlyn, krčmu a pivovar.
Aby sme si urobili lepšiu predstavu o usporiadaní nášho regiónu, uvádzam zoznam obcí, ktoré patrili do svätokrížskeho panstva: Svätý Kríž, Bartošova Lehôtka, Janova Lehota, Jastrabá, Kosorín, Lovča, Lovčica, Lutila, Nevoľné, Nová Lehota, Pitelová, Prestavlky, Slaská, Stará Kremnička, Trubín, Kopernica, Čajkov, Tekovské Nemce, Rybník, Tekovská Breznica. Všetky tieto obce mali jedného zemepána, banskobystrického biskupa.