S pôvodným názvom obce sa stretávame už v roku 1156 a neskôr v roku 1234 v dokumente, v ktorom majstra Viski Jakuba poslali do Kamenice na preskúmanie pohraničného sporu arcibiskupa. Jedno z vysvetlení slova Visc hovorí, že pochádza z latinského viscera, čiže stredisko. Vyškovce boli kedysi viscerou veľkého okolia, keď na vyvýšení nad riekami Ipeľ, Štiavnička a Krupinica táborila a okolie sledovala rímska armáda.
Hrad Vyškovce bol pravdepodobne postavený v rokoch 1303 až 1312, ale nezohral dôležitú úlohu, lebo v dokumentoch sa spomína veľmi málo.
V obci sa dodnes nachádzajú dva kaštiele. V jednom sídli obecný úrad, druhý, ktorý je na Novom majeri, je značne poškodený. Kostol bol postavený v roku 1798, veža k nemu pribudla v roku 1811. Starý kostol stál na mieste terajšieho a jeho základy možno vidieť aj dnes.
