Förutom kyrkan är Holländaremöllan ett viktigt landmärke i Skivarp. Den ursprungliga möllan sägs ha uppförts någon gång i slutet av 1700-talet men förstördes 1850 i en brand för att sedan återuppbyggas några år senare.
Inne i byn ligger gästgivaregården kring vilken byns centrum vuxit fram. Byggnaden som till en början låg på andra sidan landsvägen härstammar från Skånes danska tid då det fanns särskilda förordningar om rastplatser. Både Karl XII och Linné sägs ha stannat på gästgivaregården under sina resor.
Skivarps storhetstid inföll under början av 1900-talet då järnvägen och sockerbruket kom till byn. 
Under en period fanns där inte mindre än ett trettiotal verksamheter såsom vagnmakare, smedja, bageri, mejeri och diversehandel. Det fanns även två järnvägslinjer, en för persontrafik och en för transporter till och från sockerbruket. Dessutom fanns det en brandkår och den f.d. brandstationen ligger än idag kvar vid torget och ger karaktär åt samhället.
Då Sockerbruket lades ner 1962 avstannade till viss del byns tillväxt och många verksamheter försvann. Idag är det återigen fler som söker sig till Skivarp och på många av de tidigare obebyggda tomterna uppförs nu nya enbostadshus.