Kā minēts kādā teorijā/leģendā, pils atrodas uz salas, ko agrāk apskalojusi Panonijas jūra. Otra versija apgalvo, ka pirms pašreiz redzamās pils, 2.gs. šeit bijis romiešu cietoksnis. Jebkurā gadījumā Veliki Tobar pils ir vislabāk saglabājies renesanses cietoksnis Horvātijā. no nocietinājumiem gan saglabājies tikai piecstūra bastions.

Kas gan būtu pils bez savām leģendām un, protams, pils spoka. Tāda ir arī Veliki Tobar pilij. Šeit joprojām glabājoties skaistās Desinikas Veronikas galvaskauss, kura 15.gs. nogalināta un iemūrēta pils sienās sava sakara ar augstmaņa Hermaņa II no Keljes dēlu Frederiku dēļ. Frederiks pie tam jau bijis precējies. Mīlētāji aizbēguši, bet atrasti. Joprojām Veronikas gars nerodot mieru un viņas kliedzieni pilī dzirdami naktīs. Frederika mīla pret Veroniku esot bijusi gana stipra un viņš izturējis 4 gadu ieslodzījumu pils istabā, bet savu mīlu nav noliedzis. Veronika, kā zināms, klājies grūtāk. 

Reizēm leģendas izrādās arī patiesība - Veronikas galvaskauss atrasts 1980. gada pētījumos.