Zamek miał być połączeniem klasztoru i twierdzy. Pierwszym etapem budowy było założenie na wzgórzu tzw. obozu warownego osłanianego przez umocnienia drewniano-ziemne. Prace nad wznoszeniem właściwej – murowanej konstrukcji zamku zaczęły się około 1300 r. z inicjatywy komtura Konrada von Sacka. Już sześć lat później gościł on tu księcia dobrzyńskiego Ziemowita z małżonką, choć dzieło budowy kontynuowali jeszcze jego następcy – komturzy Herman i Luther z Brunszwiku.
Warownia składała się z ukończonego około 1330 r. zamku wysokiego i przedzamcza (zwanego inaczej przedgródkiem lub zamkiem niższym), czyli części gospodarczej – ze stajniami, stodołami i spichlerzami. Miejsce budowy twierdzy wybrano bardzo starannie. Strome wzgórze, dostępne było jedynie od strony zachodniej. Widać było z niego nie tylko drogę do Torunia i Brodnicy i tereny na lewym brzegu Drwęcy, ale też grodziska w Ostrowitem i Nowogrodzie oraz zamek w Kowalewie Pomorskim.
Zamek wysoki pobudowano na planie czworoboku wokół wewnętrznego dziedzińca, zgodnie z regułami wypracowanymi przez Krzyżaków na początku XIV wieku. Reprezentował on niezależny od ukształtowania terenu typ zamku konwentualnego (budynku konwentu wzniesionego na palnie czworoboku z wieżyczkami w narożach). Miała to być budowla czteroskrzydłowa, z ceglanymi murami, które wieńczyły blanki i umacniały przypory, z tzw. „wysoką” ośmioboczną wieżą narożniku północno-wschodnim – w razie potrzeby ostatnim punktem obrony. W podziemiu wieży znajdował się okrągły dwupoziomowy, wentylowany loch, zaopatrzony w latrynę, który wykorzystywano jako więzienie.
Wejście z traktu toruńskiego prowadziło przez przedzamcze – zabezpieczone fosą zewnętrzną, mostem zwodzonym, wieżą bramową, otoczone murami i wieżami basztowymi. Z zamku niższego droga wiodła przez drugi most nad ocembrowaną suchą fosą wewnętrzną do parkanu zamku wysokiego. Tu – na tzw. międzymurzu – pobudowano dwie wolnostojące okrągłe wieże, pod koniec XIV wieku wyższą południową (można było się do niej dostać tylko za pomocą pomostu spuszczanego z zamkowego ganku), a na początku XV stulecia niższą północną.
Wejścia na zamkowy dziedziniec strzegła ciężka brama, którą otwierał pilnujący drogi odźwierny. Jego izba mieściła się po prawej stronie granitowego ostrołukowego przejazdu, który kończył się portalem pod galerią otaczającą dziedziniec. Na wypadek oblężenia pośrodku dziedzińca wykopano głęboką studnię (dziś zasypaną).
Jak głosi tradycja, z zamkowych piwnic można się było wydostać podziemnymi przejściami, które prowadziły do kościoła i domów w mieście. Parter zajmowały pomieszczenia gospodarcze – kuchnia, piekarnia, stajnia, warsztaty, dzięki czemu oblegany zamek mógł być niezależny od przedzamcza i dłużej stawiać opór. Początkowo otwartą galerię wokół głównego piętra łączyły z parterem tylko schody zwodzone. W razie zagrożenia drewnianą galerię po prostu podpalano, odcinając tym samym wrogowi dostęp do wyższych kondygnacji. Ze względów bezpieczeństwa również skrzydła zamku nie były ze sobą połączone wewnętrznymi przejściami. Na drugie piętro, które zajmowała załoga i gdzie przechowywano zboże i broń, można się było dostać z pierwszego ukrytymi w murach poszczególnych skrzydeł schodami, a stamtąd na ganki obronne, skąd ostrzeliwano wroga.