Cmentarz usytuowany jest na północnym skraju miasta, w lesie miejskim w Jakubowie. Od strony wschodniej, na krańcach południowym i północnym znajdują się dwie kwatery w kształcie koła, mogiły są usytuowane w zagłębieniu. Obie kwatery połączone są alejką. W głębi cmentarza widzimy układ mogił w kształcie półkola. Mogiły ziemne, na każdej dębowy krzyż, ustawiony na niskiej betonowej podstawie.
W sierpniu 1914 r. pochowano tu pierwszych 7 żołnierzy armii niemieckiej, poległych w walkach w Olsztynie. Pozostali to polegli na innych frontach lub zmarli w miejscowym lazarecie. Spoczywa tu też kilku weteranów I wojny światowej pochowanych w późniejszym okresie, m.in. Generalmajor Robert Alexander Bürkner. Mogiły żołnierzy z I wojny światowej zajmują wschodnią część cmentarza, w głębi — w okresie międzywojennym — chowano również osoby cywilne, a następnie żołnierzy niemieckich poległych w trakcie działań II wojny światowej. Łącznie spoczywa tu około 800 żołnierzy z obydwu wojen światowych (87 żołnierzy z I WŚ).
Wkrótce po utworzeniu Olsztyńskiego Stowarzyszenia Mniejszości Niemieckiej podjęto decyzję o renowacji olsztyńskiego cmentarza zasłużonych, co zostało zrealizowane w 1992 roku. Od tego czasu co roku na tym cmentarzu obchodzony jest Dzień Żałoby Narodowej dla uczczenia poległych. Ksiądz odmawia modlitwę za zmarłych, a członkowie stowarzyszenia śpiewają odpowiednie do okoliczności pieśni. Wygłaszana jest mowa, a zebrani składają hołd poległym bohaterom wiązankami kwiatów i płonącymi zniczami.