ראשיתו של חיל המשטרה הצבאית בארגון לשיטור ושמירה, שהוקם בשנת 1936, בזמן מאורעות תרצ"ו, על מנת להגן על היישובים היהודים מפני פורעים ערבים. הארגון שנקרא "הנוטרים" הוקם בסיוע השלטונות הבריטים ופעל באופן לגלאי. בוגרי קורס השוטרים הצבאיים הראשון הצטרפו מיד למאמץ הלאומי לשחרור הארץ מידי המנדט ולהגנה מפני צבאות ערב. במלחמת העצמאות סייעו יחידות המשטרה הצבאית בפעולות שונות לחטיבות הלוחמות מצד אחד וליישוב היהודי מצד שני. בסוף שנת 1948 הומר שמו של "שירות המשטרה הצבאית" ל"חיל המשטרה הצבאית" והוחלט לעצב סמל ייחודי לחיל.
עם סיום מלחמת העצמאות הוקמה "יחידת נוהגי הכלבים", שתפקידה היה שמירה, סיור, איתור פצועים וגילוי מוקשים. היחידה פעלה עד שנת 1964. המשטרה הצבאית החוקרת הופעלה תחילה על-ידי חוקרים מזדמנים שלא עברו הכשרה מיוחדת. והסתמכה על חוק השיפוט – תש"ח, שלא תמיד תאם את המציאות בשטח . גזרת הפעילות היחידה הייתה באזור תל-אביב ומרבית החקירות עסקו בגניבות והברחות. בשנות ה- 50 עסק החיל בליווי שיירות, סיורים, איתור ומעצר עריקים וביצוע חקירות. במלחמת ששת הימים שולבו מחלקות משטרה צבאית בחטיבות הלוחמות, במקביל לפעולות המשטרה הצבאית שהיו כפופות למפקדה. נוכחות החיל הורגשה בכל, החל בתחנות המשטרה הצבאית שהוקמו בכל צומת מרכזי וכלה בשמירה על מרכזי מסחר בעזה, כוח מיוחד של שוטרים צבאיים הוקם על מנת לשמור על שבויים שנשבו במהלך כיבוש חצי האי סיני.
במלחמת יום הכיפורים סייעה המשטרה הצבאית בעיקר בהכוונת כוחות המילואים כדי שיגיעו במהירות ובבטחה לחזיתות השונות. בשנת 1982 נכנס צה"ל לשטחי לבנון במטרה להגן על יישובי הצפון ושהה על אדמת דרום לבנון במשך שני עשורים. במהלך הפעילות השתתפו שוטרי חיל המשטרה הצבאית במגוון פעילויות בתחומי החקירות, הכליאה והשיטור. החיל הקים מחנה ביער צור בבניין, שפוצץ על-ידי מחבלים; בפיגוע זה נהרגו עשרות חיילים ואנשי מערכת הביטחון, וביניהם שוטרים צבאיים: כמו כן הוקם מחנה לעצורים באנצר, ובו אלפי עצורים. מאז הקמתו לפני 52 שנה שוקד חיל המשטרה הצבאית על פיתוח מיומנות מקצועית במטרה לבצע את המוטל עליו ברגיעה ובחירום בתחומי החקירות , ההדרכה, השיטור והכליאה. המשטרה הצבאית פועלת על-פי אמות מידה מוסריות הנגזרות מרוח צה"ל ומהחזון החיילי, תוך מתן שירות אפקטיבי ופיתוח תרבות ארגונית חדשנית המתבססת על חזון חיל המשטרה הצבאית.
אתר ההנצחה של חיל המשטרה הצבאית נחנך מחדש בשנת 1997 בבסיס ההדרכה של חיל המשטרה הצבאית שבבית ליד, וכולל אתר זיכרון לזכרם של חיילים שנפלו במסגרת שירותם בחיל המשטרה הצבאית. במקום קיים אתר מורשת. ספרייה חילית ואבוקת זיכרון.