作为人类最持久、可靠和忠诚的伙伴，早在10000—15000年前，一些与狼分道扬镳的野犬已经开始跟随原始人类一起生活。
据史料记载推测，公元700—1120年，在今天呼伦贝尔地区，即出现大室韦部落联盟，从事游牧和畜牧业，兼事射猎。在其成员中，即有后来的蒙古民族的先民，早期的蒙古部（蒙兀室韦），他们在今内蒙古自治区呼伦贝尔草原的呼伦湖和额尔古纳河东南的大兴安岭山林中繁衍生息时，现今呼伦贝尔草原牧羊犬的祖先，一个古老的山地犬种，已经在蒙古部族的营地里承担狩猎大型猎物、护卫营地和驮运物资等工作了。关于这个犬种，历史上没有留下详细的记载，但为了适应冬季极度高寒的严酷山地环境，并与大型野兽搏杀，相信那应该是一种体大毛厚极有力量的凶猛山地犬种。
在广为流传的关于蒙古人起源的传说中，一个被称为蒙古（蒙兀）的部落与另一些称为突厥的部落发生战争。战败的蒙古部族被屠杀殆尽，最后仅剩两男两女，两家人逃到人迹罕至的叫做额尔古涅昆的地方。这两家的名字分别是捏古思和乞颜。他们在这里繁衍生息，人数越来越多，以至于额尔古涅昆这个地方已经没有足够的猎物供应整个部族。为了部落的生存，他们必须离开这里，于是他们集合部落中所有的人，杀了70头牛，用牛皮制成鼓风箱，砍伐巨木为薪柴，用了九天九夜的时间，以炼铁的方法烧熔了山壁，开出一条道路，从此走出群山，进入广袤的草原。
史书提到的额尔古涅昆，即今额尔古纳河流域的大兴安岭山林。这就是传说中蒙古部族从森林到草原的过程。
这些牧羊犬正是跟随着蒙古部族从大兴安岭的群山中走入草原的。
公元9世纪中叶，蒙古部向西迁移，走出山林进入呼伦贝尔草原，逐步完成由纯粹的狩猎民族向半狩猎半游牧生活的过渡，并最终成为真正意义上的游牧民族。蒙古游牧民族带着他们的畜群逐水草而居，不定期地更换牧场。而一直跟随着他们的蒙古牧羊犬，逐渐适应了这种游牧生活，在无边界的牧场中，它们高声吠叫，警告陌生人并向主人发出信号，护卫营地，放牧羊群，驱除觊觎羊只的野狼。
1206年春，帖木真即大汗位，尊号成吉思汗，统一蒙古各部，建立大蒙古国；帖木真的大将哲别、速不台的第一次西征；术赤之子拔都（帖木真之孙）带领蒙古铁骑挥舞着“上帝之鞭”横扫亚洲西部和欧洲东部，完成第二次西征；世界历史上疆域最辽阔的朝代——元朝的建立；元朝灭亡，蒙古民族退回草原。
草原上的牧草绿了又枯，鸿雁飞去又来，朝代更替，世事变迁，但蒙古牧羊犬，一直忠诚地守护在草原牧人的毡房前面，从未离开。
