二战爆发后，随着世界政治、经济和军事形势的发展，冯·诺伊曼开始把精力更多地投入到实际问题之中，主要是计算数学和对策论（又称搏弈论）这两方面的工作。
他认为，描述物理现象的方程一旦用数学语言给予表达，就可以从数值上得到解决而无须进行重复试验或借助于常规方法。他在计算数学方面的努力，是与他的这种观点及解决实际计算问题的困难程度分不开的。
1940年，冯·诺伊曼受聘担任美国陆军阿伯丁弹道实验所的科学顾问。这一年也是他科学生涯的一个转折点。在此之前，他是一个通晓物理学的登峰造极的纯粹数学家；1940年以后则成了一位牢固掌握纯粹数学的应用数学家。1941年他受聘为美国海军兵工局顾问。1943年底，他以顾问身份参加了洛斯阿拉莫斯科学实验室的工作，即通常为世人所知的制造原子弹的“曼哈顿计划”。他负责指导原子弹最佳结构的设计，探讨实现大规模热核反映的方案。他的主要工作是解决研制工作中的复杂计算问题。这些问题的解决引起了快速估计和逼近解的需要。而且这些问题往往涉及一些不能忽略或分离的外部扰动，必须借助数值方法进行定性分析。冯·诺伊曼对此进行了探索。在论述统计、冲激波、流体动力学、弹道学、爆炸学、气象学等方面发表了一系列文章，就这些领域内的各种问题的数值算法进行了探讨。
电子计算机产生之后，冯·诺伊曼又提出了利用计算机进行数值分析的新思想、新方法，从而推动了计算数学的兴起和形成，也使他成为现代科学计算的奠基人之一。
冯·诺伊曼在计算数学方面的成就，与他深厚的纯粹数学造诣分不开的。他思考问题的速度令人敬畏，无论是抽象的求证还是实际运算他做起来都是得心应手的。他对自己熟练的运算格外满意和引以自豪。有一次，有一位年轻的科学家就对冯·诺伊曼最引以为自豪的快速运算开了一个玩笑。
事情是这样的：阿伯丁弹道实验所的一位青年科学家有一个复杂的式子需要求值，第一个特解，他花了10分钟时间，第二个特解，他用笔和纸运算了一个小时，第三个特解，他不得不求助于台式计算机，即便如此，他还是花了半天功夫才获得结果。当冯·诺伊曼来时，这位青年科学家把这三个特解公式递上去求教。冯·诺伊曼自然乐于相助，“如果令n=1，我们可求得……”正在冯·诺伊曼昂首凝思，喃喃自语之时，这位年青的科学家便插嘴说：“是2.31吧？”冯·诺伊曼听了后不解地看了他一眼，开始计算第二个特解：“现在令n=2……”他思索着，嘴唇微微启动。这位年青科学家已经作过笔算，当然能摸到冯·诺伊曼的演算过程，在他就要算出答案的一瞬间。这位青年人又插话了，这次他故意用的是一种略带迟疑的口吻：“是7.49吗？”这次正确的回答，使冯·诺伊曼不免皱起了眉头。他连忙接上去算第三个特解：“若令n-3，则……”还是一如既往，在他默念了片刻之后，这位青年科学家又在诺伊曼运算结束之前，就报出了答案。这一下，冯·诺伊曼可受不了啦。这完全不可能。他从来就未见过有初出茅庐的年轻人胜过他的！他一时陷入了心烦意乱之中，一直到这位开玩笑的家伙自己向他承认事先已作过笔算之后，他才平息了心头的愠怒。
