É bem simples exibir a caixa de quantidade no loop de produtos.
Para isso, basta criar o seguinte arquivo dentro do seu tema -> woocommerce/loop/add-to-cart.php
Depois utilize teste código nele:
Resultado final:
Para utilizar os botões com ajax você deve usar o seguinte arquivo:
E em seu functions.php:
