Total Commander

Здравствуйте, как нибудь можно сделать в TC 7.56a открытие новой вкладки в фоне на нажатие колеса мыши?

Нет, но традиционно рекомендую PowerPro. Там можно назначить любую команду на любое действие мышью. (Желательно указать класс окна TTOTAL_CMD). Далее выполняем команду win.sendmessage(hwnd, 0x400+51, 3002, 0), где hwnd - дескриптор окна ТС, и все.