А на какой винде запускаешь?
Кстати, попробуй пока временно убрать лишние флаги (Dialog.Flags).
В принципе, можно попробовать вызвать эту функцию напрямую, а не через дельфиную обертку. Если напрямую будет так же не работать под отладчиком, то явно что-то не то.
сигнатуру см. тут:
https://learn.microsoft.com/en-us/wi...trl-taskdialog