MD5 чего считается? Скрипта? То есть текстового файла? Если да - хочешь, я за 10 минут сделаю 10 000 новых недетектящихся файлов?
(шучу, это подсудное дело; хотя делается элементарно).
Если бинаря, но целиком - то же самое.
Антивирусы не от хорошей жизни делаются здоровенными продуктами с эвристическими и поведенческими анализаторами, деобфускаторами, анпакерами, декрипторами и т.д. и т.п.
Опиши подробно, что ты понимаешь под php-shell, где там вредоносный код, откуда берется и куда кладется, в каком виде он находится.