Удаляйте запросом, чтобы не делать ненужных движений. Запрос вам будет подсказан phpMyAdmin.

DELETE FROM `table_name` WHERE `id` = 123;

Да я так и сделал, просто на все строки указал нужное мне ID, и теперь меняю непосредственно это ID и так по новой. Намного быстрее получается.
Вообщем с вопросом я не разобрался но нашел другое решение.
Тему можно закрывать.