Entre sus primeras decisiones polémicas se encuentran el traspaso de Antoine Walker en verano de 2003 por Raef Lafrentz, Jiri Welsh y una primera ronda de Draft, quien retornaría sin embargo para disputar el tramo final de la temporada 2004-2005, antes de ser traspasado nuevamente a Miami Heat. Durante la misma, O’Brien presentó la dimisión a mitad de la temporada, siendo sustituido por John Carroll, quien a pesar de alcanzar un récord de victorias negativo (36-46) logró acceder a los playoffs, donde Indiana eliminaría a Boston por 4 victorias a 0. En la temporada siguiente, la 2004-2005, Ainge puso al frente del equipo a Doc Rivers, quien no logró mejorar lo conseguido el año anterior, al volver a caer eliminado ante los Pacers en primera ronda, en una dramática serie a siete partidos, a pesar de la presencia de un veterano Gary Payton, el regreso de Walker y la llegada al equipo a través del Draft de Al Jefferson, Tony Allen y Delonte West.