Gauff, ex campeona del US Open, desperdició una gran ventaja en el segundo set, mientras Kostyuk sellaba una victoria por 6-2 y 7-5 y un encuentro en tercera ronda con la ganadora de la eliminatoria polaca entre Magda Linette y Magdalena Frech.
Gauff, que jugaba por primera vez desde que el 21 de enero cayera en cuartos de final ante Paula Badosa en el Abierto de Australia, cometió siete dobles faltas en una actuación errática.
La estadounidense tuvo un comienzo terrible, con una desventaja de 4-1 tras perder su servicio en dos ocasiones.
Gauff sufrió una nueva rotura en el octavo juego y Kostyuk se hizo con el primer set en apenas media hora.
La número tres del mundo devolvió el golpe con un break que le permitió ponerse 4-2 por delante en el segundo set, en el que empezó a encontrar su ritmo.
Pero Kostyuk se defendió, aprovechando los errores de Gauff, que cometió dos dobles faltas que le rompieron el saque por quinta vez.
"Las dobles faltas me lo pusieron más fácil... Estoy muy contenta de que haya acabado en dos sets", declaró Kostyuk a BeIN Sports.
Rybakina y Paolini
Rybakina, que la semana pasada cayó en semifinales de Abu Dabi ante Belinda Bencic, a la postre ganadora, se deshizo de Peyton Stearns en su primer partido.
La quinta cabeza de serie se impuso a Peyton Stearns por 6-2 y 6-4, a pesar de que se tambaleó en los últimos minutos, y se enfrentará en tercera ronda a la joven rusa Mirra Andreeva o a la eslovaca Rebecca Sramkova.
Rybakina se puso por delante 5-0 en el segundo set, pero desaprovechó tres bolas de partido para ponerse 6-0 y luego se vino abajo brevemente cuando Stearns remontó el set con su saque.
La ex campeona de Wimbledon superó tardíamente la línea en su quinto punto de partido.
Jasmine Paolini, subcampeona del Abierto de Francia y de Wimbledon el año pasado, también comenzó con victoria su campaña al imponerse a Caroline Garcia por 6-3 y 6-4 en la segunda ronda.
La joven checa Linda Noskova se clasificó para octavos de final, donde se enfrentará a la tricampeona Iga Swiatek, tras imponerse a la kazaja Yulia Putintseva por 6-2 y 6-3.