Las dos palabras casaba y cazaba aparecen en diversos libros de la literatura castellana y por tanto ambas palabras están admitidas en el castellano
Casaba puede ser confundida con cazaba ya que es una es una variación en las letras z;s

la Ortografía es divertida
Si quieres saber mas sobre casaba y cazaba puedes usar la RAE, Word Reference o sus sinononimos
una forma de saber si se escribe cazaba o casaba es por su uso en las frases de libros famosos
Para saber como se escribe casaba o cazaba puedes comparar la frecuencia de aparición ambas en el castellano.
La palabra casaba no es muy usada pues no es una de las 25000 palabras más comunes del castellano según la RAE
La palabra cazaba no es muy usada pues no es una de las 25000 palabras más comunes del castellano según la RAE
Se escribe z y no c delante de a, o y u.
Se escriben con z las terminaciones -azo, -aza.
Ejemplos: pedazo, terraza
Se escriben con z los sustantivos derivados que terminan en las voces: -anza, -eza, -ez.
Ejemplos: esperanza, grandeza, honradez
La X y la S
Se escribe s al final de las palabras llanas.
Ejemplos: telas, andamos, penas
Excepciones: alférez, cáliz, lápiz
Se escriben con s los vocablos compuestos y derivados de otros que también se escriben con esta letra.
Ejemplos: pesar / pesado, sensible / insensibilidad
Se escribe con s las terminaciones -esa, -isa que signifiquen dignidades u oficios de mujeres.
Ejemplos: princesa, poetisa
Se escriben con s los adjetivos que terminan en -aso, -eso, -oso, -uso.
Ejemplos: escaso, travieso, perezoso, difuso
Se escribe con s las terminaciones -ísimo, -ísima.
Ejemplos: altísimo, grandísima
Se escribe con s la terminación -sión cuando corresponde a una palabra que lleva esa letra, o cuando otra palabra derivada lleva -sor, -sivo, -sible,-eso.
Ejemplos: compresor, compresión, expreso, expresivo, expresión.
Se escribe s en la terminación de algunos adjetivos gentilicios singulares.
Ejemplos: inglés, portugués, francés, danés, irlandés.
Se escriben s con las sílabas iniciales des-, dis-.
Ejemplos: desinterés, discriminación.
Se escribe s en las terminaciones -esto, -esta.
Ejemplos: detesto, orquesta.

El Español es una gran familia