Software for assessment and monitoring the decoding skills development of children from the elementary school: validity based on response process

TL;DR

This study validates a software tool for assessing decoding skills in elementary school children, showing how decoding evolves with schooling and differs between public and private school students.

Contribution

The study provides evidence of validity for a software-based decoding assessment tool based on response processes.

Findings

Decoding performance is influenced by word and non-word length in both public and private school students.

Decoding skills improve with grade level across all measured variables.

Non-words strongly impact student performance throughout Elementary School I.

Abstract

To continue the validation process of the Decoding Development Monitoring Protocol (PRADE) in software format in the validity evidence stage based on response processes.

250 individuals participated in this study, 125 individuals from private schools and 125 individuals from public schools. The assessment was carried out in person using the software that hosts the instrument's tasks, which are organized into decoding linguistically balanced words and non-words, respecting the decoding rules of Brazilian Portuguese. The software prepares an individual performance report for each participant, counting the decoding time for each stimulus, as well as the number of words decoded correctly. The data is organized considering the correct decoding time of the stimuli, decoding accuracy and percentage of correct answers. All data underwent statistical analysis using SPSS software.

The data indicated an important effect of the length of words and non-words on public and private school students. Furthermore, it was possible to observe the evolution of decoding, depending on the school year, in all the variables studied. In both groups, a strong influence of non-words on student performance throughout Elementary School I was observed.

The data indicate validity in the analysis of response processes, since it was possible to adequately characterize the performance of school children public and private throughout Elementary School I, characterizing each group, as well as their differences according to the advancement of schooling.

Dar seguimento ao processo de validação do Protocolo de Acompanhamento do Desenvolvimento da Decodificação (PRADE) em formato de software na etapa de evidência de validade baseada nos processos de resposta.

Foram participantes deste estudo 250 indivíduos, sendo 125 indivíduos oriundos de escola privada e 125 indivíduos oriundos de escola pública. A avaliação foi realizada presencialmente por meio do software que hospeda as tarefas do instrumento, as quais são organizadas em decodificação de palavras e não-palavras balanceadas linguisticamente respeitando-se as regras de decodificação do Português Brasileiro. O software elabora relatório individual de desempenho de cada participante contabilizando o tempo de decodificação de cada estímulo, assim como o número de palavras decodificadas corretamente. Os dados são organizados de forma a contabilizar o tempo de decodificação correta dos estímulos, acurácia de decodificação e porcentagem de acertos. Todos os dados passaram por análise estatística por meio do software SPSS.

Os dados indicaram importante efeito da extensão de palavras e não-palavras em estudantes de escola pública e privada. Ademais, foi possível observar a evolução da decodificação, em função do ano escolar, em todas as variáveis estudadas. Em ambos os grupos observou-se forte influência das não-palavras no desempenho dos estudantes em todo o Ensino Fundamental I.

Os dados indicam validade na análise dos processos de resposta, uma vez que foi possível caracterizar adequadamente o desempenho de crianças de escola pública e privada em todo o Ensino Fundamental I, caracterizando cada grupo, bem como suas diferenças conforme o avanço da escolaridade.

Figures