Serão todos os projetos de promoção de competências socioemocionais verdadeiramente transformadores?
Uma das grandes preocupações na intervenção é se esta é capaz de conseguir os efeitos esperados. Mas serão todos os projetos que implementamos verdadeiramente transformadores?
Esta questão foi o mote para mais um momento de partilha de conhecimentos e experiências com os Agrupamentos de Escolas (AE) de Sintra, no âmbito do projeto de investigação-ação ADN Socioemocional das Escolas de Sintra 2.0.
A resposta não é simples ou linear, e gera necessariamente um outro conjunto de questões. Tal como numa casa, os agrupamentos de escolas estão a trabalhar nos alicerces dos seus projetos, i.e., no modo como constroem a implementação da sua intervenção: De que forma foi planeada? Que recursos estão alocados e como os potenciar se forem escassos? A intervenção oferecida é explicita e intencional para as crianças que beneficiam dela ou desconhecem as atividades que desenvolvem, alimentando a (falsa) crença de que 'lá vamos nós para mais umas brincadeiras'. Segue uma sequência lógica? Estão pensados momentos de reflexão, de consolidação de conhecimentos e de situações que propiciam o desenvolvimento de competências específicas?
Tendo como objetivo proporcionar esta informação relevante, as equipas das escolas têm vindo, nos últimos dois anos letivos, a refletir, a criar e a explorar formas complementares de monitorizar e avaliar os seus projetos. O conhecimento profundo da sua realidade, as ferramentas adquiridas, o percurso efetuado e a renovada capacidade de refletir com base nos dados recolhidos, permitirá a cada equipa escolher para os seus projetos um de três caminhos.
No próximo ano letivo, com o apoio técnico especializado da equipa do ISCTE, as equipas de cada AE irão criar (mais) evidência empírica sobre as suas práticas, mostrando como a intervenção pode ter contribuído ou verdadeiramente impactado – dependendo do caminho avaliativo que irão escolher – a aquisição de competências sociais e emocionais dos seus alunos.
Caminho 1. Desenho avaliativo descritivo.
Consiste em, antes do projeto ('pré-teste') e no final do projeto ('pós-teste'), aplicar alguns instrumentos (estandardizados ou produzidos para o efeito) que visam medir as competências sociais e emocionais alvo do projeto, com recursos a instrumentos de auto e/ou de hétero-relato. Ou seja, o instrumento quantitativo ou qualitativo selecionado proporcionará informação sobre o ponto de partida e o ponto de chegada das competências dos alunos. As análises dos resultados dos instrumentos aplicados podem, por exemplo, demostrar que as crianças do pré-escolar apresentam no final do projeto maior capacidade de autorregulação emocional, segundo o questionário preenchido pelas educadoras. Ou a análise das respostas dos grupos focais dos alunos de 5º ano demostram que estes se percecionam com maior capacidade de cooperação no final do projeto, do que no início.
Com a condução de um estudo descritivo, conseguimos aferir única e exclusivamente se as competências evoluíram ou não. Este tipo de estudo não nos permite afirmar com certeza que a evolução se deveu ao projeto implementado, pois outras experiências podem igualmente influenciar o crescimento das competências, ou estas podem estar associadas ao desenvolvimento natural das mesmas.
Para permitir que a escolha deste tipo de estudo possa oferecer mais e melhores reflexões e, desta forma, conduzir um maior grau de certeza sobre a eficácia do projeto, deve ser conduzida uma monitorização detalhada da implementação da intervenção.
Com a análise dos resultados dos instrumentos aplicados em pré-teste e pós-teste e dos registos de monitorização, é possível responder à questão: 'Que benefícios podem associados à implementação do projeto?'
Caminho 2. Desenho avaliativo quasi-experimental.
Neste caminho, para além do momento de pré-teste e pós-teste com os participantes no projeto, é incluído um grupo de comparação com alunos que apresentem características similares (por ex., estatuto soci-económico das famílias). A condução de um estudo quasi-experimental permitirá responder à questão: 'Será que as competências dos alunos participantes evoluíram mais do que os alunos do grupo de comparação, que não receberam essa intervenção?'
Considerando que o grupo de comparação apresenta características semelhantes ao grupo de intervenção, com a condução deste tipo de estudo podemos afirmar, com um pouco de mais segurança, a relação entre o projeto e a evolução das competências dos alunos, mas não é possível estabelecer uma relação causal.
No entanto, podem surgir resultados diferentes do esperado. Por exemplo, em média os alunos do grupo de comparação apresentarem no pós-teste maiores níveis de criatividade do que os alunos participantes no projeto. Sem um conhecimento detalhado do processo de implementação da intervenção, tal como recolha de informação dos estímulos a que o grupo de comparação foi sujeito, será muito difícil retirar conclusões devidamente sustentadas.
Assim, optando por este caminho, as equipas devem preparar processo de monitorização que lhes permita aferir toda a informação que considerem essencial para aumentar a capacidade de reflexão sobre a eficácia do projeto.
Caminho 3. Desenho avaliativo experimental.
No terceiro caminho, a proposta é conduzir um estudo dito experimental, em que se procura controlar possíveis enviesamentos que decorrem da seleção do grupo de comparação não ser aleatória.
Neste desenho avaliativo, para além do grupo de intervenção, é criado um grupo de controlo, que não recebe a intervenção. A atribuição dos participantes a cada um dos grupos é feita de forma totalmente aleatória. O grupo de controlo não é exposto a qualquer intervenção, e o grupo de intervenção participa no projeto. O facto de a seleção ser aleatória reduz enviesamentos – por exemplo, por parte da equipa que organiza o estudo, não há nenhuma influência sobre a seleção dos participantes; ou ainda, por parte dos alunos ou docentes, há menor risco de enviesamentos por saberem ter sido 'escolhidos' para um grupo ou outro. Além disso, esta seleção aleatória garante maior rigor em minimizar diferenças individuais entre os participantes (por exemplo, de género, desempenho escolar, estatuto socioeconómico). Desta forma, os resultados obtidos apresentam maior nível de fiabilidade, e é possível afirmar, de forma mais segura, que efetivamente a intervenção é (ou não) verdadeiramente transformadora nas competências alvo selecionadas.
Apesar de este caminho oferecer maior robustez e, consequentemente, poder fornecer informação que permita responder à questão 'A intervenção teve impacto nas competências alvo dos participantes?', a inclusão de uma monitorização detalhada continua a ser imprescindível, já que, para além da reflexão sobre os resultados obtidos, é importante perceber porque foram ou não efetivamente atingidos.
-----------------------------------------------------
Apesar de oferecerem respostas diferenciadas sobre a eficácia dos projetos, qualquer um dos caminhos é uma opção válida para as escolas. A seleção de um dos caminhos deve reger-se por uma reflexão partilhada, que conduza a uma tomada de decisão consciente sobre que respostas é possível obter no final do caminho, mas também sobre os recursos necessários para a condução de cada um dos estudos.
Independentemente do caminho escolhido, no final do percurso, com muita informação relevante na bagagem, será com certeza possível ter uma resposta confiante à questão 'Como sabe que o seu projeto é verdadeiramente Transformador!'
Para saber mais:
Cipriano, C., Strambler, M. J., Naples, L., Ha, C., Kirk, M., Wood, M., Sehgal, K., Zieher, A. K., Eveleigh, A., McCarthy, M., Funaro, M., Ponnock, A., Chow, J. C., Durlak, J. (2023). The state of evidence for social and emotional learning: A contemporary meta-analysis of universal school-based SEL interventions. Child Development, 94, 1181–1204. https://doi.org/10.1111/cdev.13968
Durlak, J. A., Mahoney, J. L., & Boyle, A. E. (2022). What we know, and what we need to find out about universal, school-based social and emotional learning programs for children and adolescents: A review of meta-analyses and directions for future research. Psychological Bulletin, 148(11-12), 765–782. https://doi.org/10.1037/bul0000383Greenberg, M. T. (2023). Evidence for social and emotional learning in schools. Learning Policy Institute. https://doi.org/10.54300/928.269