Q11 Estudo

Q11 – Afinal, porque melhoraram os resultados?

Metodologia

Neste estudo (Q11) apresenta-se uma síntese de todas as análises estatísticas realizadas no projeto aQeduto, procurando determinar quais as variáveis que mais contribuíram para a evolução dos resultados dos alunos portugueses nos estudos PISA.

Assim, as notas metodológicas foram reportadas ao longo dos dez estudos anteriores das quais se destacam as mais importantes que se apresentam seguidamente.

Os dados analisados provêm fundamentalmente dos projetos PISA e TALIS:

PISA – Programme for International Student Assessment é um estudo internacional desenvolvido pela OCDE, com  a participação de cerca de 65 países, que avalia a literacia de jovens de 15 anos, que frequentem pelo menos o 7º ano de escolaridade. O objetivo principal do PISA consiste na avaliação da capacidade dos alunos para enfrentar os desafios que a transição para a vida adulta lhes coloca, conduzindo a um retrato dos sistemas educativos de todos os países e economias participantes. O projeto PISA desenvolve-se em ciclos de 3 anos e avalia literacia a Matemática, Leitura e Ciências, elegendo, em cada ciclo, uma das três áreas avaliadas como domínio principal.

TALIS – Teaching and Learning International Survey  é um estudo internacional desenvolvido pela OCDE, com a participação de cerca de 35 países. Trata-se de um questionário dirigido aos professores do 9º ano que visa compreender como se sentem na profissão, quais os seus métodos de ensino e opiniões sobre a escola e o sistema educativo.

Recolheu-se ainda informação sobre os professores no estudo da OCDE Education at a Glance bem como na DGEEC – Direção Geral de Estatísticas de Educação e Ciência do Ministério da Educação.

No âmbito da informação recolhida no estudo TALIS não foi possível continuar a comparação de Portugal com os dez países europeus acima referidos por não terem todos participado neste mais recente projeto da OCDE, apresentando-se apenas a confrontação das respostas dos professores de cinco países: Dinamarca, Espanha, Irlanda, Portugal e Polónia.

Conforme descrito detalhadamente na apresentação do projeto aQeduto (http://www.aqeduto.pt/apresentacao/) em todos os seus estudos, Portugal é comparado com dez países europeus que foram selecionados de acordo com semelhanças e diferenças em cinco critérios considerados relevantes para este trabalho.

Os alunos sabem menos?

Não. Entre 2000 e 2012, os alunos portugueses aumentaram os resultados médios a Matemática em cerca de 8% (de 450 pontos para 490 pontos), apesar da recessão económica.

Entre 2000 e 2012, verifica-se que apenas o Luxemburgo, Portugal e a Polónia apresentam crescimentos relevantes nos resultados PISA. Países como a Suécia, Finlândia, Holanda, França e Dinamarca obtiveram, em 2012, scores mais baixos do que os alcançados em 2000, apesar de terem aumentado o PIB per capita. Portugal foi o país mais afetado pela recessão económica do início do século XXI e, embora não se tenha assistido a qualquer aumento do PIB per capita, assistiu-se à melhoria dos resultados PISA dos alunos portugueses.

Em Portugal, existem menos alunos muito fracos e mais alunos de excelência.

Entre 2000 e 2012, a percentagem de alunos muito fracos a Matemática caiu de 30% para 21% e a percentagem de alunos de excelência subiu de 1% para 7%, tendência observada em apenas outros dois dos países considerados (Polónia e Luxemburgo).

Chumbar é uma segunda oportunidade para aprender?

Não. Esta prática não contribui para que os alunos que chumbam alcancem o mesmo nível de aprendizagem que os colegas que frequentam o 9º ano, mas que nunca chumbaram.

Comparando apenas os alunos que estão no 9º ano, os alunos que nunca chumbaram pontuam sempre mais do que os que já chumbaram pelo menos uma vez. Esta diferença chega a ultrapassar os 60 pontos em Portugal e na Finlândia, significando que os alunos que já repetiram pelo menos um ano permanecem com um grande atraso na aprendizagem.

Chumbar está fortemente associado ao Estatuto Socioeconómico e Cultural (ESCS) das famílias.

Em Portugal, 87% dos alunos que chumbam vêm de famílias de estratos sociais, económicos e culturais abaixo da média da OCDE. Do mesmo modo, os alunos que chumbaram obtiveram, maioritariamente, classificações no teste PISA Matemática 2012 inferiores à média de referência (500).

Os pais estão mais escolarizados?

Sim. O nível de escolaridade das mães aumentou, principalmente nos níveis mais baixos. Contudo, o impacto da escolaridade nos resultados é mais evidente quando combinado com o estatuto profissional.

Apenas em Portugal se verificou um aumento simultâneo das qualificações mais baixas das mães e uma melhoria nos scores PISA. As mães portuguesas estão, em 2012, mais qualificadas do que no início do século, embora continuem a ser as menos escolarizadas de entre os países considerados. Em Espanha, também se verificou uma acentuada redução da percentagem de mães com o 9º ano ou menos, embora sem reflexos nos resultados PISA. Em 2012, a maioria dos restantes países tem menos de 10% de mães com tão baixa qualificação.

Os aspetos com maior influência na aprendizagem dos filhos são a profissão, posses domésticas, educação e posse de recursos educativos. O facto de a mãe ser muito jovem e de viver num agregado familiar alargado conduz a um aumento da probabilidade de o aluno obter scores mais fracos. É de destacar que o peso das variáveis relativas à família representa pouco mais de 20% da variabilidade dos resultados, significando que a família não é condição determinante para o sucesso na aprendizagem.

A frequência no pré-escolar tem impacto nas aprendizagens?

Sim. Os alunos que frequentaram o pré-escolar obtêm, em média, um score PISA a Matemática mais elevado e apresentam uma probabilidade mais baixa de chumbar.

Em Portugal, entre 2003 e 2012, o acesso ao pré-escolar generalizou-se, aproximando as crianças portuguesas dos seu pares nos restantes países. Em 2003, pouco mais de 70% dos jovens de 15 anos tinham frequentado o pré-escolar pelo menos um ano, ao passo que em 2012 esse número já era de 85%. No entanto, o que é absolutamente surpreendente é o facto de dez anos depois ainda se notar o efeito deste nível de ensino, dado que os alunos que frequentaram o pré-escolar têm em média mais 40 a 50 pontos.

A escola está parada no tempo?

Não. A percentagem de escolas que, apesar de inseridas em meios desfavorecidos, consegue resultados médios a Matemática superiores a 500 pontos aumentou de 19% para 34%.

O enquadramento socioeconómico das escolas pouco se alterou no período considerado, sendo que, em 2012, apenas 20% das escolas se inserem em meios socioeconómicos favoráveis. Em 2003, era de 16% a percentagem das escolas nas mesmas condições. Em 2012, das escolas que se situam em meios mais favorecidos, apenas 3% têm resultados abaixo dos 500, ainda assim muito próximos deste valor. Donde, se o meio socioeconómico e cultural é favorecido, a probabilidade de obter resultados elevados é muito grande.

À esquerda de zero, no eixo das abcissas (eixo horizontal), encontram-se representadas as escolas inseridas em meios socioeconómicos menos favorecidos que representavam, em 2012, 80% das escolas consideradas na amostra PISA. Entre 2003 e 2012, a percentagem destas escolas, que obtiveram resultados abaixo de 500, reduziu de 65% para 46%. Por fim, as escolas que de facto fazem um trabalho acima do que seria expectável, dado que estão inseridas em meios desfavorecidos e conseguem resultados de excelência, tiveram um enorme crescimento durante este período, passando de 19% para 34%. Estas são as escolas que fazem a diferença e é muito importante tentar compreender quais as suas práticas.

O ambiente escolar está difícil?

Sim e não. Portugal é um dos países onde os alunos reportam maior nível de  felicidade e onde o relacionamento com os professores parece ser muito favorável.

A nível agregado, verifica-se uma associação entre bom relacionamento com os professores e os alunos sentirem-se felizes na escola. Em 2012, os alunos portugueses foram os que mais consideraram ter um bom relacionamento com os professores (86%) e cerca de 25% sentiam-se muito felizes na escola.

A falta de disciplina parece ser o maior problema aos olhos dos diretores.

A indisciplina e a falta de respeito em sala de aula são, segundo os diretores, os problemas que mais afetam o aproveitamento dos alunos e o normal funcionamento da escola. Estes problemas assumem grande dimensão em escolas inseridas em meios socioeconómicos mais desfavorecidos, embora não estejam circunscritos a este tipo de escola. Por outro lado, o consumo de drogas, a agressividade entre alunos e o mau relacionamento com professores são considerados apenas por uma percentagem muito baixa de diretores, mesmo em escolas que poderiam ser, à partida, mais problemáticas.

Acima do esperado – Escolas cujos resultados médios são > 500 e o ESCS < à média da OCDE
Esperado negativo – Escolas cujos resultados médios são < 500 e o ESCS < à  média da OCDE
Esperado positivo – Escolas cujos resultados médios são > 500 e o ESCS > à média da OCDE

Escolas públicas e privadas: servem populações diferentes?

Sim. Portugal é o país onde a escola pública serve uma maior heterogeneidade de classes sociais. Por outro lado, a escola privada  é só para alunos de classes sociais elevadas.

Em 2012, na generalidade dos países, as escolas privadas independentes servem apenas uma população socialmente mais favorecida. No Luxemburgo, Portugal e Polónia, 95% dos alunos provêm de estratos sociais acima da média da OCDE. Por outro lado, em Espanha, Dinamarca e República Checa, escolas desta natureza servem populações de estratos sociais mais próximos das que frequentam a escola pública. As escolas, que embora sendo privadas são financiadas pelo Estado, tendem a não ser elitistas, ou seja, recebem alunos de estratos socioeconómicos similares aos das escolas públicas.

Em Portugal, as crianças de classes sociais muito favorecidas não frequentam escolas públicas, nem escolas privadas dependentes do Estado, pelo que se trata do país onde esta separação é mais visível. Em 2012, as escolas públicas e as escolas privadas dependentes do Estado recebem alunos de vários estratos socioeconómicos, embora a franja mais desfavorecida frequente exclusivamente escolas da rede pública.

Ensino Privado Dependente do Estado: Uma instituição de ensino privado dependente do Estado é uma instituição em que mais de 50% dos seus fundos regulares de funcionamento é garantido pelo Estado/Administração Pública.

Ensino Privado Independente do Estado: Instituição em que a maioria dos seus fundos regulares de funcionamento não é garantida pelo Estado/Administração Pública.

Os alunos são irresponsáveis e mal-agradecidos?

Não. A maior parte dos alunos considera que o sucesso depende essencialmente do seu próprio esforço e que os professores os ajudam bastante.

Um pouco por todos os países, os alunos consideram o esforço próprio determinante na aprendizagem, sendo que os melhores alunos são os que mais o reconhecem. Em Portugal, mais de 50% dos bons alunos, independentemente da origem social, consideram o seu esforço como muito importante para o sucesso. Apenas os alunos suecos apresentam uma percentagem superior.

É em Portugal que os professores são mais bem vistos pelos alunos e essa opinião tem vindo a crescer desde 2003. Os alunos portugueses consideram que recebem bastante apoio, são bem orientados e avaliados formativamente e que têm um bom relacionamento com os professores. Este tipo de opinião favorável em todas as dimensões não acontece em mais nenhum dos outros países considerados. Também na Dinamarca e na Suécia, os alunos exprimem, em algumas dimensões, uma opinião positiva sobre os professores, embora em queda relativamente a 2003. É surpreendente verificar que em países com resultados PISA muito elevados os professores não são bem vistos pelos seus alunos.

Rapazes melhores a Matemática e raparigas a Leitura?

Não é tanto assim. Em geral, os alunos de 15 anos tendem a ter desempenhos muito semelhantes nos três domínios PISA.

A nível individual, a diferença entre os resultados nos vários domínios é difusa, dado que o valor dos coeficientes de correlação é sempre muito elevado, na ordem dos 0,9. Em 2012, em todos os países considerados, as raparigas apresentam um desempenho médio a Leitura muito superior ao dos rapazes. De destacar que é apenas na Irlanda que o score médio dos rapazes supera os 500 pontos na escala PISA. As raparigas ultrapassam esta fasquia em todos os países no que respeita à Leitura. Em Portugal, a diferença é muito clara, sendo que a média dos rapazes a Leitura é muito baixa (468 pontos), registando-se apenas piores desempenhos a Leitura nos rapazes suecos. Já no que respeita a Matemática, há uma ligeira tendência para que os scores médios sejam favoráveis aos rapazes, mas esta tendência não se alastra a todos os países. Em Ciências, o panorama é mais equilibrado, sendo que na maior parte dos países se regista uma igualdade de desempenhos entre sexos.

Existe uma tendência para as raparigas serem bastante melhores  a Leitura e os rapazes ligeiramente melhores a Matemática.

Os professores descartam responsabilidades?

Não. Os professores sentem-se satisfeitos e respeitados quando consideram que ajudam a aprender, conseguem estabelecer uma boa relação com os alunos e mantêm a disciplina em sala de aula.

A satisfação com a profissão e o respeito que sentem por parte do resto da sociedade são pontos críticos no exercício da mesma. Portugal é o país com a maior percentagem de professores insatisfeitos com a profissão (13%), embora a grande maioria continue satisfeita ou mesmo muito satisfeita (19%). O sentimento de respeito por parte da comunidade é mais reduzido, sendo que 48% sentem-se desrespeitados ou muito desrespeitados. Apenas 5% se sentem bastante respeitados.

Estar mais satisfeito e sentir-se respeitado depende essencialmente de três dimensões ligadas aos professores: (i) sentirem-se úteis aos alunos ao considerar que os ajudam a aprender; (ii) sentirem que estabelecem uma boa relação com os alunos e (iii) serem capazes de manter disciplina em sala de aula. Com exceção para a Dinamarca, é a capacidade de ser útil aos alunos a variável de maior importância. A disciplina é a que tem menor importância relativa em todos os países. Variáveis como anos de serviço, idade, reconhecimento formal, utilização de diversos métodos pedagógicos e número de horas de trabalho semanal revelaram-se irrelevantes.  Tendo em conta estes resultados, verifica-se que os professores reconhecem que a responsabilidade de serem melhores está nas suas mãos.

CCLIMA: tempo de espera para iniciar a aula; bom ambiente de aprendizagem; interrupções da aula e barulho.

SELFEF: fazer diferença na vida dos estudantes; conseguir que os estudantes difíceis progridam; ser bem sucedido com os seus alunos e chegar aos alunos.

TSRELAT: alunos e professores relacionam-se bem; o bem estar dos alunos é importante; interesse no que os alunos têm para dizer e quando um aluno necessita de ajuda a escola proporciona.

Afinal, porque melhoraram os resultados?

Por uma combinação de fatores. Entre 2003 e 2012, Portugal melhorou em 5% os resultados a Matemática, devido a múltiplos contributos, destacando-se o efeito positivo do trabalho das escolas.

Uma maior percentagem de escolas inseridas em meios socioeconómicos desfavorecidos consegue ter mais alunos com bons desempenhos.

 

O incremento percentual dos scores PISA Matemática foi de 5% entre 2003 e 2012, crescendo de 466 pontos para 487.  Do lado dos problemas, verifica-se que os diretores mostram maior insatisfação com as instalações das escolas, que o número de alunos que chega aos 15 anos com pelo menos um chumbo aumentou e que o estatuto profissional dos pais caiu ligeiramente, apesar de ter havido uma melhoria do seu nível de escolaridade.

Por outro lado e pela positiva, é importante destacar algumas variáveis relevantes a nível da escola, nomeadamente o enorme aumento de escolas inseridas em meios socioeconómicos desfavorecidos, mas com resultados médios acima de 500. Portugal passou a ter mais 79% de escolas com resultados “Acima do esperado”. Este sucesso pode estar relacionado com: a formação e a motivação dos docentes; a criação de condições para o alargamento da educação pré-escolar; a melhoria dos recursos pedagógicos e uma maior autonomia das escolas.  A nível dos pais é de destacar o aumento do nível de escolaridade, embora esse aumento tenha acontecido na base. Esta melhoria, aliada a outros indicadores do foro económico, conduziu a um aumento do ESCS das famílias, apesar de continuar a ser o mais baixo dos países em estudo e ter acontecido num período de estagnação económica.

O sistema de educação português é um sistema em movimento, sendo fundamental que as decisões de política educativa sejam sustentadas em evidência científica para que se possa melhorar e conduzir, assim, a um melhor desempenho dos seus alunos.

Em suma

 

Mais dinheiro não implica sempre um melhor sistema educativo. 

Chumbar como prática de combate ao insucesso na aprendizagem
não é eficaz.

A família, embora importante, não é determinante para o sucesso escolar.

A frequência no pré-escolar, por mais de um ano, tem influência positiva nas aprendizagens.

A maioria dos alunos portugueses sente-se feliz e apoiada na escola, o que também conduz a melhores resultados.

Segundo os diretores, a indisciplina surge como o maior obstáculo à aprendizagem.

Os alunos consideram que o sucesso depende do seu próprio esforço e reconhecem o bom trabalho dos professores.

Portugal é o país onde a escola pública serve uma maior heterogeneidade de classes sociais.

Os rapazes têm maiores dificuldades a Leitura o que pode ser uma condicionante à sua aprendizagem global.

A satisfação dos professores depende da sua capacidade de ajudar a aprender, estabelecer bom relacionamento com os alunos e manter a disciplina.

O efeito escola foi dos mais determinantes na variação positiva dos resultados. Uma grande percentagem das escolas em meios socioeconómicos mais desfavorecidos destaca-se por ter conseguido melhorar de forma considerável o desempenho dos seus alunos.