Os desafios da utilização dos resultados
de avaliações nacionais para o Desenvolvimento de políticas educacionais por um governo subnacional no Brasil
João Luiz Horta Neto *
* Pesquisador-tecnologista em Informações e Avaliações Educacionais do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – inep, Brasil.
Síntese: O objetivo desse trabalho foi pesquisar como os governos subnacionais estariam utilizando os resultados do Sistema de Avaliação da Educação Básica – Saeb, avaliação externa da educação produzida pelo governo federal no Brasil. Para tanto, escolheu-se o governo do Distrito Federal, onde se localiza Brasília, capital do Brasil, e dentro dele a Secretaria de Educação, gestora de toda a educação básica. Os resultados indicaram que os gestores dessa secretaria defendem a importância de uma avaliação nacional como a do Saeb. Paradoxalmente, os dados gerados pelo Saeb não são utilizados na formulação de suas políticas, e isso parece ter uma íntima relação com as dificuldades de se compreender os resultados produzidos pela avaliação, assim como com as práticas de gestão desses gestores que estão focadas em aspectos meramente operativos.
Palavras-chave: Saeb; avaliação externa da educação; gestão do ensino.
Los desafíos de la utilización de los resultados de evaluaciones nacionales para el desarrollo de políticas educacionales por un gobierno subnacional en Brasil
Síntesis: El objetivo de este trabajo ha sido investigar cómo los gobiernos subnacionales están utilizando los resultados del Saeb (Sistema de Evaluación de la Educación Básica), evaluación externa de la educación realizada por el gobierno federal en Brasil. Para ello se ha elegido el gobierno del Distrito Federal, en Brasilia, capital de Brasil, y dentro de él la Secretaría de Educación, gestora de toda la educación básica. Los resultados vienen a indicarnos que los gestores de esa Secretaría defienden la importancia de una evaluación nacional como la del Saeb. Paradójicamente los datos generados por este organismo no son utilizados en la formulación de las políticas, y eso parece tener una estrecha relación con las dificultades para comprender los resultados producidos por la evaluación, así como con las prácticas de gestión de estos gestores que se centran en aspectos meramente operativos.
Palabras clave: Saeb; evaluación externa de la educación; gestión de la enseñanza.
Challenges for subnational governments in Brazil while using national assessment results in the development of educative policies
ABSTRACT: The goal of this paper is to study how subnational governments are using the outcome of the Elementary Education Assessment System (saeb for its Portuguese acronym), an education assessment process carried out by Brazil’s Federal Government. For this purpose, we’ve chosen the government of the Federal District, Brasilia, Brazil’s capital city. Within this administration, we’ve chosen the Ministry of Education, an entity that manages elementary education. Results show that managers in that Ministry believe in the importance of national assessment such as saeb . However, the knowledge produced by this entity is not used in the development of policies, and this seems to have a strong connection with two main issues: inability to fully understand the outcome of the assessment and management practices that are focused on merely operative aspects.
Keywords: saeb, education external assessment, education management.
1. Introdução
De acordo com a Constituição, o Brasil é uma República federativa, e a sua organização político-administrativa compreende a União, os Estados, o Distrito Federal e os Municípios, todos entes autônomos. A educação no Brasil está organizada em dois níveis: básica e superior. A educação básica é dividida em três etapas: educação infantil, atendendo a população de zero a cinco anos de idade; ensino fundamental, de seis a 14 anos; ensino médio, de 14 a 17 anos. A Constituição fixou como obrigatória a educação de quatro a 17 anos de idade.
Quanto à responsabilidade pela oferta da educação básica, os Municípios são responsáveis pela educação infantil e o ensino fundamental. Nesse último caso, os Estados dividem essa responsabilidade com os Municípios e são responsáveis também pelo ensino médio. No caso do Distrito Federal, esse ente federado é responsável por toda a educação básica. Cada um deles é gestor de seu próprio sistema de ensino, constituído por instituições escolares direcionadas a uma ou mais etapas da educação básica. O papel da União é supletivo e redistributivo, cabendo-lhe a responsabilidade da fixação das diretrizes e bases da educação. Para garantir a unidade dos esforços, a Constituição determina que entre a União, os Estados, o Distrito Federal e os Municípios deve imperar o regime de colaboração.
Quanto às avaliações externas, o Brasil tem uma sólida tradição que remonta os anos 1976 quando foi iniciada a avaliação dos programas de pós-graduação, possuindo atualmente diversos e diferentes instrumentos que avaliam regularmente os dois níveis da educação brasileira (Horta Neto, 2007).
O Saeb, Sistema de Avaliação da Educação Básica, desenvolvido, aplicado e analisado pelo Instituto Nacional de Estudos e Pesquisas Educacionais «Anísio Teixeira» – Inep, autarquia vinculada ao Ministério da Educação do Brasil, teve sua primeira aplicação no final da década de 1980, e desde então vem sendo aplicado a cada dois anos. Em 2009 ocorreu a sua 10ª edição. Consta de dois tipos de instrumentos: um teste com itens objetivos para avaliar o desempenho dos alunos em Matemática e Língua Portuguesa e diferentes questionários para serem respondidos por alunos, professores e diretores, com o objetivo de identificar fatores que influenciam o desempenho dos alunos. É importante destacar que os governos subnacionais não têm nenhuma participação na elaboração do Saeb, são apenas convidados a tomar parte na aplicação da avaliação. A eles cabe a organização geral para que a aplicação aconteça dentro das normas definidas pelo Inep (Horta Neto, 2006b).
A avaliação da educação no Brasil amplia seu papel a partir do momento em que o tema, pela primeira vez, aparece na legislação infraconstitucional que explicita o direito constitucional à educação. A Lei de Diretrizes e Bases da Educação Nacional, de 1996, determina em seu artigo 9.º que cabe à União «assegurar processo nacional de avaliação do rendimento escolar no ensino fundamental, médio e superior, em colaboração com os sistemas de ensino, objetivando a definição de prioridades e a melhoria da qualidade do ensino» (Brasil, 1996). Além dessa legislação, o Plano Nacional de Educação, lei federal de caráter plurianual, que define, para um período de dez anos, as metas a serem atingidas em cada nível educacional, determina, para o período de 2001 a 20101, o desenvolvimento de sistemas de avaliação educacional como nstrumentos para a gestão do sistema educacional e melhoria do ensino (Brasil, 2001).
Este trabalho teve como objetivo pesquisar a repercussão dos resultados do ciclo de 2003 do Saeb na gestão do sistema público de ensino fundamental do Distrito Federal, composta por uma rede de 465 escolas com 330 mil alunos matriculados. Essa gestão é realizada pela Secretaria de Educação, órgão do governo local. A coleta de dados foi feita no período de novembro de 2005 e abril de 2006. A escolha do ciclo de 2003 ocorreu porque à época da pesquisa estava sendo realizada a aplicação dos testes relativos ao ciclo de 2005 e seus resultados só estariam disponíveis para análise em fins de 20062.
Na linha da investigação qualitativa, optou-se por trabalhar com entrevistas semi-estruturadas com os gestores da Secretaria de Educação do Distrito Federal. A partir do estudo da estrutura da organização, foram identificadas duas esferas, uma central e outra intermediária, consideradas prioritárias para objeto de pesquisa. Da esfera central, aquela mais próxima ao núcleo central responsável pela tomada de decisões, escolheu-se para a entrevista três gestores responsáveis pela direção das ações da Secretaria, dois ligados à área pedagógica e vinculados ao ensino fundamental, e um terceiro da área de planejamento. Da esfera intermediária, com maior proximidade ao dia-a-dia das escolas, foram selecionados outros cinco gestores responsáveis pela coordenação de equipes responsáveis pelo apoio às atividades pedagógicas das escolas, cada um dentro de cinco das 14 regiões administrativas do Distrito Federal.
Em 2008 a Secretaria de Educação do Distrito Federal instituiu um sistema próprio de avaliação de desempenho dos alunos de suas escolas, sem deixar de participar também do Saeb. Esse fato reforça a importância dessa pesquisa, já que são apontados problemas a serem superados para que esse novo sistema possa contribuir para a melhoria da qualidade da educação do Distrito Federal.
2. O planejamento da Secretaria de Educação
Para poder entender como os resultados do Saeb seriam utilizados pela Secretaria, optou-se por conhecer um pouco mais sobre como a Secretaria desenvolvia suas atividades de planejamento. Com isso, esperava-se verificar as possibilidades que teriam os resultados do Saeb para influenciar esse planejamento, fornecendo dados mais consistentes para aprimorar as metas perseguidas pela Secretaria.
Percebeu-se que existiam diferentes visões entre os dirigentes da esfera central, com relação ao que seria planejar e de como estruturar um planejamento.
Um dos dirigentes, ligado à área pedagógica, ao ser indagado sobre como se desenvolve o planejamento na Secretaria, afirmou ser essa uma responsabilidade da área de planejamento, que ao receber as solicitações orçamentárias dos diversos setores, condensa-as e resume-as em uma peça que faz parte do planejamento orçamentário de todo o governo do Distrito Federal. Segundo este dirigente, o planejamento estratégico do órgão era realizado em reuniões do corpo diretivo da Secretaria, consistindo basicamente na identificação e eliminação de ações sobrepostas. Ao tratar do planejamento do seu setor, afirma que sua diretoria tem total liberdade para criar projetos e programas. Ao ser criada uma nova ação, comunica-se à área de planejamento para que seja incluída no orçamento da Secretaria.
Para o outro dirigente, também ligado à área pedagógica, não existe uma atividade formal de planejamento na Secretaria, pois:
[...] a gente tem quatro subsecretarias e só uma é pedagógica. E é complicado articular as nossas ações com o conjunto da Secretaria. Para isso, a gente tem que ter um planejamento único articulado, um planejamento estratégico mesmo, onde você pudesse estar articulando todas as subsecretarias [...] é uma falha grande nossa não ter um planejamento. Não sei se é porque a casa é muito grande. Não sei se falta vontade política.
É interessante notar que para esse dirigente existe uma dificuldade de articular as ações da área pedagógica com o conjunto da Secretaria, o que permite subtender que a função de oferecer uma educação de qualidade seja atribuição apenas da sua área, e não do conjunto da Secretaria. Outro dado importante nos é dado quando o dirigente comenta sobre a forma como são escolhidas as prioridades em um determinado ano. Segundo ele:
Em 2005 a gente desenvolveu muitas ações voltadas para a coordenação pedagógica. Porque a gente sente que se melhorar a coordenação pedagógica, onde o professor discuta mais, pesquise mais, leia mais, estude mais, ele vai melhorar. Isso vai trazer impacto lá no seu trabalho.
Percebe-se que a opção por uma prioridade não está baseada em dados empíricos. Baseia-se unicamente na sensibilidade dos dirigentes de que determinada ação seja importante. Além disso, essa opção não se transforma em uma meta, com um plano de ação atrelado a ela.
Já o dirigente ligado à área de planejamento, ao falar sobre o planejamento afirma que «nós não podemos planejar pelo outro. Então cada Subsecretaria faz o seu planejamento. E nós aqui consolidamos. Montamos um documento único onde se diz: o plano de ação no ano seguinte será assim. E aí é o momento que envolve todos». Confirma-se por esse relato que o planejamento da Secretaria é um agregado das vontades particulares de cada um dos seus órgãos, sem que haja uma preocupação com a unidade e com o estabelecimento de objetivos comuns. Mesmo a área que deveria organizar esse planejamento apenas promove a consolidação dos documentos que lhe são encaminhados.
Constata-se, portanto, que o núcleo central da Secretaria encontra dificuldades para planejar suas ações. Qual o reflexo desse fato nos órgãos intermediários e de que forma eles se organizam para executar as suas funções? A resposta a essa indagação foi buscada junto aos coordenadores.
Para um dos coordenadores, a Secretaria não determina metas, e diz que sente falta disso, porque com elas, seu trabalho seria facilitado. Quando perguntado se sua coordenação tem um planejamento, responde afirmativamente e indica que ele é definido em função das atividades que serão desenvolvidas. Para exemplificar, relata que em 2006 ocorreram oficinas de avaliação e projetos, envolvendo os coordenadores pedagógicos das escolas, e seu planejamento previa as datas e locais de realização. Assim, para esse coordenador, planejar se resumia apenas à organização de eventos.
Um segundo coordenador refere-se a um Plano Operacional para guiar as ações da sua equipe durante o ano. Destaca que além das ações previstas no Plano, sua equipe deve também atender às demandas emergenciais, e exemplificou:
A gente tem uma escola em que os alunos estão em greve. Eu estava lendo na Internet que eles fecharam o Eixo Monumental (via de grande movimento em Brasília). Então essa é uma ação emergencial. Consta do nosso plano de ação atender o que acontecer de emergencial.
O fato de relatar que atender a ações emergenciais faz parte do seu Plano Operacional pode revelar a generalidade desse plano, tornando difícil definir prioridades. Isso não pode ser verificado, pois no momento da entrevista esse coordenador não estava com esse Plano nas mãos.
Outro coordenador apontou as dificuldades para fazer um planejamento, pois essa atividade demandaria um tempo que sua equipe não dispõe, já que tem de responder a inúmeras demandas das escolas.
Buscando compreender um pouco mais sobre o desenvolvimento do trabalho dessas coordenações de apoio pedagógico, procurou-se saber como as ações desenvolvidas eram avaliadas, e como essas avaliações contribuiriam para orientar as suas práticas. Somente dois coordenadores afirmaram fazer avaliações, e relataram que o processo de avaliação utilizado buscava medir apenas o grau de satisfação dos professores com o atendimento prestado pelas suas equipes.
Assim sendo, os relatos obtidos evidenciaram que existiam dificuldades para que a Secretaria, em seus diversos níveis hierárquicos, planejasse estrategicamente suas ações. As atividades classificadas como de planejamento limitavam-se ora à elaboração ou acompanhamento do orçamento, ora à elaboração de uma lista de ações que deveriam ser desenvolvidas, muitas delas não ligadas à atividade-fim das coordenações. Os gestores pesquisados indicaram estar agindo no sentido de considerar qualquer ação como prioritária, procurando resolver todos os problemas, que consideravam importantes, ao mesmo tempo. Como consequência desse modo de agir sem definir prioridades, muitas ações eram iniciadas, poucas concluídas, e pouquíssimas avaliadas, gerando entre eles uma sensação de impotência ao não perceberem melhoria no desempenho dos alunos.
Os relatos são surpreendentes, pois indicaram uma dificuldade em lidar com temas comuns a uma atividade gerencial, tais como definir metas e acompanhar resultados, tarefas típicas das funções de direção e coordenação, às quais os entrevistados estão ligados. Além disso, em nenhum dos relatos foi possível perceber qualquer associação entre as ações desenvolvidas e a busca por uma qualidade educacional, como se a qualidade do ensino pudesse ser alcançada somente a partir da vontade dos atores. Segundo Dias Sobrinho (1995), a qualidade deve ser construída por meio de consensos e negociações entre os atores. A construção de consensos e as negociações são atividades inerentes ao planejamento, sendo esse um momento privilegiado para estabelecer critérios e padrões acordados entre todos acerca da qualidade que se quer atingir.
Portanto, sem uma cultura de planejaneto, os dados de qualquer instrumento de aferição de resultados, o Saeb inclusive, acabam sendo encarados como mais um conjunto de dados com os quais se toma contato, sem que se saiba o que significam nem o que fazer com eles.
3. Informações gerenciais coletadas pela Secretaria
de Educação.
A Secretaria desenvolveu e vem utilizando desde 2004, o Sistema de Informações Gerenciais, Sige, que permite acompanhar, em cada escola, o número de matrículas por turma, a evasão escolar e o rendimento por disciplina de todos os alunos matriculados na rede pública. Além disso, possui uma série de funcionalidades voltadas para o dia-a-dia da escola, como a emissão de certidões, acesso à legislação educacional, entre outras. Esse sistema trabalha com um banco de dados relacionais, alimentado pelas secretarias das escolas, que permite uma série de consultas e uma hierarquização do sistema, em que a escola tem acesso apenas aos seus dados, as Diretorias Regionais de Ensino têm acesso aos dados das escolas sob sua jurisdição e o nível central da Secretaria tem acesso a todos os dados.
Segundo um dos dirigentes da área pedagógica, os primeiros dados fornecidos pelo Sige causaram surpresa, pois indicavam que as escolas apresentavam resultados muito diferentes entre si, mesmo para aquelas próximas fisicamente e que possuíam as mesmas características e atendiam a uma clientela semelhante. Sua reação foi: «[...] a gente ficou perdido. Nós não temos parâmetros».
Esses dados passaram a ser discutidos em reuniões com os diretores das escolas e parecia que muitos deles estavam tomando contato com esses números pela primeira vez mostrando-se surpresos quando olhavam os resultados das suas escolas. Alguns deles chegaram a afirmar que os dados do sistema estariam errados, apesar de terem sido alimentados pelas secretarias de suas próprias escolas.
Esperava-se que essas reuniões desencadeassem no interior de cada escola ações que levassem a uma melhoria dos resultados. Essa esperança estava alicerçada na crença de que a apresentação dos resultados para o diretor da escola seria suficiente per se para modificá-los, como se o papel da Secretaria fosse somente indicar o problema, e que a solução dos problemas fossem de total responsabilidade da escola. Sobre esse tema, Ravela (2005) destaca que existe uma lógica que implica uma guerra de todos contra todos, na qual todos se desfazem da sua responsabilidade e a atribuem a outros. Assim, ao invés da busca de soluções negociadas que envolvam todos aqueles que têm responsabilidade com o problema, opta-se por responsabilizar o outro, eximindo-se da sua responsabilidade para com a solução do problema.
Com relação à forma como os coordenadores estavam utilizando as informações geradas pelo Sige, um deles afirmou que essas informações não estavam sendo levadas muito em consideração por sua equipe, pois as ações práticas que desenvolviam eram mais importantes do que discutir números. Outro coordenador relatou que também não faz muito uso daqueles dados, pois «nós, e eu me incluo nisso, não aprendemos a trabalhar com base em dados e eu acho que muitas vezes a gente trabalha muito na intuição». Esse coordenador credita isso a uma concepção ingênua da educação, pois o professor prefere muito mais «continuar tocando o seu dia-a-dia ao invés de se debruçar sobre a sua prática».
Os relatos apresentados indicam claramente uma resistência aos dados gerados pelo Sige. Mesmo aqueles que utilizavam os dados do sistema, faziam-no como se a melhoria do desempenho dos alunos fosse um fim em si mesmo, sem atentar para os fatores escolares que poderiam estar por trás desse desempenho. Além disso, como o principal dado fornecido pelo Sige é o relativo à taxa de reprovação dos alunos, e mais, que essa informação era a que balizava as reuniões com os diretores das escolas, depreende-se que, para os gestores da Secretaria, o principal indicador de qualidade da educação era essa taxa.
Resumir a qualidade da educação apenas à taxa de repetência não significa, necessariamente, que os alunos estejam tendo acesso a uma educação de qualidade, pois para isso uma série de outros fatores deve ser analisada. Por outro lado, esse dado pode contribuir para eliminar gradativamente a cultura de tomada de decisões sem o balizamento de informações concretas.
4. Difusão dos resultados produzidos pelo Saeb
A questão de como as informações produzidas pelo Saeb chegava à Secretaria e de como eram disseminados e utilizados era fundamental para a pesquisa.
Para um dos dirigentes ligados à área pedagógica, não cabe à sua área lidar com os dados do Saeb, pois isso é feito pela área de planejamento que tem uma equipe com a responsabilidade de «fazer a ponte com o Ministério da Educação», inteirar-se sobre os processos e informações e repassá-los a toda a estrutura da Secretaria. Apesar disso, surpreendentemente, esse dirigente afirmou que a maior parte das informações que possui sobre o Saeb é obtida através da imprensa.
O dirigente ligado à área de planejamento mostra-se totalmente inteirado sobre a organização do Saeb, sua estrutura e os relatórios elaborados pelo Inep. Com relação ao Saeb, o dirigente aponta que a atribuição da sua área era fornecer apoio para a realização da avaliação e a posterior disseminação dos seus resultados. Segundo esse dirigente, caberia à área pedagógica «estar fazendo a análise disso e propondo uma disseminação maior». É interessante a contradição, pois um dos dirigentes da área pedagógica relatou anteriormente que a disseminação dos resultados não fazia parte das atribuições da sua área. Novamente, tem-se a indicação de uma visão fragmentada e conflitante das atribuições de cada área.
Outro relato importante desse dirigente da área de planejamento é com relação a uma parte significativa das suas atribuições, relacionada às atividades demandadas pelo Inep: «o pessoal aqui brinca que eu sou mais funcionário do Inep, do que da Secretaria. Isso porque eu estou sempre mais envolvido com o Inep, por conta das avaliações». Esse trecho indica que o Inep vem demandando da Secretaria uma grande quantidade de atividades, a ponto de a organização destacar uma de suas equipes para atender a essas demandas. Com isso, o preceito constitucional de colaboração entre os entes federados, que é impositivo imperar na área educacional, fica restrito, nesse caso, a uma prestação de serviços de natureza meramente operacional.
Os coordenadores pedagógicos, por sua vez, tomaram conhecimento dos resultados do Saeb durante reuniões comandadas pelos dirigentes da Secretaria. Nessas reuniões foi distribuído um curto relatório elaborado pela Secretaria, destacando a posição relativa do Distrito Federal com relação aos Estados, sem que fosse feita nenhuma análise sobre os resultados alcançados.
Um fato relevante é que esses coordenadores apontaram que se utilizaram das informações publicadas pela mídia para melhor se informar sobre os resultados do Saeb. Isso pode indicar duas situações: ou as informações divulgadas pela imprensa chegam mais rapidamente a esse público que os relatórios produzidos pelo Inep, ou a linguagem utilizada pela imprensa é mais acessível do que aquela fornecida pelos relatórios oficiais. De qualquer forma, deve-se dedicar uma atenção especial à forma como o Inep divulga os resultados à imprensa, ao mesmo tempo em que a instituição deve providenciar informes específicos para atender às necessidades de informação de gestores e professores. Independente da fonte de informação insistiu-se em saber o que esses gestores sabiam sobre os resultados do Saeb, e quais os usos que faziam deles.
Os dois dirigentes ligados à área pedagógica, ao se referirem aos resultados do Saeb afirmaram que o Distrito Federal está em uma posição confortável, quando seus resultados são comparados com os dos Estados. Para ambos, o que mais chamou atenção na divulgação dos resultados foi a tabela que indicava a posição relativa de cada estado em relação aos demais e em relação à média brasileira. Esse fato indica que esses dirigentes, de alguma forma, sensibilizam-se com a divulgação dos resultados na forma de ranqueamento. As informações divulgadas na forma de ranqueamento é polêmica. Se de um lado omite diferenças importantes que permitiriam explicar resultados diferentes, permitem criar condições para avaliar as práticas desenvolvidas por escolas com estruturas semelhantes e que atendam uma população de nível socioeconômico também semelhante, mas que apresentam resultados díspares, um dos maiores problemas apontados pelo Saeb.
Ao se referir aos resultados, um dos dirigentes ligados à área pedagógica demonstra, primeiramente, uma vaga noção sobre os resultados do Distrito Federal e quais seus significados, revelando uma compreensão muito limitada da metodologia utilizada pelo Saeb, ao afirmar que «quando você vai esmiuçar os resultados, qual habilidade ele errou no Distrito Federal, são poucas. Eu não me lembro mais, se era na parte de oralidade. Não me lembro qual era, outro aspecto que elevava o Distrito Federal em relação aos demais».
Pode-se argumentar que, pelo fato de o relatório ter sido divulgado um ano depois da data da entrevista, o dirigente teve dificuldade de recordar os dados. Mesmo assim, era de se esperar que um gestor que ocupa uma posição estratégica na estrutura da Secretaria tivesse claro quais seriam os problemas que o Saeb apontou para o Distrito Federal, pois caberia principalmente à sua equipe estruturar as ações a fim de superá-los. Por outro lado, seu relato pode indicar que esse dirigente não considerava relevantes as informações do Saeb, ou ainda que tivesse dificuldades para compreendê-las. De qualquer forma, revela que o Saeb não estaria conseguindo cumprir seus objetivos, fornecendo subsídios para as políticas voltadas para a melhoria da qualidade, equidade e eficiência da educação no Brasil (Pestana, 1998).
De maneira geral, percebeu-se que o núcleo central da Secretaria tem pouco conhecimento sobre os resultados do Saeb. Foi possível perceber que seus resultados não são discutidos detalhadamente. Existem três hipóteses para isso. Uma delas estaria ligada ao fato de que o Relatório Nacional, documento destinado a apresentar os resultados da avaliação, não tenha uma linguagem adequada para esse público. Outra hipótese é a de que as diferentes interpretações que os relatórios nacionais deram aos resultados ao longo dos diversos ciclos da avaliação tenham criado dificuldades para a compreensão dos resultados da avaliação, conforme demonstrado em estudo anterior (Horta Neto, 2006a). A terceira estaria ligada à dificuldade da equipe dirigente da Secretaria em trabalhar com dados objetivos para desenvolver estratégias de ação. Todas parecem ser plausíveis e provavelmente se somaram. Assim sendo, os resultados do Saeb não estão se constituindo em indicadores capazes de apontar caminhos que permitam transformar qualitativamente os processos educacionais no interior da Secretaria de Educação do Distrito Federal.
Houve pouca variação nas respostas relativas aos resultados do Saeb 2003 quando os interlocutores foram os coordenadores.
Para um dos coordenadores, os resultados do Saeb pouco auxiliam no trabalho que a sua equipe desenvolve, pois quando são divulgados já foram definidas as ações a serem desenvolvidas. Além disso, revelou sua visão particular de que a avaliação ainda está muito concentrada nas mãos do governo federal:
[...] eu não sei muito bem o objetivo do Saeb, a não ser avaliar e fazer uma análise dessa avaliação. Mas eu acho que ele poderia ser mais útil no momento em que tivesse uma discussão mais localizada nos estados. Não fosse só no nível federal, fosse no nível estadual.
O relato denota a necessidade de que tanto a avaliação em si como seus resultados sejam mais bem debatidos, e que nesse processo as secretarias de educação tenham uma participação mais ativa.
Para outro coordenador, os resultados do Saeb são utilizados apenas como um pano de fundo nas reuniões com as escolas, e se limitam a mostrar a posição privilegiada em que se encontra o Distrito Federal em relação aos outros Estados, não alimentando discussões sobre a qualidade educacional. Afirmou também que se o diretor da escola sentir necessidade de mais informações deverá procurá-las por conta própria, já que dificilmente algum grupo da Secretaria teria como auxiliá-lo. Esse coordenador destacou ainda que «[...] se não tiver uma cobrança junto do governo federal, são poucas as pessoas que espontaneamente tomam alguma decisão. É porque o Saeb foi adotado mais pelo governo federal. As Secretarias só aplicam o teste».
Portanto, em sua opinião, o governo federal deve agir diretamente sobre os sistemas de ensino, o que contraria as competências da União definidas pela Constituição. Além disso, atribui-se a outra esfera de governo a necessidade de se encontrar soluções. Com isso, percebe-se que os interlocutores acreditam que as soluções dos problemas estejam fora do alcance e da responsabilidade do grupo gestor da Secretaria.
O terceiro coordenador comenta que sua equipe sentia dificuldade em trabalhar com os resultados do Saeb devido também à demora na sua divulgação. Além disso, esse coordenador acreditava que esse resultado não tinha nenhuma influência sobre a escola:
O Saeb é muito lento na divulgação dos resultados. [...] demora quase um ano para se saber o resultado parcial. E aí, aquela pompatoda, aquela cerimônia toda, para lançar o resultado total. E eu não vejo isso influenciando na escola, no dia a dia. Não vejo nem preocupação da escola com esses dados.
Outra questão que merece reflexão diz respeito à credibilidade dos dados apurados pelo Saeb. Esse coordenador relatou que quando era diretor de escola, recebeu os dados da avaliação do Distrito Federal e iniciou uma discussão com sua equipe. Afirmou que todos não acreditaram que o rendimento pudesse ter sido tão baixo, pois sua equipe havia considerado a prova muito elementar e que só poderia ter havido erros na sua correção. Outra hipótese levantada por esse coordenador é que, pelo fato de ter sido avaliada apenas uma amostra de escolas, os maus resultados deveriam ser creditados às outras escolas. Essa questão parece ser bastante séria e está ligada à forma como são compostos os testes respondidos pelos alunos. Como os testes são montados por diferentes blocos de itens com diferentes níveis de complexidade, de forma a testar o maior conjunto de habilidades possíveis, pode ser que o teste a que esse coordenador teve acesso fosse composto por itens de baixa complexidade. Além disso, como é necessário que alguns dos itens aplicados em um ciclo sejam reaplicados no ciclo seguinte, de forma a garantir a comparabilidade entre os diversos ciclos, os testes não podem ser divulgados ao público. Essas limitações de ordem técnica acabam alimentando desconfianças como essas, o que demonstra a necessidade de que esses detalhes técnicos sejam mais bem explicitados nos relatórios elaborados pelo Inep.
A pesquisa também consultou os entrevistados sobre o que consideravam positivo e negativo no processo do Saeb, com o objetivo de buscar levantar propostas que permitam aprimorar a avaliação.
Para um dos dirigentes é positiva a existência de um instrumento como o Saeb, pois, mesmo que a Secretaria quisesse, levaria tempo para organizar uma avaliação desse porte. Além disso, não teria em seus quadros, pessoal com competência técnica para assumir tal ação. Acredita-se, portanto, que a avaliação educacional seja um aspecto em que o regime de colaboração entre a União e os entes federados possa deixar de ser apenas um preceito constitucional para ser transformado em uma ação específica, reforçando ainda mais o papel que o Inep tem em todo esse processo.
Também foi apontada pelos dirigentes a necessidade de que os instrumentos utilizados na divulgação dos resultados sejam aprimorados para que possam ser mais bem compreendidos, assim como, para os coordenadores, deveria haver um maior envolvimento da Secretaria e dos seus professores na construção de avaliações como o Saeb. Um dos coordenadores sugeriu que as discussões aconteçam tanto após a realização das avaliações como durante sua preparação e que, nesse processo, sejam envolvidos todos os professores, o que permitiria um crescimento profissional e uma troca de experiências muito grande.
5. Considerações finais
Esta pesquisa constituiu um esforço para compreender como a Secretaria de Educação do Distrito Federal utiliza as informações produzidas pelo Saeb para orientar o seu planejamento. Procurou-se identificar os principais entraves que deveriam ser superados, tanto pelo Inep, quanto pela Secretaria.
Os aspectos apontados nessa pesquisa permitem que seus resultados possam ser generalizados para diversos outros governos subnacionais, na medida em que o Distrito Federal possui uma posição de destaque com relação aos outros quando se leva em conta as condições socioeconômicas de sua população. Assim, é de se esperar que dificuldades semelhantes, ou até maiores, atinjam órgãos gestores de outros governos.
Primeiramente, chama a atenção o fato de o Saeb com seus vinte anos de existência e dez ciclos de realização ainda ter tanta dificuldade de influenciar nos caminhos da busca da qualidade da educação no Brasil. Um bom slogan para essa situação seria: Saeb, um ilustre desconhecido. É uma situação paradoxal: os gestores reconhecem a importância dessa avaliação e apoiam a sua realização, a legislação educacional a coloca em posição de destaque, mas seus resultados não influem nos processos desenhados pelas secretarias de educação.
Os dados apurados apontaram que, apesar da disposição dos gestores em utilizar os resultados do Saeb como um instrumento auxiliar nos processos de gestão, alguns fatores impedem que isto ocorra de forma eficaz. Esses fatores estão ligados tanto às dificuldades de com-preensão dos relatórios oficiais até às dificuldades da equipe gestora em organizar seu planejamento. É importante destacar que mesmo que a cultura do planejamento estivesse enraizada na Secretaria, esse fato não seria condição suficiente para que os resultados do Saeb fossem utilizados. A pesquisa apontou que essa avaliação é ainda cheia de mistérios e seus resultados precisam ser mais bem explicitados para que possam ser efetivamente utilizados em benefício da qualidade educacional. Assim, a divulgação dos resultados do Saeb é uma de suas etapas mais críticas. É necessário que os relatórios apontem não somente os resultados numéricos, mas que sejam disponibilizadas informações complementares que ofereçam uma visão mais clara sobre os problemas educacionais apontados pela avaliação e um conjunto de soluções possíveis para superá-los. É importante também considerar que os dados apurados não são suficientes, per se, para orientar a tomada de decisões. É necessário que cada sistema de ensino desenvolva pesquisas adicionais, contando com o suporte técnico do Inep e das universidades, para desenvolver estudos que permitam elucidar melhor aspectos apontados pelo Saeb.
A pesquisa também indicou que a imprensa tem um papel de destaque no momento da divulgação dos dados do Saeb, já que muitos gestores apontaram que é por meio dela que recebem informações sobre seus resultados. Normalmente, a maior preocupação dos meios de comunicação é destacar a posição relativa de um determinado sistema educacional em relação aos outros e ao Brasil como um todo. Sobre essa questão, recomenda-se ao Inep a iniciativa de fornecer à mídia instrumentos que possibilitem a compreensão de que o processo educacional é muito mais complexo do que galgar uma posição de destaque no ranking da avaliação. Para tanto, é imprescindível o desenvolvimento de informes detalhados e compreensíveis que destaquem as possibilidades e os limites de um processo de avaliação, e esclareçam os fatores educacionais que incidem sobre o desempenho dos alunos.
Utilizar os resultados de uma avaliação educacional requer um maior preparo das estruturas das secretarias de educação. Não basta apenas divulgar os resultados e esperar que apenas essa divulgação seja suficiente para que no próximo ciclo os resultados sejam melhores. Da mesma forma, de nada adianta ter acesso a um conjunto grande de informações e nada fazer para entendê-las melhor, para descobrir que situações refletem. E essas situações não estão necessariamente ligadas às atividades da escola. Podem estar ligadas a problemas estruturais da secretaria que impedem apoiar as escolas nas suas dificuldades.
As secretarias devem mudar o foco de sua atenção, dando maior valor às atividades estratégicas sem esquecer, é claro, as suas atividades operacionais. Deve haver pessoal com competência técnica capaz de analisar os dados fornecidos pela avaliação e a partir dessa análise propor estudos que permitam desvelar aspectos críticos que possam estar impactando um desenvolvimento mais consistente dos seus alunos. Identificados esses aspectos, as secretarias devem desenvolver, em conjunto com as escolas da sua rede, estratégias que possam transformar as situações apontadas como indesejadas. Essa forma de atuar deixa de ser um jogo de soma zero, onde os diversos atores jogam a culpa uns nos outros, e passa a acontecer uma atividade coordenada e de natureza colaborativa, onde os atores atuam em conjunto, cada um dentro das suas responsabilidades, com o objetivo de aprimorar a qualidade da educação oferecida à população.
Chama a atenção o fato de que nos últimos anos, 11 dos 27 Estados da federação, além de inúmeros municípios, terem iniciado e realizado com regularidade avaliações educacionais de seus sistemas de ensino. Todos eles permitem comparações com a escala do Saeb, pois utilizam itens pré-testados fornecidos pelo Inep para calibrar seus resultados. Nada faz crer que as dificuldades apontadas junto ao Saeb, não estejam se repetindo junto a essas outras avaliações. Poder-se-ia até argumentar que estaria havendo não a instalação de uma cultura da avaliação na educação brasileira, mas um boom da moda de se avaliar.
Apesar das inúmeras dificuldades aqui mencionadas, acredita-se que a avaliação externa realizada pelo Saeb, ou mesmo aquelas produzidas pelos sistemas de ensino, provêm uma série de informações úteis aos gestores, informações essas que possuem um potencial enorme para modificar a realidade educacional brasileira. Mas apenas realizá-las e divulgar seus resultados não é suficiente para isso.
Espera-se, portanto, que este trabalho se afirme como um esforço analítico adicional para a compreensão das avaliações externas, em especial do Saeb, tanto no que se refere à sua relevância para a melhoria do sistema educacional Brasileiro, quanto para o aprimoramento da utilização de seus resultados.
Bibliografia
Brasil (1996). Lei de Diretrizes e Bases da Educação Nacional. Disponível em: <http://www.planalto.gov.br/ccivil_03/Leis/L9394.htm> [consulta: março de 2010]. Brasil (2001). Lei 10.172/2001 que aprova o Plano Nacional de Educação. Disponível em: <http://www.planalto.gov.br/ccivil_03/Leis/LEIS_2001/L10172.htm> [consulta: março de 2010].
Dias Sobrinho, José (1995). «Avaliação institucional: instrumento da qualidade educativa», in Newton Balzan e José Dias Sobrinho (orgs.). Avaliação institucional: teoria e experiências. São Paulo: Cortez.
Horta Neto, João Luiz (2006a). «Um estudo sobre os relatórios nacionais utilizados para divulgar os resultados do Saeb entre 1990 e 2003». Anais do III Congresso Internacional em Avaliação Educacional. Fortaleza: Imprensa Universitária, pp. 178-193.
— (2006b). Avaliação Externa: a utilização dos resultados do Saeb 2003 na gestão do sistema público de ensino fundamental do Distrito Federal. Dissertação de Mestrado. Brasília: UnB, 2006. Disponível em: <http://www.dominiopublico.gov.br/download/texto/cp013624.pdf> [consulta: março de 2010].
— (2007). «Um olhar retrospectivo sobre a avaliação externa no Brasil: das primeiras medições em educação até o Saeb de 2005», in Revista Iberoamericana de Educación n.º 42/5. Disponível em: <http://www.rieoei.org/deloslectores/1533Horta.pdf> [consulta: março de 2010].
Pestana, Maria Inês (1998). «O sistema de avaliação brasileiro», in rbep. Brasília, vol. 79, nº. 191, pp. 65-73.
Ravela, Pedro (2005). Para comprender las evaluaciones educativas: fichas didácticas. Santiago do Chile: preal.
1 A Conferência Nacional de Educação, que aconteceu em abril de 2010, encaminhará subsídios ao Congresso Nacional para a elaboração de um novo Plano Nacional de Educação, com vigência entre 2011 e 2020. Como preparativo para essa conferência, durante 2009 ocorreram 1891 conferências municipais ou intermunicipais, 27 estaduais e 337 conferências livres, mobilizando cerca de três milhões de pessoas.
2 A partir de 2005, ocorre uma mudança no Saeb que passa a ter dois instrumentos: a Avaliação Nacional da Educação Básica, Aneb, com característica amostral, conforme o desenho do Saeb original, com o objetivo de garantir o acompanhamento da série iniciada em fins da década de 1980 e a Prova Brasil, de caráter quase censitário, que avalia as escolas públicas urbanas com mais de 20 alunos. Acredita-se que essa modificação na abrangência das escolas pesquisadas não seria razão para invalidar os resultados dessa pesquisa, na medida em que se buscou analisar a influência dos resultados de uma forma geral nas atividades de gestão da Secretaria.
|
