Interventions to improve the use of systematic reviews in decision-making by health system managers, policy makers and clinicians

Publisher Website
Google Scholar
Abstract
Systematic reviews provide a transparent and robust summary of existing research. However, health system managers, national and local policy makers and healthcare professionals can face several obstacles when attempting to utilise this evidence. These include constraints operating within the health system, dealing with a large volume of research evidence and difficulties in adapting evidence from systematic reviews so that it is locally relevant. In an attempt to increase the use of systematic review evidence in decision-making a number of interventions have been developed. These include summaries of systematic review evidence that are designed to improve the accessibility of the findings of systematic reviews (often referred to as information products) and changes to organisational structures, such as employing specialist groups to synthesise the evidence to inform local decision-making. To identify and assess the effects of information products based on the findings of systematic review evidence and organisational supports and processes designed to support the uptake of systematic review evidence by health system managers, policy makers and healthcare professionals. We searched The Cochrane Library, MEDLINE, EMBASE, CINAHL, Web of Science, and Health Economic Evaluations Database. We also handsearched two journals (Implementation Science and Evidence and Policy), Cochrane Colloquium abstracts, websites of key organisations and reference lists of studies considered for inclusion. Searches were run from 1992 to March 2011 on all databases, an update search to March 2012 was run on MEDLINE only. Randomised controlled trials (RCTs), interrupted time-series (ITS) and controlled before-after studies (CBA) of interventions designed to aid the use of systematic reviews in healthcare decision-making were considered. Two review authors independently extracted the data and assessed the study quality. We extracted the median value across similar outcomes for each study and reported the range of values for each median value. We calculated the median of the two middlemost values if an even number of outcomes were reported. We included eight studies evaluating the effectiveness of different interventions designed to support the uptake of systematic review evidence. The overall quality of the evidence was very low to moderate. Two cluster RCTs evaluated the effectiveness of multifaceted interventions, which contained access to systematic reviews relevant to reproductive health, to change obstetric care; the high baseline performance in some of the key clinical indicators limited the findings of these studies. There were no statistically significant effects on clinical practice for all but one of the clinical indicators in selected obstetric units in Thailand (median effect size 4.2%, range -11.2% to 18.2%) and none in Mexico (median effect size 3.5%, range 0.1% to 19.0%). In the second cluster RCT there were no statistically significant differences in selected obstetric units in the UK (median effect RR 0.92; range RR 0.57 to RR 1.10). One RCT evaluated the perceived understanding and ease of use of summary of findings tables in Cochrane Reviews. The median effect of the differences in responses for the acceptability of including summary of findings tables in Cochrane Reviews versus not including them was 16%, range 1% to 28%. One RCT evaluated the effect of an analgesic league table, derived from systematic review evidence, and there was no statistically significant effect on self-reported pain. Only one RCT evaluated an organisational intervention (which included a knowledge broker, access to a repository of systematic reviews and provision of tailored messages), and reported no statistically significant difference in evidence informed programme planning. Three interrupted time series studies evaluated the dissemination of printed bulletins based on evidence from systematic reviews. A statistically significant reduction in the rates of surgery for glue ear in children under 10 years (mean annual decline of -10.1%; 95% CI -7.9 to -12.3) and in children under 15 years (quarterly reduction -0.044; 95% CI -0.080 to -0.011) was reported. The distribution to general practitioners of a bulletin on the treatment of depression was associated with a statistically significant lower prescribing rate each quarter than that predicted by the rates of prescribing observed before the distribution of the bulletin (8.2%; P = 0.005). Mass mailing a printed bulletin which summarises systematic review evidence may improve evidence-based practice when there is a single clear message, if the change is relatively simple to accomplish, and there is a growing awareness by users of the evidence that a change in practice is required. If the intention is to develop awareness and knowledge of systematic review evidence, and the skills for implementing this evidence, a multifaceted intervention that addresses each of these aims may be required, though there is insufficient evidence to support this approach. Interventions pour améliorer l'utilisation des revues systématiques dans la prise de décision par les responsables de santé, les décideurs politiques et les cliniciens Les revues systématiques fournissent un résumé transparent et solide d'une recherche existante. Cependant, les responsables de santé, les décideurs politiques nationaux et locaux, et le personnel de santé peuvent rencontrer plusieurs obstacles lorsqu'ils essayent d'utiliser ces preuves. Parmi ces obstacles, sont comprises les contraintes liées au fonctionnement du système de santé et au traitement d'un large volume de preuves de recherches, ainsi que les difficultés d'adaptation des preuves provenant des revues systématiques pour les rendre pertinentes selon le contexte. Dans une tentative d'augmenter l'utilisation des résultats de revues systématiques dans la prise de décision, un certain nombre d'interventions ont été développées. Ces interventions incluent des résumés de preuves de revues systématiques conçus pour améliorer l'accessibilité des résultats des revues systématiques (que l'on désigne souvent par produits d'information) et les changements apportés aux structures organisationnelles, telles que l'emploi de groupes de spécialistes pour synthétiser les preuves afin d'éclairer la prise de décision locale. Identifier et évaluer les effets des produits d'information basés sur les résultats des preuves de revues systématiques, et les supports et processus organisationnels conçus pour favoriser le recours aux preuves de revues systématiques par les responsables de santés, les décideurs politiques et le personnel médical. Nous avons effectué des recherches dans The Cochrane Library, MEDLINE, EMBASE, CINAHL, Web of Science et la base d'évaluation économique du NHS. Nous avons également effectué des recherches manuelles dans deux journaux (Implementation Science et Evidence and Policy), dans des extraits de Cochrane Colloquium, sur les sites Web des organisations clés et dans les bibliographies d'études pris en compte pour l'inclusion. Les recherches ont été effectuées de 1992 à mars 2011 sur toutes les bases de données, une mise à jour des recherches jusqu'à mars 2012 a été effectuée uniquement sur MEDLINE. Des essais contrôlés randomisés (ECR), des séries temporelles interrompues (STI) et des études contrôlées avant-après (CAA) sur les interventions conçues pour favoriser l'utilisation des revues systématiques dans la prise de décisions de santé ont été pris en compte. Deux auteurs de la revue extrait les données et évalué la qualité des études, de manière indépendante. Nous avons extrait la valeur médiane sur des résultats similaires pour chaque étude et signalé les plages de valeurs de chaque valeur médiane. Nous avons ensuite calculé la médiane des deux valeurs médianes lorsqu'un nombre pair de résultats était rapporté. Nous avons inclus huit études évaluant l'efficacité de différentes interventions conçues pour favoriser le recours aux preuves de revues systématiques. La qualité globale des preuves était très faible à modérée. Deux ECR en grappes ont évalué l'efficacité des interventions à multiples facettes, qui comprennent l'accès aux revues systématiques concernant la santé reproductive, pour modifier les soins obstétriques ; la performance initiale élevée dans certains des indicateurs cliniques clés a limité les résultats de ces études. Aucun effet statistiquement significatif n'a été observé sur la pratique clinique sauf pour un des indicateurs cliniques dans des unités obstétriques sélectionnées en Thaïlande (ampleur de l'effet médian 4,2 %, plage de -11,2 % à 18,2 %) et aucun au Mexique (ampleur de l'effet médian 3,5 %, plage de 0,1 % à 19,0 %). Dans le second ECR en grappes, aucune différence statistiquement significative n'a été rapportée dans les unités obstétriques sélectionnées au Royaume-Uni (effet médian RR 0,92 ; plage RR 0,57 à RR 1,10). Un ECR a évalué la compréhension perçue et la simplicité d'utilisation du résumé des tables de résultats dans les revues Cochrane. L'effet médian des différences au niveau des réponses pour l'acceptabilité d'inclure le résumé des tables de résultats dans les revues Cochrane versus ne pas les inclure était de 16 %, plage 1 % à 28 %. Un ECR a évalué l'effet d'un classement des analgésiques, dérivé de preuves de revues systématiques, et aucun effet statistiquement significatif n'a été observé sur la douleur signalée par le patient. Seul un ECR a évalué une intervention organisationnelle (qui inclut un courtier du savoir, l'accès à un référentiel des revues systématiques et une provision de messages personnalisés). Celui-ci n'a rapporté aucune différence statistiquement significative sur la planification de programmes de preuves éclairés. Trois études de séries temporelles interrompues ont évalué la diffusion de bulletins imprimés basés sur des preuves provenant de revues systématiques. Une diminution statistiquement significative des taux de chirurgie d'otite séreuse chez les enfants de moins de 10 ans (diminution annuelle moyenne de -10,1 % ; IC à 95 % -7,9 à -12,3) et chez les enfants de moins de 15 ans (diminution trimestrielle de -0,044 ; IC à 95 % -0,080 à -0,011) a été signalée. La diffusion d'un bulletin sur le traitement de la dépression chez les médecins généralistes a été associée à une diminution statistiquement significative du taux de prescription par trimestre par rapport aux estimations pour les taux de prescription observés avant la diffusion du bulletin (8,2 % ; P = 0,005). La diffusion en masse d'un bulletin imprimé résumant les preuves de revues systématiques pourrait améliorer la pratique basée sur les preuves si le message est clair, le changement est relativement simple à mettre en œuvre, et que les utilisateurs prennent de plus en plus conscience qu'un changement dans la pratique est nécessaire. Si l'intention est de développer la sensibilisation et la connaissance des preuves de revues systématiques, et les compétences nécessaires pour appliquer ces preuves, une intervention à multiples facettes pour répondre à chacun de ces objectifs peut être nécessaire, même si les preuves sont insuffisantes pour appuyer cette démarche. Intervenções para melhorar o uso de revisões sistemáticas na tomada de decisão por gestores de saúde, responsáveis por políticas públicas e profissionais de saúde As revisões sistemáticas fornecem um resumo transparente e importante das pesquisas existentes. No entanto, gestores do sistema de saúde, gestores nacionais e locais de políticas públicas e profissionais de saúde podem enfrentar vários obstáculos ao tentarem utilizar as evidências. Estas incluem, restrições operacionais no sistema de saúde, grande volume de evidências de pesquisa e, dificuldades na adaptação das evidências de revisões sistemáticas para que sejam localmente relevantes. Na tentativa de elevar o uso das evidências de revisão sistemática na tomada de decisão uma série de intervenções vêm sendo desenvolvidas. Estas incluem, resumos de evidências de revisão sistemática que são projetados para melhorar a acessibilidade dos resultados dessas revisões (muitas vezes referida como produtos de informação) e mudanças nas estruturas organizacionais, como o emprego grupos de especialistas para sintetizar as evidências, apoiando na tomada de decisão local. Identificar e avaliar os efeitos dos produtos de informação com base nos resultados de evidências de revisão sistemática, suportes organizacionais e processos projetados para apoiar a adoção de evidências de revisão sistemática por gestores do sistema de saúde, responsáveis por políticas públicas e profissionais de saúde. As buscas foram realizadas na the Cochrane Library,MEDLINE, EMBASE, CINAHL, Web of Science e na Health Economic Evaluations Database. Também foi realizada busca manual em dois jornais (Implementation Science e Evidence and Policy), resumos do Colóquio Cochrane, sites de organizações-chave e listas de referências dos estudos incluídos. As buscas foram realizadas de 1992 a Março de 2011 em todas as bases de dados, uma pesquisa de atualização em Março de 2012 foi realizada apenas no MEDLINE. Foram considerados ensaios clínicos randomizados (ECR), séries de casos temporais interruptas (STI) e estudos controlados antes e depois (ECAD) de intervenções destinadas a auxiliar o uso de revisões sistemáticas na tomada de decisão na área da saúde. Dois revisores extraíram independentemente os dados e avaliaram a qualidade dos estudos. Foi extraído o valor da mediana sobre os resultados semelhantes para cada estudo e relatada a variação de valores para cada valor da mediana. Foi calculada a mediana dos dois valores centrais, se relatados um igual número de resultados. Foram incluídos oito estudos que avaliaram a efetividade de diferentes intervenções destinadas a apoiar a adoção de evidências de revisão sistemática. A qualidade geral das evidências foi de muito baixa a moderada. Dois ECR do tipo cluster avaliaram a efetividade de intervenções multifacetadas, que continham o acesso a revisões sistemáticas relevantes à saúde reprodutiva para mudanças em cuidados obstétricos; o alto desempenho na medida de base em alguns dos principais indicadores clínicos limitaram os achados desses estudos. Nenhum estudo apresentou efeitos estatisticamente significantes à prática clínica, mas um dos indicadores clínicos em unidades obstétricas selecionadas na Tailândia (média do tamanho de efeito 4,2%, variação de -11,2% a 18,2%) e nenhum no México (média do tamanho de efeito 3,5%, variação de 0,1% a 19,0%). No segundo ECR do tipo cluster não foram encontradas diferenças estatisticamente significantes em unidades obstétricas selecionados no Reino Unido (efeito médio RR 0,92; variação RR 0,57 a RR 1.10). Um ECR avaliou a compreensão e facilidade no uso de resumos das tabelas de resultados de revisões Cochrane. O efeito médio de diferenças em respostas à aceitabilidade de incluir resumos das tabelas de resultados em Revisões Cochrane versus não incluí-los foi de 16%, variação de 1% a 28%. Um ECR avaliou o efeito de uma tabela de analgésicos, criada a partir de evidências de revisão sistemática, e não houve efeito estatisticamente significante na dor auto-relatada. Apenas um ECR avaliou uma intervenção organizacional (que incluiu um profissional agente de conhecimento, o acesso a um repositório de revisões sistemáticas e o fornecimento de mensagens personalizadas) e relataram não haver diferença estatisticamente significante no programa de planejamento de evidências informadas. Três estudos de séries de casos temporais interruptas avaliaram a disseminação de boletins impressos baseados em evidências de revisões sistemáticas. Foi relatada uma redução estatisticamente significante nas taxas de cirurgia para otite média com efusão em crianças menores de 10 anos (média de declínio anual de -10,1%; 95% Intervalo de Confiança (IC) -7,9 a -12,3) e em crianças menores de 15 anos (redução trimestral -0,044; 95% IC -0.080 a -0.011). A distribuição de um boletim a profissionais de clínica geral sobre o tratamento da depressão foi associada, com resultados estatisticamente significativos, a uma menor taxa de prescrição por trimestre do que o previsto pelas taxas de prescrição observadas antes da distribuição do boletim (8,2%; P = 0,005). O envio em massa de um boletim impresso com resumos de evidências de revisão sistemática pode melhorar a prática baseada em evidências, quando há uma única mensagem clara e se a mudança é relativamente simples de se realizar, e há uma crescente conscientização por usuários das evidências de que uma mudança na prática é necessária. Se a intenção é desenvolver a consciência e o conhecimento de evidências de revisão sistemática e habilidades de implementar essas evidências, uma intervenção multifacetada que aborda cada um desses objetivos pode ser necessária, entretanto há evidências insuficientes para apoiar essa abordagem. Traduzido por: Rodrigo Jensen, Unidade de Medicina Baseada em Evidências da Unesp, Brasil Contato: portuguese.ebm.unit@gmail.com