Avaliar a eficácia de uma abordagem ou prática de inovação
flexM4I > abordagens e práticas > Avaliar a eficácia de uma abordagem ou prática de inovação (versão 2.0)
Autoria: Henrique Rozenfeld (roz@usp.br)
Conteúdo desta página
- 1 Atenção, antes de ler esta seção
- 2 Introdução
- 3 Ciências naturais, sociais e ciência do artificial
- 4 Alternativas de criação de artefatos para apoiar a inovação
- 4.1 Métodos de pesquisa na área de gestão
- 4.2 As teorias não são verificáveis - lógica hipotético-dedutiva
- 4.3 Se práticas de sucesso nas empresas ainda não foram sistematizadas? - estudo de caso exploratório ou descritivo
- 4.4 Se o artefato for criado durante a resolução de problemas? - pesquisa-ação
- 4.5 Se o artefato já existir? - estudo de caso comprobatório
- 4.6 Já existe uma amostra significativa de resultados da aplicação do artefato? - survey
- 4.7 E abordagens e metodologias mais práticas?
- 4.8 Frameworks para criação de artefatos conceituais
- 5 Como verificar ou validar minha abordagem?
- 6 Referências
Atenção, antes de ler esta seção
Este conteúdo pertence ao nível de detalhamento de treinamento e avançada.
A avaliação da eficácia de uma abordagem ou prática considerada nesta seção é do ponto de vista geral, ou seja, se a abordagem ou prática traz resultados em várias aplicações e tem, portanto, um potencial de resultar em ganhos para a sua empresa.
Esta seção não discute como você vai medir o resultado de uma aplicação específica na sua empresa. Para isso você tem de definir indicadores de desempenho da inovação e medir se a abordagem ou prática contribuiu para o resultado final, o que é muitas vezes complicado, pois vários fatores podem ter contribuído para um bom desempenho da inovação.
Dependendo dos fatores contextuais da sua empresa e o tipo de inovação, uma abordagem é mais apropriada do que outra.
Leia mais sobre isso em Fatores contextuais e tipos de inovação |
Uma forma qualitativa de medir a eficácia de uma abordagem ou prática em uma aplicação específica é perguntar para os envolvidos com a aplicação, se eles percebem que a aplicação da abordagem ou prática contribuiu para o resultado final, ou seja para o desempenho da inovação.
Por isso, esta seção é recomendada para pessoas interessadas em criar novas abordagens ou práticas ou para pessoas interessadas em implementar uma abordagem ou prática na empresa, que gostariam de saber quais os métodos usados para se avaliar a eficácia.
Introdução
Os significados dos dois termos do título desta seção estão no glossário (abordagem e prática), que mostram a articulação entre eles. Esses termos representam artefatos conceituais, ou seja, artefatos criados pelo ser humano que representam um conhecimento abstrato aplicável para se inovar. As práticas podem ser metodologias, processos, métodos, ferramentas, técnicas, modelos, instrumentos e outros artefatos semelhantes.
Consideramos teoria equivalente a abordagem (sim, teoria é mais formal, veja a definição de teoria no glossário). |
Na flexM4I definimos metodologia de inovação como um conjunto estruturado de métodos e ferramentas de inovação (ver as definições nos links)
Já metodologia de pesquisa é o estudo dos métodos de pesquisa
Nesta seção vamos usar o termo artefato conceitual para apoiar a inovação como uma generalização de teoria, abordagem e prática (metodologia, processo, modelo, método ou ferramenta de inovação). Para evitar a repetição da expressão “artefato conceitual para apoiar a inovação”, vamos usar a partir de agora somente o termo artefato.
Ciências naturais, sociais e ciência do artificial
Herbert Simon, em seu famoso livro “The Sciences of the Artificial” (SIMON, 1996), uma das bases teóricas do design e da inteligência artificial, propõe uma distinção entre o natural do artificial segundo quatro constatações:
- coisas artificiais são sintetizadas por seres humanos
- coisas artificiais podem imitar a aparência de coisas naturais, mas falta, em muitos aspectos, a realidade das coisas naturais
- coisas artificiais podem ser caracterizadas em termos de funções, objetivos e adaptação
- coisas artificiais são frequentemente apresentadas, principalmente se forem projetadas, em termos prescritivos, assim como descritivos
Veja a descrição deste livro e indicações de resenhas na linha de tempo sobre publicações sobre design e design thinking no ano de 1969.
O natural simplesmente existe e é, apesar do ser humano ainda não ter descoberto várias leis que regem o natural e, pior, estar destruindo a natureza, o que ameaça a existência humana.
Na perspectiva positivista, podemos dizer que existem ciências naturais, humanas e sociais; ou ciências exatas, biológicas, sociais e da natureza (existem outras categorizações). Alguns autores propõem que as ciências sociais são um subgrupo das humanas. Outros chamam de ciências sociais e humanas. Porém, é normal distinguir ciências humanas de ciências sociais aplicadas. As diversas disciplinas ou áreas de conhecimento existentes podem ser classificadas nessas categorias. Porém, não pretendemos fazer uma discussão sobre essas categorias. Nossa intenção é mostrar que os métodos científicos, tradicionalmente utilizados na área de gestão, vieram das ciências sociais aplicadas, às vezes com algum viés das ciências naturais. São métodos científicos com os objetivos de explorar ou descrever para entender a realidade empresarial (pense em todas as perspectivas da visão sistêmica), e pode evoluir ao ponto de predizer e estabelecer relações de causa e efeito.
Esses métodos visam então explicar como empresas de sucesso funcionam e quais as características que levaram essas empresas ao sucesso. Assim, se a nossa realidade for semelhante (o que raramente acontece), nós poderíamos, possivelmente, adotar as mesmas práticas para que a nossa empresa igualmente tenha esse sucesso.
A ciência do artificial (o próprio Simon comenta que o termo “artificial” pode ter um sentido pejorativo) é hoje considerada a ciência do design (ainda com a conotação positivista), similar à ciência da engenharia. O objetivo principal da ciência do design é criar artefatos que atinjam objetivos estabelecidos. Ela é complementar às ciências natural e social.
Alternativas de criação de artefatos para apoiar a inovação
Antes de apresentar como podemos avaliar a eficácia de um artefato, vamos mostrar alternativas para se propor um artefato para apoiar a inovação. A próxima figura baseia-se em um recorte das inúmeras alternativas de pesquisas científicas na área de gestão.
Na proposição de um artefato
- A partir da observação da realidade ou da vivência pessoal, um autor propõe um artefato (lógica indutiva)
- A partir da análise e síntese de publicações existentes, que armazenam parcialmente o conhecimento sobre inovação, um autor propõe um artefato (lógica indutiva), que é tratado como uma hipótese.
As duas etapas anteriores podem ser combinadas.
- A partir da teoria (artefato) e de princípios dessa teoria (ou abordagem), um autor deduz um novo artefato
- A partir do conhecimento coletivo e do seu repertório (como o de um designer), um autor propõe um artefato voltado para a resolução de problemas de uma categoria (lógica abdutiva)
- Este artefato (conceitual) para apoiar a inovação é considerado uma hipótese, ou seja, é uma proposta de abordagem ou prática (na flexM4i, uma prática pode ser uma metodologia, processo, método e ferramenta).
Na inovação (aplicação do artefato)
- O artefato (hipótese) é aplicado na resolução de problemas e desafios, aproveitamento de oportunidades, desenvolvimento de ideias.
De acordo com o caminho de aplicação da abordagem ou prática: – Se práticas de sucesso nas empresas ainda não foram sistematizadas? – estudo de caso exploratório ou descritivo – “Se o artefato for criado durante a resolução de problemas? – pesquisa-ação”. |
- Durante a criação da solução são formuladas hipóteses da solução
- A aplicação do artefato em um projeto de inovação resultou em uma solução obtida na forma de um protótipo, um MVP, uma prova de conceito, um produto ou serviço final, uma melhoria, uma transformação organizacional, uma campanha de marketing etc. Essa solução é analisada por meio de:
- uma verificação de parâmetros ou critérios,
- uma avaliação ou validação com usuário, clientes e/ou stakeholders.
As hipóteses de valor e de mercado da solução também são analisadas.
Essas últimas três etapas representam uma experimentação (teste). Além da avaliação da solução dos problemas (resultado da inovação) e das hipóteses da solução, o próprio artefato utilizado para se inovar é avaliado. Essa aplicação pode ser considerada um caso comprobatório da eficácia ou eficiência do artefato.
Leia mais no tópico “Se o artefato já existir? – estudo de caso comprobatório”. |
Chamamos essa avaliação de tentativa de falseamento do artefato (hipótese), ou seja, avaliamos se a aplicação do artefato atingiu os objetivos que nortearam o seu desenvolvimento.
Essa avaliação é detalhada no tópico “As teorias não são verificáveis > lógica hipotético-dedutiva”. |
Se os resultados da aplicação do artefato forem positivos, dizemos que corroboramos o artefato (hipótese). Em outras palavras, ele continua válido para ser aplicado em outras inovações. Não é uma validação ampla do artefato, mas até então, a aplicação do artefato continua trazendo resultados positivos e, portanto, consideramos o artefato útil, até que em uma aplicação ele não seja eficaz e/ou eficiente..
Se os resultados não forem satisfatórios, a causa pode estar:
- no entendimento do problema, raciocínio utilizado, hipóteses da solução, limites de criatividade ou cognitivos. Nesse caso podemos pivotar em um novo ciclo de inovação (iteração) usando ainda o mesmo artefato para apoiar a inovação.
- no próprio artefato para apoiar a inovação (teoria, abordagem, metodologia, modelo, método, ferramenta ou uma combinação deles). Nesse caso podemos abandonar o artefato e reportar esse conhecimento para a comunidade de interessados, ou tentar “consertar” o artefato.
- Quando existe uma grande quantidade de aplicações e, consequentemente, análises dos resultados, vários dados são acumulados, que podem ser analisados por meio de técnicas estatísticas. Essa validação é mais confiável.
Leia o tópico “Já existe uma amostra significativa de resultados da aplicação do artefato? – survey”. |
No caso de abordagens e metodologias mais práticas, somente depois de muitas aplicações podemos avaliar a eficácia e/ou eficiência do artefato.
Leia o tópico “E abordagens e metodologias mais práticas?”. |
Essa apresentação resumida e simplificada das alternativas de criação de artefatos foi introdutória e está incompleta, se considerarmos as diversas abordagens científicas existentes para se criar artefatos conceituais para apoiar a inovação, mesmo na área de gestão.
As alternativas de criação de artefatos apresentadas servem para enquadrar alguns métodos de pesquisas utilizados para se criar artefatos conceituais e, assim, mostrar formas de se avaliar a eficácia desses artefatos.
Existem frameworks para a criação de artefatos conceituais, que permitem que vários métodos de pesquisa e desenvolvimento sejam aplicados.
Uma descrição sucinta desses framework está no tópico “Frameworks para criação de artefatos conceituais”. A relação entre essas alternativas e alguns métodos de pesquisa está no último tópico desta seção: “Como verificar ou validar minha abordagem?”. |
Métodos de pesquisa na área de gestão
Indicamos o livro “Metodologia de pesquisas em engenharia de produção e gestão de operações”, organizado pelo Prof. Paulo Augusto Cauchick Miguel, como uma referência atual para quem estiver interessado em realizar pesquisas nessa área e conhecer os métodos mais usados (CAUCHICK MIGUEL, 2012).
Novamente não queremos polemizar quais são os termos mais apropriados. Os trabalhos existentes sobre metodologia de pesquisas usam vários termos para denominar os artefatos conceituais na área de pesquisa científica. Nós vamos utilizar os seguintes termos:
- natureza da pesquisa (o que caracteriza a pesquisa): qualitativa ou quantitativa
- lógica de pesquisa (modelo de raciocínio): indutiva, dedutiva, abdutiva, hipotético-dedutiva
- método de pesquisas (uma forma de se realizar alguma coisa sistematicamente): existem vários métodos, classificados de diversas maneiras. Mostraremos só os principais para o escopo desta seção. Alguns métodos podem incluir outros. Por exemplo, o estudo de caso inclui a revisão de literatura. A combinação de vários métodos é cada vez mais utilizada na área de gestão e criação de artefatos. Por este motivos surgiram os frameworks de pesquisa (último tópico desta seção)
- framework de pesquisa (estrutura conceitual que organiza elementos / práticas para resolver um problema): é uma estrutura que define um caminho lógico para se criar os artefatos, mas não define um método de pesquisa específico. O pesquisador cria uma combinação de métodos e os organiza dentro da estrutura conceitual do framework.
Após a introdução superficial sobre alternativas de criação de artefatos conceituais para apoiar a inovação, vamos apresentar uma lógica e três métodos de pesquisas científicas mais usados na área de gestão de operações para a criação de artefatos. Esses métodos incluem a etapa de avaliação (verificação ou validação):
- lógica hipotético-dedutiva
- estudo de caso
- pesquisa-ação
- survey
Existe outros de métodos de pesquisa que não vamos descrever aqui, tais como:
- revisão bibliográfica
- revisão sistemática de literatura
- grupo focal
- análise de conteúdo
- análise do discurso
- etnografia (será tratada como um dos métodos de inovação para se levantar evidências sobre fenômenos, para os quais procuramos identificar dores, problemas e oportunidades de inovação)
- experimentos
- quasi-experimentos
- modelagem e simulação
- grounded theory
Observe que:
- não pretendemos esgotar e citar todos métodos de pesquisa existentes. Nosso foco é mostrar os métodos mais utilizados na área de gestão com o objetivo de propor e avaliar a eficácia de artefatos conceituais para apoiar a inovação (teorias, abordagens, metodologias, métodos e ferramentas de inovação). Cada área de conhecimento possui métodos científicos próprios e consagrados.
- não estamos falando de métodos de avaliação da eficácia dos resultados de uma inovação (dos artefatos concretos criados).. Cada tecnologia utilizada para se criar artefatos concretos tem uma natureza distinta (tecnologia eletrônica, mecânica, material, ótica etc.) e exigem métodos adequados para serem avaliadas.
- não estamos falando também de métodos de validação de uma inovação (os artefatos concretos criados) do ponto de vista do usuário ou dos stakeholders
A flexM4I traz abordagens, metodologias, métodos e ferramentas de inovação consagradas e nem sempre validadas cientificamente, pois isso leva um tempo.
Você só deve se preocupar em validar se for criar uma nova abordagem, metodologia, método ou ferramenta, o que não ocorre com frequência
Se você estiver criando uma metodologia de pesquisa, é importante adotar uma combinação de métodos científicos por meio de um framework, como os que indicamos no tópico “frameworks para criação de artefatos conceituais”.
Na verdade, você deve procurar publicações mais completas e adotadas pela equipe de pesquisa, a qual você pertence. Lembre, o conteúdo desta seção é para a trilha avançada e, portanto, você deve ser um pesquisador.
Primeiro vamos ver a lógica que consideramos fundamental para avaliar os artefatos conceituais para apoiar a inovação.
As teorias não são verificáveis - lógica hipotético-dedutiva
Em 1935 Karl Popper escreveu um livro intitulado Logik der Forschung (a tradução literal seria “lógica da pesquisa”) em que criou um paradigma de pesquisa, que depois foi denominado de hipotético-dedutivo. Seu livro foi traduzido para o inglês em 1959 com o título “ The Logic of Scientific Discovery” (POPPER, 1959) e foi publicado no Brasil em 2004 com o título “A lógica da pesquisa científica” (POPPER, 2004).
Segundo a Enciclopédia Britânica, uma versão inicial do paradigma hipotético-dedutivo foi proposta por Christiaan Huygens, que viveu entre 1629 e 1695. Nessa época ele afirmava que as teorias são conjecturas destinadas a explicar um conjunto de dados observáveis. Essas hipóteses, no entanto, não podem ser estabelecidas de forma conclusiva até que as consequências, que logicamente decorrem delas, sejam verificadas por meio de observações e experimentos adicionais. O método trata a teoria como um sistema dedutivo, no qual fenômenos empíricos particulares são explicados relacionando-os a princípios e definições gerais. Veja que a proposta de Popper é chamada de lógica hipotético-dedutiva, mas ele mesmo não utilizou este termo. |
O título deste tópico foi retirado do livro do Popper, no início do capítulo 10, onde ele afirma que
“teorias não são verificáveis, mas elas podem ser corroboradas”.
Estendemos o entendimento de teorias para artefatos conceituais, conforme o escopo desta seção. Neste capítulo, Popper diz que normalmente tentamos mostrar que uma teoria é verdadeira ou falsa. A lógica indutiva diz, baseada na lógica da probabilidade, que uma teoria é mais ou menos provável de ser verdadeira ou não. Ele prefere avaliar a quais testes e experimentos as hipóteses “sobreviveram”. Então, podemos dizer que “até agora” as teorias se mostraram verdadeiras. Elas foram então corroboradas.
Na lógica hipotético-dedutiva de Popper, as teorias são hipóteses. Não podemos afirmar que uma teoria é verdadeira (e estendemos esse conceitos para todos os artefatos conceituais para apoiar a inovação) . Podemos provar que eles são falsos. Mesmo que tenhamos realizado um milhão de testes, pode surgir mais um que mostre que ele é falso.
Leia sobre a lógica do cisne negro, livro de Nassim Nicholas Taleb (TALEB, 2015). |
Basicamente a lógica hipotético-dedutiva tem os seguintes passos:
- Problema a ser resolvido ou limitações das teorias existentes
- Conjectura sobre possíveis soluções ou hipóteses, que sejam passíveis de teste. Essa conjectura pode surgir tanto da análise da literatura como de experiências, que mostraram uma indicação de uma possível solução para um problema recorrente
- Experimentação, teste ou observação para ver se consegue refutar e falsear a teoria.
- Se passar nos testes, a teoria (artefato conceitual) será corroborada provisoriamente (até agora)
- Se não passar nos testes, a teoria deve ser adaptada, melhorada ou abandonada, ou o problema deve ser reformulado.
Os autores de uma teoria, raramente a abandonam se ela se provou falsa em um teste. Eles procuram “consertar” a teoria.
Veja a figura do tópico inicial desta seção. Observe que “começamos” pelo fim para apresentar essa lógica. No momento da experimentação.
Apesar da maioria dos autores tratarem a lógica hipotético-dedutiva como um método, continuamos a denominar de lógica para contrapor a lógica indutiva, dedutiva e abdutiva.
Leia mais na flexM4i sobre os tipos de lógica dedutiva, indutiva e abdutiva, no tópico “Padrões de raciocínio do design thinking” dentro da seção sobre design thinking. Leia mais sobre a lógica hipotético-dedutiva neste post introdutório sobre o tema. Alguns livros sobre metodologia científica apresentam essa lógica, como o da Marina Marconi e Eva Lakatos, com 12502 citações no Google Scholar em 02/05/2021 (MARCONI & LAKATOS, 1995). Ou consulte o livro do próprio Popper em português (POPPER, 2004), que é um livro denso. |
Se práticas de sucesso nas empresas ainda não foram sistematizadas? - estudo de caso exploratório ou descritivo
Atente que estamos tratando aqui da criação de artefatos e não de outras aplicações método de estudo de caso. Veja novamente a figura síntese da proposição de artefatos conceituais para apoiar a inovação.
Ao observar a realidade em várias empresas, o pesquisador pode detectar um padrão de ação e sistematizar como as pessoas inovam e propor um novo artefato que represente o fenômeno observado, ou seja, uma nova teoria, metodologia, método ou ferramenta.
O pesquisador pode observar fenômenos semelhantes em diversos casos, realizar a triangulação com outras fontes de evidência e com isso ter uma maior segurança da eficácia do artefato, caso consiga medir o sucesso da empresa e concluir que o sucesso foi consequência do uso do artefato (o que é muito difícil baseado em uma observação inicial, veja o tópico sobre survey). Porém, as conclusões de um caso ou mesmo de casos múltiplos são limitadas à realidade daquela situação.
O artefato pode então ser representado em um modelo conceitual (por exemplo). Ele é considerado uma hipótese (dentro da lógica hipotético-dedutiva). Esse artefato pode ser aplicado em outros casos de inovação. Neste ponto, já estamos falando da aplicação do método de estudo de caso com outro objetivo, o de avaliar a eficácia de artefatos conceituais (veja o tópico sobre estudo de caso comprobatório).
Leia mais sobre estudo de caso em: EISENHARDT, 1989; YIN, 2015; e CAUCHICK MIGUEL, 2012. Leia mais sobre triangulação em: ZAPPELLINI & FEUERSCHÜTTE, 2015. |
Se o artefato for criado durante a resolução de problemas? - pesquisa-ação
Veja novamente a figura síntese da proposição de artefatos conceituais para apoiar a inovação.
O artefato conceitual pode nascer a partir da resolução de um problema, por meio de uma pesquisa ação, ou seja, durante a resolução (ação) de um problema. Para diferenciar de uma consultoria, precisamos empregar técnicas apropriadas de registro de resultados e análise. Uma consultoria aplica esquemas já estabelecidos anteriormente para aumentar a eficácia do seu trabalho. Ela não se preocupa com a sistematização de novos conhecimentos. Lógico que as lições aprendidas farão parte dos repertórios dos consultores, que podem aprimorar a abordagem, metodologia ou métodos aplicados. Mas não existe a intenção de se divulgar os princípios utilizados para compartilhamento de conhecimentos.
Também consideramos o artefato conceitual resultante da pesquisa-ação uma hipótese. O artefato vai sendo criado e ajustado durante a aplicação. Se os resultados da inovação forem satisfatórios, consideramos, na lógica hipotético-dedutiva, que o artefato foi corroborado, ou seja, teve uma “validação provisória”. Observe a figura novamente.
As próximas aplicações podem ser realizadas por meio de estudos de caso, com o objetivo de se avaliar o artefato (próximo tópico). Se ainda se considerar que o artefato não está finalizado, uma nova pesquisa-ação pode ser realizada. Durante este novo ciclo o artefato pode ser aprimorado.
Alguns autores consideram a simples aplicação de um artefato e o acompanhamento dessa aplicação pelo pesquisador como sendo uma pesquisa-ação. No nosso entendimento, o artefato resulta da pesquisa-ação, ele não está pronto antes da pesquisa. Pode até haver uma versão inicial e incompleta do artefato. O objetivo da pesquisa-ação é resolver o problema e ao mesmo tempo propor ou aperfeiçoar o artefato.
Leia mais sobre pesquisa-ação em: COUGHLAN & COGHLAN, 2002; e CAUCHICK MIGUEL, 2012. |
Se o artefato já existir? - estudo de caso comprobatório
Um artefato conceitual pode resultar das aplicações dos dois métodos descritos nos tópicos anteriores. Podemos então realizar estudos de casos para comprovar sua eficácia em mais um caso. É uma tentativa de refutar, ou falsear, essa hipótese, ou seja, o artefato (teoria, abordagem, metodologias, métodos e ferramentas de inovação). Em outras palavras, cada aplicação testa a “validade” do artefato. Enquanto o artefato não for contestado, ele permanece “válido”. Lógico que nesse processo os artefatos são aperfeiçoados. Quanto mais aplicações ocorrerem e casos de sucesso forem relatados, o artefato fica cada vez mais robusto.
Pode ser que o artefato já tenha sido difundido por meio de uma publicação de sucesso, por exemplo. Ele então pode estar sendo aplicado em várias empresas. Uma forma de avaliar a eficácia desse artefato é encontrar as empresas que o aplicam e realizar estudos de caso para observar quais os resultados que essas empresas estão tendo com o uso do artefato.
Medir a eficácia não é simples. Primeiramente precisamos saber se a empresa é de sucesso. Essa é uma condição mínima. Se for, podemos avaliar quais indicadores de desempenho comprovam o sucesso. Todavia, relacionar a aplicação do artefato com esses indicadores é muito difícil.
Uma forma indireta de se medir a eficácia é avaliar critérios subjetivos. Após a aplicação, perguntamos aos participantes, se eles consideram os resultados satisfatórios, de acordo com alguns critérios. Podemos medir também alguns resultados quantitativos que corroborem essa percepção, mas veja, é a percepção e não indicadores quantitativos. Os resultados satisfatórios, segundo a percepção dos participantes, são um indício que o artefato é bom (são operacionais, eficientes, são fáceis de usar, levam a resultados esperados), mas não podemos afirmar que ele foi validado. O artefato foi mais uma vez corroborado e não foi falseado.
Mais testes são necessários para que se possa fazer qualquer afirmação. Não se pode confirmar que a eficácia foi comprovada para aquele caso específico. O que se pode dizer é que os participantes tiveram a percepção subjetiva positiva e que a aplicação do artefato deu bons resultados. Isso já é um bom alento com relação à relevância e utilidade do artefato.
É assim que se inicia a proposição de novas abordagens.
Você pode realizar mais estudos de caso (e também estudos de casos múltiplos) e realizar a triangulação entre os resultados e outras fontes de evidências para tirar conclusões mais fundamentadas. Porém, não se consegue generalizar e afirmar que aquele artefato funcionaria em qualquer situação. As conclusões são sempre limitadas aos casos. Porém, quanto mais casos confirmarem as hipóteses, mais robustas elas se tornam.
Leia mais sobre isso em: EISENHARDT, 1989; LACERDA et al., 2013; YIN, 2015; e CAUCHICK MIGUEL, 2012. |
Já existe uma amostra significativa de resultados da aplicação do artefato? - survey
Uma forma de se validar é por meio de estudos quantitativos, como uma survey. Mais uma vez destacamos que estamos apresentando um recorte das metodologias de pesquisa para validação de artefatos conceituais. Existem outras aplicações de survey, que não estamos discutindo aqui.
Depois de estudar a teoria, os pesquisadores criam um modelo conceitual da pesquisa que define os conceitos, constructos, variáveis de entrada, de controle e moderadoras e resultados possíveis. Em seguida, eles definem quais são os critérios que mostram o que é uma empresa de sucesso. Devem conseguir uma amostra estatisticamente significativa de empresas que aplicam aquele artefato e, então, verificam se elas atendem aos critérios de sucesso ou não. Finalmente, devem conseguir um grupo de empresas de “controle” que não aplicaram aquele artefato e comparam os resultados. Se as empresas que aplicaram o artefato apresentarem um desempenho melhor (estatisticamente significativo) do que as do grupo de controle, eles podem validar o artefato. No entanto, precisam ser aplicadas técnicas estatísticas sofisticadas para se excluir outros possíveis fatores de influência no sucesso da empresa.
Você pode imaginar que para novos artefatos é difícil conseguir uma amostra que seja grande o suficiente para se aplicar as técnicas estatísticas. Também não é fácil definir as variáveis que influenciam os resultados. São tantos os fatores que influenciam a eficácia, que toda pesquisa desta natureza apresenta limitações. Porém, é assim que os conhecimentos em gestão avançam.
Leia mais sobre isso em: FORZA, 2002; e CAUCHICK MIGUEL, 2012. |
E abordagens e metodologias mais práticas?
Até agora falamos dos artefatos conceituais para apoiar a inovação como generalização de teorias, abordagens, metodologias, métodos e ferramentas de inovação. Vamos nos concentrar agora em abordagens e metodologias de inovação.
Recorde o que é o raciocínio abdutivo do design thinking (dentro do tópico “padrões de raciocínio do design thinking”). |
Algumas abordagens surgem durante experiências pessoais (do autor) na resolução de um problema e na criação de uma inovação. Muitas vezes sem os pressupostos metodológicos que apresentamos anteriormente. Seus autores publicam os resultados e ela vira a abordagem do momento. No fundo, ela também se torna uma hipótese, de acordo com a lógica hipotética-dedutiva. Se ela for inovadora, quebrando paradigmas, e os resultados forem surpreendentes, muitas outras empresas irão aplicá-la (tentativa de refutar ou falsear) sem o cuidado (ou as amarras) de técnicas de pesquisa científica. Conforme novos relatos de sucesso forem surgindo, ela vai se tornando mais robusta. Depois de um tempo, quando a quantidade de aplicações for significativa, alguém da academia pode realizar estudos de caso, ou mesmo pesquisas quantitativas (survey), e aí então a abordagem é considerada validada.
Veja o exemplo da abordagem lean startup, que é um sucesso (RIES, 2011). É o livro mais recomendado de empreendedorismo e criação de startups. Existem várias críticas sobre essa abordagem e muito mais publicações confrontando essas críticas. Um post, que consideramos equilibrado sobre este assunto, mostra como o lean startup pode ser considerado uma abordagem válida, segundo a lógica hipotético-dedutiva (PRZEM, 2017).
Frameworks para criação de artefatos conceituais
No glossário você pode consultar a definição de framework:: uma estrutura conceitual que organiza elementos / práticas para resolver um problema. Consideramos framework como sendo uma estrutura que define um caminho lógico para se criar um artefato conceitual para apoiar a inovação, mas não define um método de pesquisa específico. O pesquisador cria uma combinação de métodos e os organiza dentro da estrutura conceitual do framework.
Vamos apresentar superficialmente três frameworks:
- DSR: design science research (LACERDA et al., 2013)
- DRM: design research methodology (BLESSING & CHAKRABARTI, 2009)
- Process approach ou Cambridge approach (CAUCHICK MIGUEL, 2012).
DSR: design science research
O DSR é considerado um método de pesquisa pelos autores (DRESH et al., 2015), a DRM uma metodologia e o Process approach uma abordagem e um método. Continuaremos a denominar os três como framework.
O DSR é um framework para desenvolver soluções prescritivas por meio da proposição de artefatos. Artefatos podem ser construtos, modelos e métodos (MARCH & SMITH, 1995). Esses artefatos devem ser propostos e avaliados para resolver o problema definido. Essa avaliação deve ter rigor suficiente para que as contribuições, utilidade, qualidade, eficácia e confiabilidade dos resultados possam ser evidenciadas.
Devido à quantidade de publicações, que indicam a aplicação do DSR em trabalhos científicos de desenvolvimento de software, pode parecer que não deve ser usado na criação e avaliação de outros artefatos. Porém, seus princípios são genéricos e servem para a criação de artefatos para a área de gestão.
Apesar do viés de tecnologia de informação dessa publicação, esses artefatos servem para outras áreas de conhecimento, como a de engenharia de produção (LACERDA et al., 2013).
DRM: design research methodology
O DRM não é uma metodologia de design, mas para apoiar a realização de pesquisas em design. O DRM foi criado para melhorar o processo de design propondo “suportes” para os designers. O termo “suporte” (do inglês “support”) é usado para denominar os possíveis meios, auxílios e medidas que podem ser usados para melhorar o processo de design, tais como estratégias, metodologias, procedimentos, métodos, técnicas, ferramentas de software, diretrizes, fontes de informação etc. (BLESSING & CHAKRABARTI, 2009). Em outras palavras, é o que chamamos aqui de artefatos conceituais para apoiar a inovação.
Apesar da DRM ter como objetivo inicial propor artefatos para designers, hoje em dia o significado de designer pode ir além do profissional de design.
Por exemplo, alguém pode criar um modelo de negócio (artefato conceitual resultante da inovação, não é um artefato conceitual para inovar) por meio de um método de BMI (business model innovation). Esse método de BMI é um artefato conceitual para apoiar a inovação. Essa pessoa pode ser considerada um “designer” de modelo de negócio. Por essa reflexão, temos a possibilidade de aplicar a DRM no desenvolvimento de artefatos para serem usados por outros profissionais, e não somente por designers.
Process approach ou Cambridge approach
Segundo os autores, “a abordagem por processo (process approach ou Cambridge process) é um método (sic!) para a concepção e o desenvolvimento de um processo, e não o processo resultante” (CAUCHICK MIGUEL, 2012).
Esse método visa operacionalizar propostas de processo, pois normalmente seus autores tratam somente da lógica, isto é, os passos a serem seguidos. Não falam como o processo deveria ser organizado e conduzido. Ele é focado para o desenvolvimento de estratégias de operações. Para isso, o Cambridge Approach utiliza um processo estruturado com instrumentos de coleta de dados, dinâmica e critérios de avaliação.
Nesses três frameworks podemos utilizar pesquisa-ação para propor artefatos conceituais, e estudos de caso para explorar ideias e avaliar os resultados, assim com outros métodos de avaliação (ver o próximo tópico). No entanto, na prática observamos que muitos trabalhos corroboram os artefatos propostos dentro da lógica hipotético-dedutiva.
Essa discussão foi bem superficial para você saber que existem esses frameworks. Para conhecer os principais conceitos e princípios desses frameworks, você deve consultar as referências bibliográficas indicadas.
Como verificar ou validar minha abordagem?
Não faz parte do escopo deste trabalho esgotar a discussão sobre metodologias científicas. Esse é um assunto extenso e existem muitas publicações sobre metodologia científicas. Como você está na trilha avançada, você deve ser um pesquisador. Portanto, adote a metodologia do seu grupo de pesquisa.
Veja a seguir a figura inicial desta seção com o posicionamento de alguns métodos citados. Observe que não posicionamos os frameworks, pois eles estruturam esses métodos em uma lógica que pode abranger toda a figura.
Nos tópicos desta seção, citamos algumas publicações que fazem parte do nosso repertório. Quando você for criar artefatos conceituais (como uma abordagem, metodologia, métodos e ferramentas de inovação), oriente-se por um framework mais abrangente, como o da DRM – design research methodology; ou o da DSR – design science methodology. Inclua os métodos de pesquisa mais apropriados para os seus objetivos.
Normalmente, nas publicações sobre metodologia científica existem indicações de como se verificar ou validar o artefato criado, dependendo do método adotado.
Nos métodos citados nesta seção, existem indicações de alguns métodos usados para validação. A própria aplicação de estudos de caso comprobatório ou surveys já constituem validações mais amplas, como ilustrado.
Segundo Venable et al., 2012, existem cinco diferentes propósitos para se avaliar um artefato:
- avaliação da utilidade e eficácia do artefato para atingir o resultado esperado em um ambiente real
- avaliação do conhecimento formalizado sobre o artefato
- avaliação do artefato ou conhecimento formalizado em comparação com outros artefatos para atingir resultados similares
- avaliação dos efeitos colaterais e indesejáveis do artefato e conhecimento formalizado
- avaliação do artefato em desenvolvimento para determinar oportunidades de melhoria
Apesar de ser uma publicação relacionada com a DSR (LACERDA et al., 2013), consideramos que esses propósitos fazem sentido para os artefatos considerados nesta seção. Essa publicação lista os seguintes métodos:
- pesquisa-ação
- grupo focal
- estudo de caso
- observação participativa
- etnografia
- fenomenologia
- survey
- prova matemática ou lógica
- avaliação baseada em critérios
- simulação computacional
- experimentos
- simulação role playing
- experimento em campo
Nosso pressuposto, nesta seção, é que você é um leitor do nível de detalhamento avançado e que tenha o objetivo de criar um novo artefato conceitual para apoiar a inovação (abordagem, metodologia, método ou ferramenta). Caso você ainda não tenha definido um método de pesquisa, consulte as fontes que citamos ou procure publicações especializadas sobre metodologias de pesquisa.
Você pode usar os conhecimentos indicados nesta seção para avaliar a eficácia da sua proposta
Referências
.BLESSING, L. T., & CHAKRABARTI, A. . (2009). DRM: A design reseach methodology (pp. 13-42). Springer London.
CAUCHICK MIGUEL, P. A.(organizador) (2012). Metodologia de pesquisa em engenharia de produção e gestão de operações. Rio de Janeiro: Campus
COUGHLAN, P., & COGHLAN, D., (2002). Action research for operations management. International Journal of Operations & Production Management, 22(1995), 220–240. https://doi.org/10.1108/01443570210417515
DRESH, A., LACERDA, D.P., & ANTUNES Jr., J.A.V. (2015). Design science research: A method for science and technology advanced. Switzerland: Springer Cham Heidelberg. DOI 10.1007/978-3-319-07374-3
EISENHARDT, K. M. (1989). Building Theories from Case Study Research Published by : Academy of Management Stable URL : http://www.jstor.org/stable/258557 Linked references are available on JSTOR for this article : Building Theories from Case Study Research. 14(4), 532–550.
FORZA, C. (2002), “Survey research in operations management: a process‐based perspective”, International Journal of Operations & Production Management, Vol. 22 No. 2, pp. 152-194. https://doi.org/10.1108/01443570210414310
LACERDA, D. P., DRESCH, A., PROENÇA, A., & ANTUNES JÚNIOR, J. A. V. (2013). Design Science Research: Método de pesquisa para a engenharia de produção. Gestao e Producao, 20(4), 741–761. https://doi.org/10.1590/S0104-530X2013005000014
MARCH, S., & SMITH, G. (1995). Design and natural science research on information technology. Decision Support Systems, 15, 251–266. https://doi.org/10.1016/0167-9236(94)00041-2
MARCONI, M. D. A., & LAKATOS, E. M. (2003). Fundamentos de metodologia científica. 5. ed.-São Paulo: Atlas.
POPPER, K. (1959). The logic of scientific discovery. Routledge.
POPPER, K. R. (2004). A lógica da pesquisa científica. Editora Cultrix.
PRZEM. (2017). The Lean Startup * FINALLY * Validated ! Is Eric Ries ’ Method A Scam ? Web. Disponível em: https://www.growly.io/the-lean-startup-finally-validated-is-eric-ries-method-a-scam/ Acesso em: 03/05/2021
RIES, E. (2011). The lean startup. New York: Crown Business, 27.
SIMON, H. A. (1996). The sciences of the artificial. MIT press.
TALEB, N. N. (2015). A lógica do cisne negro: o impacto do altamente improvável. Editora Best Seller.
VENABLE, J., PRIES-HEJE, J., & BASKERVILLE, R. (2012). A Comprehensive Framework for Evaluation in Design Science. Design Science Research in Information Systems. Advances in Theory and Practice Lecture Notes in Computer Science, 7286(2012), 423–438.
YIN, R. K. (2015). Estudo de Caso-: Planejamento e métodos. Bookman editora.
ZAPPELLINI, M. B., & FEUERSCHÜTTE, S. G. (2015). O uso da Triangulação na pesquisa científica brasileira em administração. Administração: Ensino e Pesquisa, 16(2), 241. https://doi.org/10.13058/raep.2015.v16n2.238