O que um único neurônio pode fazer?
A primeira noção de neurônio artificial é de um paper de 1943, por dois pesquisadores: Warren McCulloch e Walter Pitts.
Imagine Walter Pitts como um pequeno gênio, nascido numa família severa, onde o seu pai odiava a escola e queria que ele trabalhasse. Imagine Pitts escondido na biblioteca pública à noite, lendo o Principia Mathematica de Bertrand Russell (um dos maiores matemáticos de todos os tempos) e sonhando em desvendar o mundo.
Walter Pitts (note a testa do sujeito)
Não conseguindo resistir à tentação, coloco aqui uma imagem do Líder, da revista Incrível Hulk.
O Líder
Anos depois, Pitts encontra Warren McCulloch, um neurofisiologista muito mais velho e já respeitado. McCulloch explica que quer modelar o cérebro de uma maneira lógica, da forma como os neurônios do cérebro funcionam. Isso tudo em analogia com o modelo de computador de Alan Turing, a Principia Mathematica, e assim vai. Algumas horas depois, fica evidente que Pitts é a pessoa certa para fazer a formulação matemática do problema.
Warren McCulloch
Impressionado pela genialidade de Pitts, McCulloch o “adota”. Pitts passa a morar na casa de McCulloch, e eles trabalham juntos todas as noites, após a família de McCulloch ir para a cama. O brilhante, respeitado, velho cientista e o fugitivo de casa, desempregado, sem ensino médio, jovem gênio.
Juntos, eles criam a primeira ideia de neurônio artificial, no paper “A logical calculus of the ideas immanent in nervous activity”, 1943.
O neurônio artificial é algo que recebe sinais como entrada, multiplica por um peso e compara o resultado contra um discriminante. Se é maior, a saída é um. Senão, é zero.
O neurônio de McCulloch-Pitts é binário, com poucos neurônios e sem técnica de retropropagação para fitar os pesos. Pitts mostrou que uma combinação desses neurônios pode emular as portas lógicas (ou, e, não) e, fazendo isto, fazer o mesmo cálculo que um computador digital. Na mesma época, os computadores digitais estavam sendo projetados pelo grande John von Neumann (outro gênio), o que significava que eles faziam todas as contas no braço.
Imagem do paper de 1943
Após este trabalho seminal, uma área completamente nova começou a florescer. Hoje, há retropropagação, múltiplas camadas, centenas de milhares de neurônios, várias funções de ativação, dropout, convolução, transferência de conhecimento, regularização… e muito, muito mais a vir.
Paper de 1943:
http://link.springer.com/article/10.1007%2FBF02478259
Este paper tem apenas três citações. Uma delas é o Principia Mathematica de Russell e Whitehead.
Apenas para finalizar esta nota histórica, a vida real não é um conto de fadas, de mendigo a príncipe. A vida de Pitts foi de mendigo a príncipe para mendigo de novo. Walter Pitts entrou em depressão após algumas decepções. Ele começou a beber pesadamente, se isolou cada vez mais de todos os outros, e morreu sozinho, na pobreza. Ele tinha 46 anos.
Fonte: revista Nautil.us.
http://nautil.us/issue/21/information/the-man-who-tried-to-redeem-the-
world-with-logicConclusão
Walter Pitts trabalhou numa biblioteca à noite, com lápis e papel. Fico me imaginando o que ele poderia fazer, se tivesse um computador digital e técnicas modernas como TensorFlow, Keras, GPU…
Um mundo inteiro foi construído a partir do neurônio de McCulloch-Pitts, e um mundo muito, muito maior está sendo construído. O mundo é grande!
Veja também:
Forgotten Lore - Ideias Técnicas com uma pitada de filosofia.