Web Scraping em tempo real com Node.js

Veja o repositório completo no meu github

Web Scraping (ou Web Crawling) é designação que utilizamos para denominar a extração de dados de páginas html.

Mas de onde vamos extrair esses dados e como mostrá-los em tempo real?

Isso mesmo que você tá pensando pequeno gafanhoto, nós vamos extrair a hora atual do https://www.horariodebrasilia.org e pra isso é necessário algumas dependências:

Axios

npm i axios

Cheerio

npm i cheerio

Socket.io

npm i socket.io

Express

npm i express

Para começar é necessário criarmos um servidor com socket.io:

src/app.js

Agora vamos partir pro Web Scraping:

src/controllers/scraping.controller.js

💡 #relogio é o id do elemento onde tem o horário atual

Agora no app.js vamos importar o scraping.controller.js e enviar a hora a cada 1 segundo:

No client vamos importar o socket.io, se conectar com nosso servidor e renderizar o horário extraído:

O resultado: