¿Cuáles son las fuentes de los datos recopilados?
Estos cuatro tipos de fuentes de datos incluyen: fuentes de datos abiertas, rastreadores, sensores y colecciones de registros.
Las fuentes de datos abiertas suelen ser bases de datos específicas de la industria. A nivel nacional, Guizhou ha hecho muchos intentos audaces para construir plataformas en la nube y abrir volúmenes de datos en turismo, transporte, comercio y otros campos año tras año.
El rastreo de rastreadores generalmente se dirige a sitios web o aplicaciones específicos. Si desea rastrear datos específicos de un sitio web, como reseñas de compras en un sitio web de compras, debe realizar un rastreo específico.
La tercera fuente de datos son los sensores, que básicamente recopilan información física. Como la velocidad, el calor y la presión de una imagen, vídeo u objeto.
El último paso es la recopilación de registros, que cuenta las operaciones del usuario. Podemos ocultar puntos en el front-end, recopilar scripts estadísticos en el back-end y analizar el acceso al sitio web y los cuellos de botella en el uso.
Cómo utilizar fuentes de datos abiertas
Una es la dimensión unitaria, como gobiernos, empresas, universidades, la otra es la dimensión industrial, como transporte, finanzas, energía y otras; campos
Cómo utilizar el rastreo del rastreador
En el rastreador de Python, existen básicamente tres procesos.
1. Rastreando el contenido solicitado. Podemos utilizar la biblioteca de solicitudes para obtener información web. Se puede decir que la biblioteca de solicitudes es una herramienta poderosa para los rastreadores de Python, que es la biblioteca HTTP de Python. Es muy conveniente rastrear datos de páginas web a través de esta biblioteca, lo que nos puede ahorrar mucho tiempo.
2. Utilice XPath para analizar el contenido. XPath es la abreviatura de ruta XML y también es el lenguaje de ruta XML. Es un lenguaje utilizado para determinar la ubicación de una determinada parte en un documento XML, a menudo utilizado en el desarrollo como un pequeño lenguaje de consulta. XPath se puede indexar por elementos y atributos.
3. Utiliza pandas para guardar datos. Pandas es una estructura de datos avanzada que facilita el análisis de datos. Podemos usar pandas para guardar los datos capturados. Finalmente, escríbalo en una base de datos como XLS o MySQL a través de Pandas.
Solicitudes, XPath y Pandas son las tres herramientas principales de Python. Por supuesto, existen muchas herramientas poderosas para realizar rastreadores de Python, como Selenium, PhantomJS o el modo sin cabeza usando Puppteer.