¿Cuáles son las funciones generales del software de recopilación de información?
1. Definición de reglas: al recopilar definiciones de reglas, puede buscar en todos los sitios web para recopilar casi cualquier tipo de información.
2. Multitarea, múltiples subprocesos: se pueden realizar múltiples tareas de recopilación de información al mismo tiempo y cada tarea puede utilizar múltiples subprocesos.
3. Guardado de datos: los datos se guardan automáticamente en la base de datos relacional mientras se recopilan y la estructura de datos se puede ajustar automáticamente. El software puede crear automáticamente una base de datos y sus tablas y campos según reglas de recopilación.
4. Inicio de sesión en el sitio web: admite el inicio de sesión en el sitio web.
5. Extracción inteligente de texto de página web: el texto se puede extraer de forma inteligente del código de la página web.
6. Reemplazo de resultados: puede reemplazar los resultados recopilados con contenido que defina según las reglas.
7. Descarga de archivos: los archivos binarios recopilados (como imágenes, música, software, documentos, etc.) se pueden descargar al disco local o a la base de datos de resultados de la recopilación.
8. Clasificación de los resultados de la recopilación: los resultados de la recopilación se pueden clasificar automáticamente según la información de clasificación definida por el usuario.
9. Publicación de datos: los datos de los resultados recopilados se pueden publicar en cualquier sistema de gestión de contenidos y base de datos designada a través de una interfaz definida por el usuario.
10. Filtrado condicional: puede decidir qué información guardar y qué información filtrar en función de determinadas condiciones.
11. Filtrar contenido duplicado: el software puede eliminar automáticamente contenido duplicado y sitios web duplicados según la configuración del usuario y las condiciones reales, etc.