Entre las organizaciones dedicadas a realizar este tipo de pruebas, avaladas por los investigadores, se encuentran:
A diferencia de los examinadores que no tienen vínculos con
la comunidad de investigación antivirus, las organizaciones
mencionadas generalmente reciben la confianza de esta última
(aunque no necesariamente de parte de todos sus miembros), para probar
las aplicaciones competentemente, de forma segura y ética,
y manteniendo su independencia.
Este estatus significa que a menudo
tienen acceso a muestras de virus, como aquellas recolectadas,
probadas y autenticadas por WildList International
Organization (Organización
internacional WildList, http://www.wildlist.org/),
un grupo de investigadores que colaboran en conjunto, representando
a la mayoría de los desarrolladores de aplicaciones antivirus
y varias organizaciones importantes e instituciones educativas.
La comunidad antivirus arguye que la mayoría de las pruebas realizadas por entidades que están fuera del grupo de los examinadores avalados por la industria de la seguridad, son potencialmente inválidas
o inapropiadas porque:
-
La competencia de los examinadores no puede asumirse, y, por lo
tanto, tampoco se puede asegurar que:
-
La metodología utilizada en las pruebas sea apropiada.
-
El cumplimiento de políticas de práctica segura, los códigos éticos y los estándares de la industria especializada.
A causa de estas cuestiones, los miembros de la comunidad de investigadores antivirus, no pueden compartir sus muestras con examinadores no confiables.
Por lo tanto, el origen y la autenticidad de las muestras con las que se prueban los productos, no puede asegurarse.
Los examinadores que no pueden acceder a los grupos de muestra
de la comunidad antivirus, frecuentemente tratan de sustituir
muestras tomadas por sitios de intercambio de virus, y otras fuentes
potencialmente dudosas, que podrían contener todo tipo de muestras
no virales: archivos basura, virus fallados (intendeds), muestras
corruptas y demás.
Algunas de estas muestras dudosas, podría
causar problemas si la organización examinadora distribuye
las pruebas a una organización
aceptada.
Por ejemplo, AV-Test realiza
varios tipos de exámenes para distintas publicaciones de revisión
de aplicaciones.
Curiosamente, estas dificultades han contribuido con una situación
donde los examinadores, preocupados por la eficacia de un determinado
analizador contra virus desconocidos, utilizaban heurística
para realizar sus pruebas mediante la generación de variantes,
aun antes de que la tecnología
adquiriera este nombre y sus capacidades del siglo XXI.
Desafortunadamente,
esto a menudo implicaba el uso de generadores de virus no confiables,
simuladores de virus irrelevantes, ubicación aleatoria o enmascaramiento
de código viral y cadenas de texto, y demás. [15]
Probar las capacidades heurísticas de un analizador es, por
supuesto, un objetivo perfectamente válido, especialmente ahora
que estos productos tienen esta característica.
Sin embargo,
es muy importante que este tipo de pruebas se lleven a cabo competentemente
y de modo seguro, tal como se hace con la detección
de virus conocidos.
Ante la ausencia de una base de conjuntos
de pruebas bien administrada, no hay garantías de que los
analizadores estén siendo probados con virus válidos
y activos.
Los examinadores cuya competencia aún es
cuestionable a causa de la falta de comunicación directa con
la comunidad de investigación antivirus, crean más
dificultades para ellos mismos y para quienes confían en sus
pruebas, si no publican información sobre su metodología
de evaluación, especialmente la validación
de las muestras.
Por validación, queremos decir que si el código examinado
es realmente malicioso, por ejemplo un virus, debe ser capaz
de multiplicarse, o si es un gusano, debe poder diseminarse correctamente.
Suele suceder que, cuando los examinadores realizan pruebas sin este
tipo de validación, más tarde se descubre que muchas
de las partes del código no eran maliciosas, sino archivos
dañados o legítimos
que no eran correctamente utilizados.
En un ejemplo reciente [16],
se sugirió indirectamente que el grupo encargado de realizar las pruebas, utilizó generadores de virus.
Esto, inmediatamente causó que los investigadores dudaran de la competencia de los examinadores, pues las herramientas de generación
de virus son muy poco confiables cuando se trata de producir virus
viables.
Como el grupo examinador no describió su metodología de evaluación con el debido detalle, no se supo cómo verificaba sus muestras de prueba, si es que lo hacía.
La posibilidad de que algunas, o todas las muestras sean no virales,
invalidan las pruebas de los analizadores antivirus, si estas
asumían
que las muestras eran virus.
Si este es el caso, la tasa de detección
más alta no implica necesariamente el mejor desempeño,
pues podría
incluir una gran cantidad de falsos positivos [15],
aun suponiendo que todos los analizadores probados hayan sido
consistentemente configurados.
La industria antivirus es reacia a aprobar la creación de
nuevo código
malicioso o viral, ni siquiera con al finalidad de realizar
pruebas.
Las razones son varias: la mayoría de los investigadores adhieren
a un riguroso código ético, se preocupan por las cuestiones
de seguridad cuando examinadores inexpertos manejan virus nuevos, piensan
en las dificultades de validación, y demás.
Además,
no es realmente necesario para nadie crear virus para evaluar la heurística.
Un “examen
retrospectivo” implica probar un
analizador que no ha sido actualizado por un cierto tiempo (generalmente
se elige un periodo de tres meses), con código malicioso validado
que ha aparecido después de la última actualización
realizada.
Esto asegura de modo razonable que se está probando
la capacidad heurística, no la detección de virus
conocidos mediante algoritmos específicos.
Una prueba de este
tipo no disminuye en absoluto la necesidad de realizar un examen
competente, pero evita las dificultades éticas y prácticas asociadas
con la creación de virus nuevos con fines evaluativos.
Sin embargo,
no elimina la obligación
de validar las muestras, o de construir cuidadosamente pruebas
serias.
La mayoría de los desarrolladores de aplicaciones antivirus
importantes ofrecen nuevas versiones diarias (o más frecuentes),
de modo que probar un analizador cuando lleva tres meses sin actualizarse
no dice mucho sobre sus capacidades de detección
actuales.
Un enfoque más interesante sería probar su
capacidad en distintos puntos, o evaluarlo con un virus específico
para determinar en qué momento ocurre la primera detección.
Claramente,
es útil notar que un analizador fue capaz de detectar código
malicioso antes de que su existencia fuera conocida.
Este
documento ha sido dividido en numerosas secciones para facilitar su lectura