Introducción Pruebas de Rendimiento

A lo largo que he estado en distintos foros de discusión, grupos de facebook, canales IRC, y hasta por mensaje privado me han preguntado que opinión tengo de alguna distro en específico, o cual distro es la mejor en aspectos de rendimiento, visual, utiidades, entre otras.

El hecho de que una distro sea considerada mejor que otra es un termino subjetivo sujeto a la intrepretación que cada sujeto, dependiendo de la interpretación que este le de a lo que crea que es mejor, o que mejor cubra sus necesidades.

En base a esto he considerado realizar unas pruebas de rendimiento, en las cuales se evaluarán el rendimiento de algunas distros en un mismo equipo, y usando distintos entornos de escritorio, se hace necesario el uso de distintos entornos de escritorio para realizar las comparaciones con la intención de estandarizar lo mayor posíble el ambiente de pruebas.

La evaluación de rendimiento de las distros se hará de manera indirecta, con el uso de un benchmark HTML5, más específicamente el Peacekeeper ofrecido por Futuremark, y este se ejecutará sobre la versión 57 del navegador Mozilla Firefox, esto se hace de esta manera para evaluar principalmente lo que respecta a la experiencia de usuario a traves de la evaluaciónd el rendimiento de un programa en específico bajo «las mismas condiciones» en distintas distros.

Descripción del equipo donde se ejecutarán las pruebas

Todas las pruebas de rendimiento se ejecutarán sobre el mismo equipo y con las mismas configuraciones de hardware y de BIOS, se usará un equipo todo en uno Hewlett Packard HP Omni 100-5116la:

• CPU: AMD Athlon II X2 260U 1.80GHz Dual core
• GPU: ATI Mobility Radeon Graphics HD 4200
• RAM: 1 módulo 4Gb DDR3 PC3-10600 1066MHz factor de forma SODIMM

Descripción del ambiente de pruebas

• Se evaluará la experiencia de usuario con Peacekeeper en Firefox 57 bajo distintos entornos de escritorio
• Se ejecutará una prueba de aceleración en 3D usando «glxgears» bajo la orden «vblank_mode=0» que permitirá deshabilitar el Vsync y ejecutará el test a máximo framerate, se esperará a que salgan por los menos 6 salidas, donde se omitirá la primera salida y se procederá a realizar un promedio entre las salidas 2,3,4,5,6. Esta prueba se ejecutará en el escritorio predeterminado/oficial de la distro, o en el escritorio que se considere mejor mantenido en caso de no tener un escritorio oficial.
• Estas pruebas se ejecutarán únicamente bajo 4 entornos de escritorio, el oficial de la distro, Plasma 4/5, Gnome Shell y XFCE 4, en caso de no tener un escritorio oficial o estar entre estos 3 últimos, únicamente se ejecutarán bajo estos.
• Se usarán distintas versiones de Windows únicamente como referencia, evaluando también el rendimiento de Firefox 57 y un port de glxgears para Windows.
• Se podría incluir algún sistema no Linux como FreeBSD, PacBSD, entre otros, en caso de ser posible se evaluarán bajo las mismas condiciones de las distros Linux, procurando habilitar la aceleración 3D.

¿Que distros se pondrán a prueba?

(Esta lista puede cambiar en el futuro)

Las distros consideradas dentro de las pruebas son las siguientes (todas con arquitectura AMD64 a.k.a. x86_64) :

• Debian 9 stretch
• Ubuntu 17.10
• Ubuntu 16.04 LTS
• Linux Mint 17.03
• Linux Mint 18.03
• Fedora 27
• openSUSE Tumbleweed
• openSUSE 42.3 Leap
• ArchLinux
• Gentoo*
• PCLinuxOS
• Canaima 5.1 Estable*
• Huayra GNU/Linux 3.3
• Linux Lite
• Mageia Linux
• Deepin OS*
• Chalet OS*
• Vine Linux*
• Trisquel
• PacBSD
• FreeBSD

Se eligieron estas distros debido a su amplia utilización, su gran popularidad y su alta compatibilidad con plataformas x86_64.

*Distros que han presentado problemas con la instalación y que no han podido ser probadas.

¿Como interpretar los resultados?

• En las pruebas realizadas en Peacekeeper se obtuvieron unos resultados que varían entre 2300 y 2700 puntos, con la sumatoria de todos los resultados obtenidos en todas las distros se realizará un promedio.
• En base al promedio se procederá a calcular cuanto una distro en específico se aleja de este promedio, ya sea de manera positiva (con más puntaje) o de manera negativa (con menos puntaje).
• Se hará algo similar con los FPS obtenidos con glxgears, se realizará un promedio y se definirá que tanto se aleja una distro en específico de este promedio.
• Para hacer las diferencias en las gráficas realmente significativas, se arrancará de un valor base de 2200 puntos.

Preguntas frecuentes

• ¿Por que peacekeeper?, ¿por que no usar Geekbench, Phoronix test suite, u otros?
  • Se eligió usar peacekeeper porque lo que se busca es evaluar la experiencia de usuario y el rendimiento de distintos componentes de la DISTRO, tales como librerías, estructura, Init, entre otros, más no del hardware, realizar pruebas de hardware en distintas distros no tendría sentido en tanto que el hardware sería el mismo, y los resultados se presupone que serían muy similares.
• ¿Por que usar un HP Omni 100?, ¿no sería mejor usar algo más moderno y rápido?
  • Se eligió este equipo en tanto que el hardware que lo compone cuenta con un soporte muy maduro y robusto por parte del kernel Linux y su procesador AMD Athlon II X2 260U con 2 núcleos a 1.8Ghz ofrece un rendimiento bastante decente sobre prácticamente cualquier distro.
• ¿En que condiciones están las distros a la hora de tomar las pruebas?
  • Se consideran las siguientes condiciones:
    • La distro se encuentra recientemente actualizada con la última paquetería ofrecida por los repositorios originales de la distro a la hora de la prueba
    • Todas las distros funcionan bajo arquitectura x86_64, en este sentido se descartan todas aquellas distros que no ofrezcan soporte para esta.
    • El computador se encuentra funcionando en las mismas condiciones ambientales (temperatura y voltaje) al momento de la prueba en todas las distros.
    • A la hora de tomar la prueba se encuentran cerrados todos los programas en primer plano a excepción del Firefox y abierta únicamente la pestaña del peacekeeper, en este sentido, si algún programa adicional aparece abierto en alguna captura de pantalla (eg. GIMP), este se habrá abierto despues de terminar la prueba y antes de tomar la captura de pantalla.
    • Todas las distros contarán con aceleración 3D.
    • Todas las distros contarán con el driver libre xf86-video-ati, excepto aquellas que incluyan un driver diferente de fabrica, en este caso no se sustituirá el driver. En caso de no tener driver de video definido (e.g. ArchLinux o Gentoo) se preferirá el uso de xf86-video-ati.

Dificultades encontradas:

Canaima Poder Público 5.1

• Error 28: no queda espacio en el dispositivo
  • Se hizo imposible la instalación de esta distro debido a este error encontrado, se descubrió que a pesar de indicarle muy claramente a la distro que instalase el sistema en la partición /dev/sda6, insiste en instalarse sobre el espacio del Live hasta agotarlo, punto donde salta este error.
  • Se desiste de instalar esta distro despues de múltiples intentos desde múltiples medios de instalación.

Gentoo GNU/linux

• La instalación de la distro se encuentra muy bien doocumentada, sin embargo, despues de 3 días con el PC hacíendo emerge sobre múltiples paquetes, estando en la tarea las 24 horas del día, finalmente se encontró con la imposibilidad de ejecutar X11 debido al error «could not start the display manager», y al error «can’t open display» de Xrandr.
• El autor de este artículo desiste de seguir perdiendo el tiempo con esta distro, no es por desprestigiarla, en lo personal me parece una EXCELENTE distro, pero en este caso por el exhaustivo proceso de instalación, y el complejo proceso de configuración para esta práctica no resulta rentable.
• Se propone el uso de Parabola Linux y un ArchLinux modificado usando openRC como sustitutos, debido a sus derivados como Clover OS, Sabayon o Slax tuvieron multiples fallos en el intento de instalación.

Vine Linux

• El instalador de la distro es incapaz de detectar el teclado del PC, tanto el inalámbrico original del PC como múltiples teclados USB.
• Se desiste de instalarla debido a la imposibilidad técnica que supone el hecho de que el teclado no funcione.

Deepin OS

• El instalador en este PC en específico es incapaz de iniciar, mostrando únicamente un cursor en forma de X sobre un fondo negro.
• Se desiste temporalmente de instalar esta distro, se proparán otros metodos para instalarla.

Chalet OS

• El instalador deja de responder y se cierra abruptamente a la mitad de la instalación.
• Se procede a comprobar la integridad de los medios de instalación, resultando exitosa
• Se procederá a descargar otra ISO, y usar otros medios de instalación.