Cross-Platform Benchmarks

[chiaki]

uff sparcstation 10:

Code:

TEST                : Iterations/sec.  : Old Index   : New Index
                    :                  : Pentium 90* : AMD K6/233*
--------------------:------------------:-------------:------------
NUMERIC SORT        :          26.476  :       0.68  :       0.22
STRING SORT         :         0.85543  :       0.38  :       0.06
BITFIELD            :      1.0359e+07  :       1.78  :       0.37
FP EMULATION        :          3.5338  :       1.70  :       0.39
FOURIER             :          595.67  :       0.68  :       0.38
ASSIGNMENT          :         0.24873  :       0.95  :       0.25
IDEA                :           57.09  :       0.87  :       0.26
HUFFMAN             :          39.345  :       1.09  :       0.35
NEURAL NET          :         0.38026  :       0.61  :       0.26
LU DECOMPOSITION    :          16.329  :       0.85  :       0.61
==========================ORIGINAL BYTEMARK RESULTS==========================
INTEGER INDEX       : 0.951
FLOATING-POINT INDEX: 0.705
Baseline (MSDOS*)   : Pentium* 90, 256 KB L2-cache, Watcom* compiler 10.0
==============================LINUX DATA BELOW===============================
CPU                 : 60Mhz TMS390Z55
L2 Cache            : 1MB
OS                  : SunOS 5.6
C compiler          : gcc 3
libc                :
MEMORY INDEX        : 0.175
INTEGER INDEX       : 0.298
FLOATING-POINT INDEX: 0.391
Baseline (LINUX)    : AMD K6/233*, 512 KB L2-cache, gcc 2.7.2.3, libc-5.4.38
* Trademarks are property of their respective holder.

[chiaki]

mitn 3er gcc und mtune=v8
auf ss10 60mhz wie oben

Code:

bash-4.1$ ./pi_css5_sparcV8
Calculation of PI using FFT and AGM, ver. LG1.1.2-MP1.5.2a.memsave

Usage: ./pi_css5_sparcV8 digits

Number of digits of pi to calculate?
1000000
initializing...
nfft= 262144
radix= 10000
error_margin= 0.00611182
calculating 1048576 digits of PI...
AGM iteration
precision= 48: 28.68 sec
precision= 80: 28.63 sec
precision= 176: 28.66 sec
precision= 352: 28.70 sec
precision= 688: 28.56 sec
precision= 1392: 28.22 sec
precision= 2784: 28.26 sec
precision= 5584: 28.23 sec
precision= 11168: 28.24 sec
precision= 22336: 28.21 sec
precision= 44688: 28.31 sec
precision= 89408: 28.29 sec
precision= 178816: 28.22 sec
precision= 357648: 28.30 sec
precision= 715312: 28.33 sec
precision= 1430640: 28.33 sec
writing pi1048576.txt...
530.68 sec. (real time)
Hit RETURN to exit.

[oreissig]

hab mal noch Java auf HP-UX installiert und mal die Quote Java vs. nativer Benchmark in diesem Fall ermittelt

zur erinnerung, der native Benchmark auf meiner 712/100:

oreissig schrieb:  diesmal meine HP 712 mit 100mhz PA-7100LC PA-RISC 1.1 CPU (32bit) [...]

Spoiler anzeigen

Zitat:# ./pi_css5.pa11 1000000
Calculation of PI using FFT and AGM, ver. LG1.1.2-MP1.5.2a.memsave
initializing...
nfft= 262144
radix= 10000
error_margin= 0.00611182
calculating 1048576 digits of PI...
AGM iteration
precision= 48: 15.11 sec
precision= 80: 15.13 sec
precision= 176: 15.20 sec
precision= 352: 15.22 sec
precision= 688: 15.13 sec
precision= 1392: 15.03 sec
precision= 2784: 15.03 sec
precision= 5584: 15.01 sec
precision= 11168: 15.01 sec
precision= 22336: 15.02 sec
precision= 44688: 15.02 sec
precision= 89408: 15.02 sec
precision= 178816: 15.03 sec
precision= 357648: 15.03 sec
precision= 715312: 15.06 sec
precision= 1430640: 15.05 sec
writing pi1048576.txt...
281.66 sec. (real time)

4min 41,7sec für HP-UX 11.11 auf der HP 712/100

habe mal bissl mit verschiedenen Java-Versionen rumgespielt, Java 1.2 (offiziell letzte version, wo eine 64bit PA-CPU nur empfohlen und nicht vorausgesetz war) war grottenlahm (pro iteration doppelte zeit wie mit Java (1.4) auf der SPARCclassic, hätte also wohl ~1,5h gedauert => abbruch), Java 1.3 war wesentlich (!) schneller, Java 1.4 fehlten irgendwelche Libs für 32bit und seit 1.5 gabs nur noch PA2.0 binaries

hier also das Ergebnis mit Java 1.3:

Spoiler anzeigen

Zitat:# /opt/java1.3/bin/java pi_fftcs 1000000
Calculation of PI using FFT and AGM, ver. LG1.1.2-MP1.5.2a.memsave
initializing...
nfft= 262144
radix= 10000
error_margin= 0.006111815498144324
calculating 1048576 digits of PI...
AGM iteration
precision= 48: 32.51 sec
precision= 80: 31.10 sec
precision= 176: 24.51 sec
precision= 352: 24.48 sec
precision= 688: 24.54 sec
precision= 1392: 24.33 sec
precision= 2784: 24.33 sec
precision= 5584: 24.29 sec
precision= 11168: 24.33 sec
precision= 22336: 24.48 sec
precision= 44688: 24.29 sec
precision= 89408: 24.34 sec
precision= 178816: 24.36 sec
precision= 357648: 24.36 sec
precision= 715312: 24.51 sec
precision= 1430640: 24.36 sec
writing pi1048576.txt
599.93 sec. (real time)

9min 59,93sec, Unter 10 Minuten!!!

[mrshadowtux]

oreissig schrieb:  hab mal noch Java auf HP-UX installiert und mal die Quote Java vs. nativer Benchmark in diesem Fall ermittelt

zur erinnerung, der native Benchmark auf meiner 712/100:

oreissig schrieb:  diesmal meine HP 712 mit 100mhz PA-7100LC PA-RISC 1.1 CPU (32bit) [...]

Spoiler anzeigen

Zitat:# ./pi_css5.pa11 1000000
Calculation of PI using FFT and AGM, ver. LG1.1.2-MP1.5.2a.memsave
initializing...
nfft= 262144
radix= 10000
error_margin= 0.00611182
calculating 1048576 digits of PI...
AGM iteration
precision= 48: 15.11 sec
precision= 80: 15.13 sec
precision= 176: 15.20 sec
precision= 352: 15.22 sec
precision= 688: 15.13 sec
precision= 1392: 15.03 sec
precision= 2784: 15.03 sec
precision= 5584: 15.01 sec
precision= 11168: 15.01 sec
precision= 22336: 15.02 sec
precision= 44688: 15.02 sec
precision= 89408: 15.02 sec
precision= 178816: 15.03 sec
precision= 357648: 15.03 sec
precision= 715312: 15.06 sec
precision= 1430640: 15.05 sec
writing pi1048576.txt...
281.66 sec. (real time)

4min 41,7sec für HP-UX 11.11 auf der HP 712/100

habe mal bissl mit verschiedenen Java-Versionen rumgespielt, Java 1.2 (offiziell letzte version, wo eine 64bit PA-CPU nur empfohlen und nicht vorausgesetz war) war grottenlahm (pro iteration doppelte zeit wie mit Java (1.4) auf der SPARCclassic, hätte also wohl ~1,5h gedauert => abbruch), Java 1.3 war wesentlich (!) schneller, Java 1.4 fehlten irgendwelche Libs für 32bit und seit 1.5 gabs nur noch PA2.0 binaries

hier also das Ergebnis mit Java 1.3:

Spoiler anzeigen

Zitat:# /opt/java1.3/bin/java pi_fftcs 1000000
Calculation of PI using FFT and AGM, ver. LG1.1.2-MP1.5.2a.memsave
initializing...
nfft= 262144
radix= 10000
error_margin= 0.006111815498144324
calculating 1048576 digits of PI...
AGM iteration
precision= 48: 32.51 sec
precision= 80: 31.10 sec
precision= 176: 24.51 sec
precision= 352: 24.48 sec
precision= 688: 24.54 sec
precision= 1392: 24.33 sec
precision= 2784: 24.33 sec
precision= 5584: 24.29 sec
precision= 11168: 24.33 sec
precision= 22336: 24.48 sec
precision= 44688: 24.29 sec
precision= 89408: 24.34 sec
precision= 178816: 24.36 sec
precision= 357648: 24.36 sec
precision= 715312: 24.51 sec
precision= 1430640: 24.36 sec
writing pi1048576.txt
599.93 sec. (real time)

9min 59,93sec, Unter 10 Minuten!!!

Da sieht man mal, was die verwendete Version von Java ausmacht

[oreissig]

so endlich mal nen vernünftigen Benchmark nativ gefahren

Code:

BYTEmark* Native Mode Benchmark ver. 2 (10/95)
Index-split by Andrew D. Balsa (11/97)
Linux/Unix* port by Uwe F. Mayer (12/96,11/97)

TEST                : Iterations/sec.  : Old Index   : New Index
                    :                  : Pentium 90* : AMD K6/233*
--------------------:------------------:-------------:------------
NUMERIC SORT        :          46.387  :       1.19  :       0.39
STRING SORT         :          4.0153  :       1.79  :       0.28
BITFIELD            :      1.2305e+07  :       2.11  :       0.44
FP EMULATION        :          9.1743  :       4.40  :       1.02
FOURIER             :          1444.3  :       1.64  :       0.92
ASSIGNMENT          :         0.64558  :       2.46  :       0.64
IDEA                :          78.278  :       1.20  :       0.36
HUFFMAN             :           77.64  :       2.15  :       0.69
NEURAL NET          :         0.95238  :       1.53  :       0.64
LU DECOMPOSITION    :          33.547  :       1.74  :       1.25
==========================ORIGINAL BYTEMARK RESULTS==========================
INTEGER INDEX       : 1.995
FLOATING-POINT INDEX: 1.635
Baseline (MSDOS*)   : Pentium* 90, 256 KB L2-cache, Watcom* compiler 10.0
==============================LINUX DATA BELOW===============================
CPU                 : [i]HP PA-7100LC 100MHz[/i]
L2 Cache            : [i]256kB[/i]
OS                  : HP-UX B.11.11
C compiler          : gcc version 4.4.3 (GCC)
libc                :
MEMORY INDEX        : 0.427
INTEGER INDEX       : 0.558
FLOATING-POINT INDEX: 0.907
Baseline (LINUX)    : AMD K6/233*, 512 KB L2-cache, gcc 2.7.2.3, libc-5.4.38
* Trademarks are property of their respective holder.

leider nur gcc, weil ich für den HP-Compiler keine Lizenz hab

zur referenz meine CFLAGS: -s -static -Wall -O3 -march=1.1 -mschedule=7100LC

[oreissig]

yay, mein HTC Desire Z mit dem nbench-port ausm google market:

Code:

BYTEmark* Native Mode Benchmark ver. 2 (10/95)
Index-split by Andrew D. Balsa (11/97)
Linux/Unix* port by Uwe F. Mayer (12/96,11/97)

TEST                : Iterations/sec.  : Old Index   : New Index
                    :                  : Pentium 90* : AMD K6/233*
--------------------:------------------:-------------:------------
NUMERIC SORT        :          255.01  :       6.54  :       2.15
STRING SORT         :          10.365  :       4.63  :       0.72
BITFIELD            :      8.5218e+07  :      14.62  :       3.05
FP EMULATION        :          30.465  :      14.62  :       3.37
FOURIER             :          2540.6  :       2.89  :       1.62
ASSIGNMENT          :          4.6127  :      17.55  :       4.55
IDEA                :           921.7  :      14.10  :       4.19
HUFFMAN             :          406.31  :      11.27  :       3.60
NEURAL NET          :         0.63024  :       1.01  :       0.43
LU DECOMPOSITION    :          15.731  :       0.81  :       0.59
==========================ORIGINAL BYTEMARK RESULTS==========================
INTEGER INDEX       : 10.880
FLOATING-POINT INDEX: 1.336
Baseline (MSDOS*)   : Pentium* 90, 256 KB L2-cache, Watcom* compiler 10.0
==============================LINUX DATA BELOW===============================
CPU                 : ARMv7 Processor rev 1 (v7l)
L2 Cache            : 0
OS                  : Linux version 2.6.32.21-g540976a (htc-kernel@and18-2) (gcc version 4.4.0 (GCC) ) #1 PREEMPT Wed Dec 1 13:30:31 CST 2010
C compiler          : arm-eabi-gcc (GCC) 4.4.0
libc                : Android Bionic libc
MEMORY INDEX        : 2.152
INTEGER INDEX       : 3.232
FLOATING-POINT INDEX: 0.741
Baseline (LINUX)    : AMD K6/233*, 512 KB L2-cache, gcc 2.7.2.3, libc-5.4.38
* Trademarks are property of their respective holder.

EDIT: Pi-Benchmark mit Speed Pi auf 1mio Stellen (wie überall hier im thread): 572ms

EDIT2: die kiste hat übrigens nen Qualcomm MSM 7230 SoC (Snapdragon CPU-Core) mit 800 MHz und 512MB RAM

[chiaki]

schnelle scheisse, aber FPU mässig immernoch plöd

[oreissig]

heute: SPARCstation IPC im Java-Benchmark pi_css5
zur Kiste: 25MHz SPARC V7, 48MB RAM, Solaris 7, Java 1.3

Spoiler anzeigen

Code:

# java pi_fftcs 1000000
Calculation of PI using FFT and AGM, ver. LG1.1.2-MP1.5.2a.memsave
initializing...
nfft= 262144
radix= 10000
error_margin= 0.006286438480884726
calculating 1048576 digits of PI...
AGM iteration
precision= 48: 237.07 sec
precision= 80: 235.67 sec
precision= 176: 234.60 sec
precision= 352: 236.63 sec
precision= 688: 235.13 sec
precision= 1392: 234.11 sec
precision= 2784: 227.93 sec
precision= 5584: 231.21 sec
precision= 11168: 226.82 sec
precision= 22336: 231.53 sec
precision= 44688: 230.08 sec
precision= 89408: 229.40 sec
precision= 178816: 235.56 sec
precision= 357648: 230.53 sec
precision= 715312: 233.21 sec
precision= 1430640: 230.16 sec
writing pi1048576.txt
5395.96 sec. (real time)

rekordverdächtige 89min 55,96sec
(zum Vergleich hier mal noch die SPARCclassic (50MHz microSPARC) im selben Benchmark (wobei die Java 1.4 benutzt, welches auf der IPC nicht lief))

nativer benchmark folgt...

[oreissig]

also gcc 3.4.6 will das pi_css5 bei mir nicht compilieren an der IPC, und Sun Compiler zu installieren dauert wieder over 9000 minuten, darauf hab ich jetz keine lust

stattdessen kommt nun meine Alpha Workstation zum Zug
667MHz 21264A CPU, 1GB RAM, DIGITAL Unix 4.0E, Java 1.3 (braucht offiziell 4.0F oder neuer, aber wenn man die versionschecks aus den setup-skripten einfach weglöscht, dann gehts )

Spoiler anzeigen

mit dem JIT von Sun

Code:

xp1000> java -classic pi_fftcs 1000000
Calculation of PI using FFT and AGM, ver. LG1.1.2-MP1.5.2a.memsave
initializing...
nfft= 262144
radix= 10000
error_margin= 0.006286438480884726
calculating 1048576 digits of PI...
AGM iteration
precision= 48: 3.78 sec
precision= 80: 3.77 sec
precision= 176: 3.80 sec
precision= 352: 3.80 sec
precision= 688: 3.78 sec
precision= 1392: 3.79 sec
precision= 2784: 3.78 sec
precision= 5584: 3.81 sec
precision= 11168: 3.79 sec
precision= 22336: 3.79 sec
precision= 44688: 3.78 sec
precision= 89408: 3.80 sec
precision= 178816: 3.79 sec
precision= 357648: 3.81 sec
precision= 715312: 3.76 sec
precision= 1430640: 3.78 sec
writing pi1048576.txt
87.15 sec. (real time)

Spoiler anzeigen

mit dem angepassten FastVM JIT von Compaq

Code:

xp1000> java pi_fftcs 1000000
Calculation of PI using FFT and AGM, ver. LG1.1.2-MP1.5.2a.memsave
initializing...
nfft= 262144
radix= 10000
error_margin= 0.006286438480884726
calculating 1048576 digits of PI...
AGM iteration
precision= 48: 2.61 sec
precision= 80: 2.60 sec
precision= 176: 2.60 sec
precision= 352: 2.60 sec
precision= 688: 2.60 sec
precision= 1392: 2.60 sec
precision= 2784: 2.60 sec
precision= 5584: 2.60 sec
precision= 11168: 2.60 sec
precision= 22336: 2.60 sec
precision= 44688: 2.61 sec
precision= 89408: 2.59 sec
precision= 178816: 2.60 sec
precision= 357648: 2.60 sec
precision= 715312: 2.60 sec
precision= 1430640: 2.59 sec
writing pi1048576.txt
50.04 sec. (real time)

50.04sec

jetzt noch nativ, compiliert mit dem beim OS beiliegenden compiler und CFLAGS=-fast -non_shared -tune=ev6

Spoiler anzeigen

Code:

xp1000> pi_css5 1000000
Calculation of PI using FFT and AGM, ver. LG1.1.2-MP1.5.2a.memsave
initializing...
nfft= 262144
radix= 10000
error_margin= 0.00611182
calculating 1048576 digits of PI...
AGM iteration
precision= 48: 1.98 sec
precision= 80: 1.97 sec
precision= 176: 1.97 sec
precision= 352: 1.98 sec
precision= 688: 1.98 sec
precision= 1392: 1.97 sec
precision= 2784: 1.97 sec
precision= 5584: 1.97 sec
precision= 11168: 1.97 sec
precision= 22336: 1.97 sec
precision= 44688: 1.97 sec
precision= 89408: 1.97 sec
precision= 178816: 1.98 sec
precision= 357648: 1.95 sec
precision= 715312: 1.97 sec
precision= 1430640: 1.98 sec
writing pi1048576.txt...
36.92 sec. (real time)

36.92sec

Das Ergebnis von Java im Vergleich zum nativen C-Code ist echt beachtlich in dem Fall!

EDIT: der vollständigkeit halber mal noch die nbench-ergebnisse von der Kiste

Spoiler anzeigen

Code:

BYTEmark* Native Mode Benchmark ver. 2 (10/95)
Index-split by Andrew D. Balsa (11/97)
Linux/Unix* port by Uwe F. Mayer (12/96,11/97)

TEST                : Iterations/sec.  : Old Index   : New Index
                    :                  : Pentium 90* : AMD K6/233*
--------------------:------------------:-------------:------------
NUMERIC SORT        :          495.17  :      12.70  :       4.17
STRING SORT         :           60.84  :      27.18  :       4.21
BITFIELD            :      1.0415e+08  :      17.87  :       3.73
FP EMULATION        :          14.712  :       7.06  :       1.63
FOURIER             :           11393  :      12.96  :       7.28
ASSIGNMENT          :          6.0593  :      23.06  :       5.98
IDEA                :          1294.2  :      19.79  :       5.88
HUFFMAN             :           569.4  :      15.79  :       5.04
NEURAL NET          :          10.406  :      16.72  :       7.03
LU DECOMPOSITION    :          366.59  :      18.99  :      13.71
==========================ORIGINAL BYTEMARK RESULTS==========================
INTEGER INDEX       : 16.361
FLOATING-POINT INDEX: 16.022
Baseline (MSDOS*)   : Pentium* 90, 256 KB L2-cache, Watcom* compiler 10.0
==============================LINUX DATA BELOW===============================
CPU                 : 667MHz 21264A
L2 Cache            : 4MB
OS                  : DIGITAL UNIX V4.0E
C compiler          : cc
libc                :
MEMORY INDEX        : 4.545
INTEGER INDEX       : 3.767
FLOATING-POINT INDEX: 8.887
Baseline (LINUX)    : AMD K6/233*, 512 KB L2-cache, gcc 2.7.2.3, libc-5.4.38
* Trademarks are property of their respective holder.

[oreissig]

jetz wirds spannend, ich hab Java auf meinem VMS installiert und darauf nun pi_css5 ausgeführt
(selbe kiste wie oben, nur diesmal OpenVMS 8.3 mit Java 1.5)

Spoiler anzeigen

Code:

$ java -version
java version "1.5.0"
Java(TM) 2 Runtime Environment, Standard Edition
Classic VM (build 1.5.0-7, 08/17/2010-11:13, native threads, jit)
$ java pi_fftcs 1000000
Calculation of PI using FFT and AGM, ver. LG1.1.2-MP1.5.2a.memsave
initializing...
nfft= 262144
radix= 10000
error_margin= 0.006286438480884726
calculating 1048576 digits of PI...
AGM iteration
precision= 48: 7.41 sec
precision= 80: 7.41 sec
precision= 176: 7.40 sec
precision= 352: 7.40 sec
precision= 688: 7.39 sec
precision= 1392: 7.39 sec
precision= 2784: 7.39 sec
precision= 5584: 7.39 sec
precision= 11168: 7.40 sec
precision= 22336: 7.40 sec
precision= 44688: 7.40 sec
precision= 89408: 7.40 sec
precision= 178816: 7.40 sec
precision= 357648: 7.38 sec
precision= 715312: 7.39 sec
precision= 1430640: 7.40 sec
writing pi1048576.txt
152.33 sec. (real time)

Code:

$ java -version
java version "1.5.0"
Java(TM) 2 Runtime Environment, Standard Edition
Fast VM (build 1.5.0-7, build J2SDK.v.1.5.0:08/17/2010-18:08, native threads, ji
t_150)
$ java pi_fftcs 1000000
Calculation of PI using FFT and AGM, ver. LG1.1.2-MP1.5.2a.memsave
initializing...
nfft= 262144
radix= 10000
error_margin= 0.006286438480884726
calculating 1048576 digits of PI...
AGM iteration
precision= 48: 2.91 sec
precision= 80: 2.90 sec
precision= 176: 2.90 sec
precision= 352: 2.90 sec
precision= 688: 2.90 sec
precision= 1392: 2.90 sec
precision= 2784: 2.91 sec
precision= 5584: 2.90 sec
precision= 11168: 2.90 sec
precision= 22336: 2.90 sec
precision= 44688: 2.90 sec
precision= 89408: 2.90 sec
precision= 178816: 2.90 sec
precision= 357648: 2.89 sec
precision= 715312: 2.89 sec
precision= 1430640: 2.90 sec
writing pi1048576.txt
55.75 sec. (real time)

Code:

$ dir

Directory SYS$SYSROOT:[SYSMGR.Freeware.pi_css5]

fftsg_h.class;1     fftsg_h.java;1      install.txt;1       Makefile.;1
pi1048576.txt;2     pi1048576.txt;1     pi_fftcs.class;1    pi_fftcs.java;1
readme.txt;1

Total of 9 files.

55,75sec

das ist nicht direkt mit dem DIGITAL Unix vorher vergleichbar, weil erstmal das OS knapp 10 Jahre jünger ist und hier auch Java 5 stat 1.3 läuft. die Fast VM ist also ein wenig langsamer, wohingegen der Sun JIT in dem falle richtig lahm ist und 3x so lang braucht.