p align="left">C октября 1995 г. для оценки производительности процессоров, оперативной памяти и компиляторов был объявлен новый тестовый комплект, включающий SPECint95 для операций с данными целочисленного типа и SPECftp95 - для операций с данными вещественного типа. Эти тестовые наборы предъявляют следующие ограничения и требования: достаточно большой размер кода и данных, чтобы он гарантированно не размещался целиком в кэш-памяти; увеличения времени выполнения тестов с секунд до минут; реалистичность используемых фрагментов программ; применение усовершенствованного способа измерения времени; реализация более удобных инструментальных средств; стандартизация требований к компиляторам и методов вызова. Оценка систем проводится после пересчета результатов измерений по итоговому рейтингу-- ранжировке систем относительно производительности базового процессора в соответствии с комплексным показателем. Подчеркивается, что задача комплексной оценки вычислительной системы в целом, включая периферийное оборудование, графическую подсистему, сетевое оборудование, ввод-вывод данных, остается за рамками тестов SPECint95 и SPECftp95. В табл. 3.1 приведены результаты тестирования некоторых процессоров. Таблица 3.1 Результаты тестирование микропроцессоров |
Микропроцессор | Разрядность | Частота, МГц | SPECint95 | SPECftp95 | | Alpha 21164 | 64 | 433 | 12,4 | 17 | | PentiumPro | 32 | 233 | 9.3 | 7.4 | | UltraSPARC | 64 | 200 | 6.5 | 11 | | Alpha 21164 | 64 | 466 | 13 | 18 | | MIPS R10000 | 64 | 275 | 12 | 24 | | UltraSPARC-II | 64 | 250 | 8.5 | 15 | | POWER2 Super | 32 | 133 | 5.5 | 15 | | |
Кроме собственно тестового набора комитетом SPEC разработан и инструментарий, использование которого является обязательным; * средства оценки, основанные на вычислении среднего времени из серии запусков, исключающие внесение какого-либо дополнительного пользовательского кода или использование произвольной выборки из серии запусков тестовых программ. В отчете присутствует "базовое" время (References time) -- время выполнения теста на эталонной машине, в качестве которой используется SPARCstation 10/40 в конфигурации с кэш-памятью второго уровня. В отчет включается также относительное время выполнения тестов по сравнению со временем отработки тестов на эталонной машине; Эта оценка является основной для данного набора; * автоматическое формирование отчета, в котором должно присутствовать полное описание конфигурации тестируемой системы, операционной системы и ключей запуска компилятора. Оценка производительности проводится по двум частным показателям: * скорости выполнения теста с оптимизированным (SPECint_95 и SPECftp_95) и неоптимизированным (SPECint_base_95 и SPECftp_base_95) режимами компиляции; * пропускной способности системы для многопроцессорных архитектур и/или для многозадачного режима работы в оптимизированном (SPECint_rate95 и SPECftp_rate95) и неоптимизированном (SPECint_rate_base95 и SPECftp_rate_basefp95) режимах работы. Смесь SPECint_95 включает 8, a SPECftp_95 - 10 программ. Перечень, программ, время их выполнения на эталонной машине, прикладная область и характеризующие ее спецификации показаны в табл. 3.2. Набор целочисленных программ написан на языке Си, а для работы с плавающей арифметикой - на Фортране. Как видно из табл. 3.2, в тестовый набор включены программы, используемые в различных прикладных областях. Это допускает проведение не только комплексного сравнения по итоговому рейтингу, но и узкоориентированного - до конкретной программе, в случае если предполагаемое использование вычислительной системы соответствует выбранной предметной области. В комплект официальной поставки тестового набора входят исходные тексты программ тестового набора, инструментальные средства для компиляции, запуска, сравнения результатов и формирования отчета, описание правил запуска тестов и формирования отчета. В отчете указывается время прогона на тестируемой системе, относительное время по каждой программе и их файловой системе, используемые флаги и ключи. Таблица 3.2 Описание тестовых смесей по методике SPEC |
Программа | Базовое время, с | Область приложения | Спецификация задачи | | Тест SPECint_95 | | 099. go | 4600 | Искусствен-ный интеллект | Игра Go - игра сама против себя | | 124.m&&ksim | 1900 | Моделирова-ние | Моделирование чипа Motorola 88100 | | 126. gcc | 1700 | Программиpование | Компиляция программы на Си и компиляция в оптимизированный код для процессоров SPARC | | 129.compress | 1S0O | Сжатие данных | Сжатие текстового файла размером 16 Мбайт | | 130. li | 1900 | Интерпрета-ция языков | Lisp-интерпретатор | | 132.ijpeg | 24D0 | Обработка изображений | Сжатие изображений графических объектов (JPEG) с различными параметрами | | 134. perl | 1900 | Shell-интер- претатор | Манипулирование текстовыми строками | | 147. vortex | 2700 | Базы данных | Построение и манипулирование таблицами | | Teсm SPECftp_95 | | 101. tomcatv | 3700 | Гидродина- мика, геометричес-кие операции | Генерация двухмерной координатной сетки преобразования вокруг произвольной области | | 102. swim | 8600 | Предсказа-ние погоды | Моделирование волной поверхности методом конечных элементов (вещественная арифметика с одинарной точностью) | | 103. su2cor | 1400 | Квантовая физика | Вычисление массы элементарных частиц с использованием метода Монте-Карло | | 104.hydro2d | 22400 | Астрофизика | Расчет межгалактических газов по уравнению Новье-Стокса | | Программа | Базовое время, с | Область приложения | Спецификация задачи | | 107. mgrid | 2500 | Электромаг-нетизм | Расчет трехмерного поля потенциалов | | 110.applu | 2200 | Гидродина-мика | Решение системы уравнений с частными производными | | 125. turb3d | 100 | Моделиро-вание | Моделирование турбулентностей в кубическом объеме | | 141. apsi | 2100 | Предсказа-ние погоды | Вычисление статистики температур, воздушных потоков и уровней загрязнения | | 145. fpppp | 9600 | Квантовая химия | Отработка порождения потока электронов | | 146. wave | 3000 | Электромаг-нетизм | Решение уравнения Максвелла | | |
Оценки SPEC важны для анализа систем, основное назначение которых быть вычислителем вообще, без детального уточнения конкретной специфики. Тестовые наборы дают сравнение по работе с целыми и с вещественными числами. Консорциум SPEC разработал кроме этих еще несколько тестов, среди которых SDM (тест рабочей нагрузки при использовании UNIX) и SFS (тест рабочей нагрузки файлового сервера). В тесте SDM моделируется многопользовательская среда UNIX и оцениваются как работа ОС, так и производительность процессора и операции ввода-вывода. Тест SFS включает в себя один пакет 097.LADDIS, в рамках которого генерируются типовые сетевые запросы к NFS-серверу. Отчет по этому тесту содержит описание полной конфигурации и время ответа на запросы NFS. 1.3 Тест ICOMP 2.0 для оценки эффективности микропроцессоров INTEL Корпорация Intel разработала тест iCOMP, ранжирующий по эффективности микропроцессоры различных семейств Intel-подобной архитектуры. Тест iCOMP ориентирован только на выбор микропроцессоров для ПЭВМ. Тест не может служить интегральным показателем качества любых типов микропроцессоров, ПЭВМ или рабочих станций в целом, так как на общую эффективность влияют различия в аппаратных средствах и конфигурации программного обеспечения. Со временем тест iCOMP был модифицирован и назван iCOMP 2.0. В нем отражены основные тенденции в формировании требований к оценке микропроцессоров: учет современных профилей прикладных программ, определяемых как соотношение времени выполнения регистровых операций ЦПУ, обмена с памятью и ввода-вывода; переход на 32-разрядные операционные системы и прикладные программы, включая Windows 95, NT, OS/2 и UNIX; быстрое увеличение объема мультимедийных, сетевых средств и средств обработки трехмерной графики. Уникальные для основных прикладных программ смеси операций, определяющие их профили, показаны на рис. 3.1. Оценка процессоров производится по взвешенному времени выполнения тестовой смеси, нормированному по эффективности базового процессора, в соответствии с формулой где BMi - время выполнения i-го теста; Рi - вес i-го теста; Base_BMi - эффективность базового процессора на i-м тесте. Из приведенной формулы следует, что индекс iCOMP 2.0 вычисляется как мультипликативная свертка времени работы процессора на каждом из эталонных тестов смеси. Рис. 3.1 Профили типовых прикладных программ Состав тестовой смеси выбран так, чтобы охватить различные категории прикладных программ и объемы загрузки процессора. Перечень категорий прикладных программ, состав тестовой смеси (BMi) и веса тестов (Pi), используемые для расчета индекса iCOMP 2.0 (табл. 3.3), определены исходя из анализа рыночного спроса программ различного типа. Таблица 3.3 Категории программ и веса тестов iCOMP 2.0 |
Категория программ | Состав тестовой смеси (ВМi) | Вес тестов | | Инженерные программы типа Autocad | Norton S132 | 15 | | Программы типа Microsoft Office | CPUmark32 | 40 | | Программы, оперирующие данными целого типа | SPECint_base95 | 20 | | Программы, оперирующие данными с плавающей точкой | SPECfp_base95 | 5 | | Программы мультимедиа | Intel Media Benchmark | 20 | | |
Страницы: 1, 2, 3, 4, 5, 6
|