Various metaheuristic optimization algorithms are being developed to obtain optimal solutions to real-world problems. Metaheuristic algorithms are inspired by various metaphors, resulting in different search mechanisms, operators, and parameters, and thus algorithm-specific strengths and weaknesses. Newly developed algorithms are generally tested using benchmark problems. However, for existing traditional benchmark problems, it is difficult for users to freely modify the characteristics of a problem. Thus, their shapes and sizes are limited, which is a disadvantage. In this study, a modified Gaussian fitness landscape generator is proposed based on a probability density function, to make up for the disadvantages of traditional benchmark problems. The fitness landscape developed in this study contains a total of six features and can be
employed to easily create various problems depending on user needs, which is an important advantage. It is applied to quantitatively evaluate the performance and reliability of eight reported metaheuristic algorithms. In addition, a sensitivity analysis is performed on the population size for population-based algorithms. Furthermore, improved versions of the metaheuristic algorithm are considered, to investigate which performance aspects are enhanced by applying the same fitness landscape. The modified Gaussian fitness landscape generator can be employed to compare the performances of existing optimization algorithms and to evaluate the performances of newly developed algorithms. In addition, it can be employed to develop methods of improving algorithms by evaluating their strengths and weaknesses.