Ohjelmistoliiketoiminnan kannattavuuteen vaikuttaa merkittävästi ohjelmistotuotannon suorituskyky. Työn tavoitteena oli selvittää ohjelmistotuotannon suorituskyvyn mittaamisen viitekehysten käyttöä, mittareita ja rakentaa mittaristomalli ohjelmistotuotannon suorituskyvyn johtamiseen. Tutkimus toteutettiin kvalitatiivisen eli laadullisen tutkimusmenetelmän mukaisesti, jossa tutkimuksen yksi keskeinen tavoite on selvittää syvällisemmin ilmiön merkityksen ja tehdä johtopäätöksiä saatujen käsitysten perusteella.
Tutkimuksen aineisto kerättiin kirjallisuudesta, haastatteluilla ja pilottiprojektin tapaamisilla. Empiirisessä osiossa pilottiprojektista tähän mennessä saatu palaute tuki kirjallisuudesta ja ohjelmistokehityksen suorituskyvyn mittaamiseen liittyvästä tutkimusaineistosta muodostunutta näkemystä.
Ohjelmistoprojektien sidosryhmille saatiin tämän tutkimuksen perusteella näkemystä ohjelmistokehityksen etenemisestä suhteessa tavoiteltuun aikatauluun, budjettiin ja vaatimuksiin liittyen. Pilottiprojektin aikana selvisi, että osa laadituista ja seuratuista mittareista tuki alkuperäistä tavoitetta antaa ohjelmistoprojektien keskesille sidosryhmille tietoa kehitysprojektin etenemisestä.
Suorituskyvyn mittaamisen tärkeimpiä tavoitteita on auttaa organisaatioiden johtoa päätöksenteossa tuottamalla riittävän luotettavaa informaatiota strategian toteutumisen kannalta kriittisistä menestystekijöistä. Strategiakartta kuvaa selkeällä tavalla syy-seuraussuhteita eri mittareiden ja toimintojen välillä. Tasapainotetut mittaristot soveltuvat ohjelmistokehityksen suorituskyvyn johtamiseen, koska ne mahdollistavat tuotekehitysprosessissa strategiatasolle ulottuvan toiminnan suunnittelun. Ennakoinnin, varhaisen vaiheen analysoinnin sekä strategian päivittämisen ja tarvittaessa uudelleen muotoilun kautta tuotekehitystä voidaan sopeuttaa liiketoimintaympäristön muutoksiin.
Ohjelmistotuotannon suorituskyvyn johtamisjärjestelmä voidaan rakentaa soveltaen organisaation käyttötarpeisiin tasapainotettua suorituskyvyn johtamisen viitekehystä, huomioituna henkilöstön näkökulman kriittisillä menestystekijöillä yrityksen strategian toteuttamisessa. Näin ollen sekä asiakkaan näkökulman että talouden näkökulman on oltava keskeisessä roolissa ohjelmistokehityksen suorituskyvyn johtamisessa.
Organisaatiotasolla voidaan mitata ja analysoida yleistä asiakastyytyväisyyttä, joka koostuu useiden prosessien tuloksista asiakkaan näkökulmasta. Ohjelmistokehityksen tuotoksena asiakkaalle luotu arvo ja tyytyväisyys toimitettuun sekä toimivaan ohjelmistoon on olennainen suorituskyvyn mittari.
Ohjelmistokehityksen suorituskyvyn johtamisessa on syytä huomioida onnistumisen perustuvan merkittäviltä osin myös kehitystyötä tekevän henkilöstön osaamiseen ja innovatiivisuuteen. Jos ohjelmistokehitystiimillä on selkeät tavoitteet ja laaditut kokonaisvaltaiset mittarit, joilla asetettujen tavoitteiden toteutumista seurataan, toimivat mittaamisella saadut tulokset palautteena tehdystä kehitystyöstä. Ohjelmistokehitys on useimmiten tiimityötä ja erityisesti suuremmissa organisaatioissa useiden eri kehitystiimien välistä yhteistyötä, jota täytyy voida tukea hyvällä johtamisella. Kuten monella muulla teollisuuden alalla, on ohjelmistoja kehittävillä organisaatioilla päätavoite laadukkaiden tuotteiden, tässä tapauksessa ohjelmistokomponenttien nopeampi tuotanto alhaisemmilla kustannuksilla. Tulevaisuudessa ohjelmistoyritysten tai ohjelmistoja kehittävien tahojen täytyy huomioida entistä suorituskykyisemmät lähestymistavat sovellusten kehittämisessä soveltamalla automaatiota, virtualisointi ja valitsemalla kehitykseen kyvykkäät sekä skaalautuvat tuotantoympäristöt.
Suorituskyvyn mittaamisen tulisi tarjota tietoa, jonka avulla organisaatiot voivat rakentaa strategisen kyvykkyyden tarjota parhaat mahdollisuudet vastata asiakkaiden tarpeisiin sekä tuottaa tarvittavat valmiudet, jotka puolestaan mahdollistavat organisaatioiden menestymisen ja kilpailuedun luomisen. Suorituskyvyn johtaminen on keskeisessä asemassa kokonaisvaltaisen näkökulman rakentamisessa, sillä sen avulla voidaan linkittää menestystekijät strategiaan, jonka kautta ohjataan ohjelmistoja kehittävää organisaatiota kohdistamaan voimavarat yhteisiin päämääriin ja annettuihin tavoitteisiin.
Tutkimuskysymyksiin saatiin vastaukset, jotka yhdistävät aiempaa tietoa kirjallisuudesta ja pilottiprojektin kautta tuli käytännön näkökulmaa aiheeseen. Viitekehyksen avulla laadittiin ehdotus, kuinka ohjelmistokehityksen suorituskykyä ja sen kehittymistä voidaan mitata ohjelmistotuotannossa. Mahdollisia jatkotutkimuskohteita ovat mittariston laajempi testaaminen käytännössä ja linkittäminen mittarit sujuvaksi osaksi kestävää ohjelmistokehitystä sekä liittäminen kannustavaan tiimien palkitsemiseen.
LÄHTEET
Abrahamsson, P., Salo, O., Ronkainen, J., Warsta, J. 2002. Agile software development methods: Review and Analysis. Espoo: VTT Publications 478.
Álvarez, C.; Rodríguez, V.; Ortega, F.; Villanueva, J. 2015. A Scorecard Framework Proposal for Improving Software Factories’ Sustainability: A Case Study of a Spanish Firm in the Financial Sector. Sustainability. 7, s. 15999–16021.
Amaratunga, D., Baldry, D. 2002. Moving from performance measurement to performance management, Facilities, Volume 20, Number 5/6, s. 217–223.
Antikainen, R. 2006. Asiantuntijatyön tuottavuusanalyysi - kokemuksia subjektiivisen mittausmenetelmän käytöstä. Tampereen teknillinen yliopisto. 86 s. ISBN 952-151-538-4 Antola, J., Lönnqvist, A., Uusi-Rauva, E. 2006. Designing a Strategy Map in order to Facilitate Strategy implementation. LTA 1/06, s. 11–29.
Ariyachandra, T. R., Frolick, M. N. 2008. Critical Success Factors in Business Performance Management – Striving for Success. Information Systems Management, Volume 25, s. 113–
120.
Asklund, U., Bendix, L. 2002. A Study of Configuration Management in Open Source Software Projects. Software, IEE Proceedings, Vol. 149, No. 1, s. 40–46.
Beck, K. 1999. Embracing Change with Extreme Programming. Computer (Long Beach, Calif.) 32.10. s. 70–77. Web.
Beck, K., Beedle, M., Van Bennekum, A., Cockburn, A., Cunningham, W., Fowler, M. &
Kern, J. 2001. Manifesto for agile software development.
Benediktsson, O. Dalcher, D., Thorbergsson, H. 2006. Comparison of software development life cycles: a multiproject experiment, IEE Proceedings –Software 153 (3) s. 87–101.
Bititci, U., Carrie, A.S., McDewitt, L. 1997. Integrated performance measurement systems:
A development guide, International Journal of Operations & Production Management, Vol.
Bititci, U., Turner, T. 2000 Dynamics of performance measurement systems. Journal of Operations & Production Management, Vol. 20 No. 6, s. 692–704.
Bititci, U., Mendibil, K., Nudurupati, S., Garengo, P., Turner, T. 2006. Dynamics of performance measurement and organisational culture. International journal of operations &
production management. Vol.26 (12), s.1325-135
Bititci, U., Garengo, P, Dörfler V, Nudurupati S. 2012. Performance Measurement:
Challenges for Tomorrow: Performance Measurement International journal of management reviews: IJMR, Vol.14 (3), s. 305–327.
Boehm, B. 1996. Anchoring the software process, Software 13(4), s. 73–82.
Boehm, B. 2002. Get Ready for The Agile Methods, With Care. Computer 35(1): s. 64–69.
Boehm, B., Turner, R. 2003. Balancing agility and discipline: A guide for the perplexed.
Addison-Wesley Professional.
Boehm, B., Turner, R. 2003. Observations on Balancing Discipline and Agility. Proceedings of the Agile Development Conference. ADC. IEEE, 2003. s. 32–39.
Boehm, B., Turner, R. 2004. Balancing agility and discipline: evaluating and integrating agile and plan-driven methods, Proceedings. 26th International Conference on Software Engineering, doi: 10.1109/ICSE.2004.1317503. s. 718–719.
Bourne, M., Mills, J., Wilcox, M., Neely, A. and Platts, K. 2000. Designing, implementing and updating performance measurement systems, International Journal of Operations &
Production Management, Vol. 20, No. 7, s. 754–771.
Bose, R. 2006. Understanding management data systems for enterprise performance management. Industrial Management & Data Systems, Volume 106, Number 1, s. 43–59.
Bratman, H., Court, T. 1975. The Software Factory. Computer 8 May. s. 28–37.
Bremser, W.G., Barsky, N, P. 2004. Utilizing the balanced scorecard for R&D performance measurement, R&D Manage. 34. s 229–238.
Brown, A.W., Lopez Mancisidor, A., Reyes Oliva, L. 2011. Practical Experiences with Software Factory Approaches in Enterprise Software Delivery. In Proceedings of the Sixth International Conference on 16018 Sustainability 2015, 7, 15999–16021 Software Engineering Advances, ICSEA, Barcelona, Spain. s. 465–470.
Brudan, A. 2010. Rediscovering performance management: systems, learning and integration. Measuring Business Excellence, Volume 14, Number 1, s. 109–123.
Büyüközkan, G., Göçer, F. 2018. Digital supply chain: literature review and a proposed framework for future research. Comput. Ind. 97, s. 157–177.
Cedergren S., Larsson S. 2014. Evaluating performance in the development of software-intensive products. Information and Software Technology. Vol.56 (5), s.516–526.
Clarke, P., O´Connor R.V. 2011. The Meaning of Success for Software SMEs: A Holistic Scorecard Based Approach, 18th European Software Process Improvement Conference, CCIS Vol. 172, Springer-Verlag, s. 1–12.
Conboy, K. 2009. Agility from first principles: Reconstructing the concept of agility in information systems development. Information Systems Research, 20(3), s. 329–354.
Cross, K. F., Lynch, R. L. 1988. The "SMART" way to define and sustain success. National productivity review, 1988–12, Vol.8 (1), s. 23–33.
Cross, K., F., & Lynch, R.L. 1992. For Good Measure. CMA magazine 66.3 s. 20. Print.
Dixon, J.R., Nanni, A.J. and Vollmann, T.E. 1990. The New Performance Challenge:
Measuring Operations for World Class Competition. Homewood, IL: Dow Jones/Irwin.
Drury, C. 2004. Management and Cost Accounting - Sixth edition. Thomson Learning, Derby.
Dybå, T., Dingsøyr, T. 2008. Empirical Studies of Agile Software Development: A Systematic Review. Information and Software Technology 50, s. 833–859.
Dvir, D., Lipovetsky, S., Shenhar, A, J., Tishler, A. 1998 In search of project classification:
a non-universal approach to project success factors, Research Policy 27, s. 915–935.
Ebert, C., Neve, P.D. 2001. Surviving global software development, IEEE Software, March/April, s. 62–69.
Eckerson, W. 2009. Performance Management Strategies. Business Intelligence Journal, Volume 14, Number 1. s. 24–27.
Eficode, 2020. Ohjelmistotuotannon ympäristökuvaus.
Eskola, J., Suoranta, J. 1996. Johdatus laadulliseen tutkimukseen. Lapin yliopisto. 214 s.
ISBN 951-634-468-2.
Fagerholm, F., Ikonen, M., Kettunen, P., Münch, J., Roto, V. Abrahamsson, P. 2014. How do software developers Experience Team Performance in Lean and Agile environments?
EASE ’14, s. 1–8.
Feiler, P. Humphrey, W. 1992. Software Process Development and Enactment: Concepts and Definitions, Software Engineering Institute, Carnegie Mellon University, CMU/SEI-92-TR-004, Pittsburgh, Pennsylvania, USA.
Feurer, R., Chaharbaghi, K. 1995. Performance measurement in strategic change, Benchmarking for Quality, Management and Technology, Vol. 2 No. 2, s. 64–83.
Fortuin, L., 1998. Performance indicators – why, where and how? European Journal of Operational Research, Vol. 34 No. 1, s. 1–9.
Franco-Santos, Monica, Lorenzo Lucianetti, and Mike Bourne. 2012. Contemporary Performance Measurement Systems: A Review of Their Consequences and a Framework for Research. Management accounting research 23.2. s. 79–119.
Foss, N.J., Lindenberg, S. 2012. Teams, Team Motivation, and the Theory of the Firm, Managerial and Decision Economics, Vol. 33, s. 369–383, Wiley online library.
Ghalayini, A.M., James, S.N.1996. The Changing Basis of Performance Measurement.
International journal of operations & production management s. 63–80.
Godener, A., Söderquist, K., E. 2004. Use and Impact of Performance Measurement Results in R&D and NPD: An Exploratory Study. R & D management 34.2. s. 191–219.
Hannula, M., Lönnqvist, A. 2002. Suorituskyvyn mittauksen käsitteet, Concepts of performance measurement. MET Metalliteollisuuden keskus- liitto, Helsinki.
Haikala, I., Märijärvi, J. 2004. Ohjelmistotuotanto. Helsinki: Talentum.
Haikala, I., Mikkonen, T. 2011. Ohjelmistotuotannon käytännöt. Helsinki: Talentum.
Hartmann, D., Dymond, R. 2006. Appropriate agile measurement: using metrics and diagnostics to deliver business value, in: Agile Conference, s. 6–134.
Hirsjärvi, S., Remes, P., Sajavaara, P. 2000. Tutki ja kirjoita. 6.p. Helsinki: Tammi.
Hirsjärvi, S., Hurme H. 2000. Tutkimushaastattelu. Teemahaastattelun teoria ja käytäntö.
Helsinki, Yliopistopaino. 213 s. ISBN 951-570-458-8.
Highsmith, J., Cockburn, A. 2001. Agile software development: The business of innovation. Computer, 34(9), s. 120–122.
Hope, J., R. Fraser, 2003. New ways of setting rewards: The beyond budgeting model.
California Management Review. 45(4): s. 104–119.
IEEE, Std 828 – IEEE Standard for Software Configuration Management Plans. 2005.
Institute of Electrical and Electronics Engineers.
Information Security Management Systems, ISO/IEC 27001:2013 (EN), 2013.
Ioannou, G., Papalexandris, G., Prastacos, G.P., Söderquist, K.E. 2002. Implementing a balanced Scorecard at a Software Development Company, IEEE 0-7803-7385-5/02, s. 743–
748.
Ittner, C. D, Larcker D.F, Meyer, M.W. 2003. Subjectivity and the Weighting of Performance Measures: Evidence from a Balanced Scorecard. The Accounting review 78.3.
s. 725–758.
Kaplan, R. S., Norton, D. P. 1992. The balance scorecard – measures that drive performance.
Harvard Business Review, January-February. s. 71–80.
Kaplan, R., S., Norton D. P. 1996. Strategic learning & balanced scorecard. Strategy &
Leadership. Vol. 24, Issue 5, s. 18–24.
Kaplan, R.S., Norton, D., P. 1996. Using the Balanced Scorecard as a Strategic Management System, Harvard Business Review, Vol. 74, Issue 1, s. 75–85.
Kaplan, R. S., Atkinson, A. A. 1998. Advanced Management Accounting. 3. painos. New Jersey, Prentice Hall. 798 s.
Kaplan, R. S., Norton, D., P. 2001. Transforming the Balanced Scorecard from Performance Measurement to Strategic Management: Part I. Accounting horizons 15.1. s. 87–104. Web.
Kaplan, R. S., Norton, D. P. 2002. Strategialähtöinen organisaatio: tehokkaan strategiaprosessin toteutus. Helsinki, Kauppakaari. 432 s. ISBN 952-14-0539-2.
Kaplan, R.S., Norton, D.P. 2004. The strategy map: guide to aligning intangible assets, Strategy & Leadership, Vol. 32 No. 5, s. 10–17.
Kasanen, E., Lukka, K., Siitonen, A. 1993. The Constructive Approach in Management Accounting Research, Journal of Management Accounting Research, Vol.5. s. 241–264.
Kohtamäki, M., Parida, V., Patel, P. C., & Gebauer, H. 2020. The relationship between digitalization and servitization: The role of servitization in capturing the financial potential of digitalization. Technological Forecasting and Social Change, 151, 119804.
Kupiainen, E., Mäntylä, M.V. Itkonen, J., 2014. Why are industrial agile teams using metrics and how do they use them? in: Proceedings of the 5th International Workshop on Emerging Trends in Software Metrics, ACM. s. 23–29.
Laitinen, E. 1998. Yritystoiminnan uudet mittarit. Gummerus Kirjapaino Oy. 360 s.
Lea, R., Parker, B. 1989. The JIT spiral of continuous improvement, Vol. 4, s. 10–13.
Lebas, M. 1995. Performance Measurement and Performance Management. International journal of production economics 41.1-3. s. 23–35.
Liang, T., Liu, C., Lin, T. ja Lin, B. 2007. Effect of team diversity on software project performance. Industrial Management & Data Systems, Vol 107 No. 5, s. 636–653.
Lillis, A. M. 2002. Managing Multiple Dimensions of Manufacturing Performance — an Exploratory Study. Accounting, organizations, and society. s. 497–529.
Lingle, J.H. Schiemann, W.A. 1996. From Balanced Scorecard to Strategic Gauges: Is Measurement Worth It? Management review. Saranac Lake, New York. 85.3. s. 56.
Loch, C.H., Tapper, U.A.S. 2002 Implementing a strategy-driven performance measurement system for an applied research group, J. Prod. Innov. Manage. 19. s. 185–198.
Lohan, G., Conboy, K., Lang, M. 2010, Beyond Budgeting: A Performance Management Model for Software Development Teams, LESS 2010, LNBIP 65. Springer-Verlag, Berlin Heidelberg. s. 126–138.
Lukka, K. 2000, The Key Issues of Applying the Constructive Approach to Field Research.
In Reponen, T. (ed.) Management Expertise for the New Millenium. In Commemoration of the 50th Anniversary of the Turku School of Economics and Business Administration.
Publications of the Turku School of Economics and Business Administration, A-1:2000, s.113–128.
Lönnqvist, A. 2002. Suorituskyvyn mittauksen käyttö suomalaisissa yrityksissä, Lisensiaatin työ, Tampereen teknillinen korkeakoulu. 145 s.
Lönnqvist, A., Kujansivu, P. & Antikainen, R. 2006. Suorituskyvyn mittaaminen.
Tunnusluvut asiantuntijaorganisaation johtamisvälineenä. 2. uudistettu painos. Helsinki, Edita. 162 s. ISBN 951-37-4768-9.
Lönnqvist, A., Mettänen, P. 2003. Suorituskyvyn mittaaminen – tunnusluvut asiantuntijaorganisaation johtamisvälineenä. Helsinki, Edita. 147 s. ISBN 951-37-3960-0.
Matt, C., Hess, T., Benlian, A. 2015. Digital transformation strategies. Bus. Inf. Syst. Eng.
57 (5), s. 339–343.
Martinez, V. and Kennerley, M. 2006. Performance review: a definition analysis. In: Neely, A., Kennerley, M. & Walters, A. (eds.), Performance Measurement and Management: Public and Private, Centre for Business Performance, Cranfield School of Management, Cranfield University, Cranfield, Bedfordshire, s. 465–472.
MacCormack, A., Verganti, R. 2003. Managing the sources of uncertainty: matching process and context in software development, Journal of Product Innovation Management 20 (3) s.
217–232.
McLeod, L., MacDonell, S.G. 2011. Factors that Affect Software Systems Development Project Outcomes: A Survey of Research, ACM Computing Surveys, IEEE, Vol. 43, No. 4.
s. 1–56.
McMann, P., Nanni, A.J. 1994. Is your company really measuring performance?
Management Accounting, 11, s. 55–58.
Melnyk, S. A., Stewart, D. M., Swink, M. 2004. Metrics and performance measurement in operations management: dealing with the metrics maze. Journal of Operations Management, Vol. 22, Iss. 3, s. 209–217.
Misra, S. C., Kumar, V., Kumar, U. 2009. Identifying some Important Success Factors in Adopting Agile Software Development Practices [online]. Journal of Systems and Software, 82(11), s. 1869–1890.
Misra, S., Kumar, V., Kumar, U., Fantazy, K. & Akhter, M. 2012. Agile software development practices: evolution, principles, and criticisms, International Journal of Quality and Reliability Management, Vol. 29, No. 9, Emerald group Publishing Limited, s. 972–980.
Mooraj, S., Oyon, D., Hostettler, D. 1999. The Balanced Scorecard: A Necessary Good or an Unnecessary Evil? Eur. Manag. J. 17, s. 481–491.
Na, K., Simpson, J.T., Li, X., Singh, T. ja Kim, K. 2007. Software development risk and project performance measurement: evidence in Korea. The Journal of Systems and Software, Vol 80 No. s. 596–605.
Naur, P., Randell, B. (eds.) 1968. Software Engineering: A Report on a Conference Sponsored by the NATO Science Committee.
Naur, P., Randell, B., Buxton, J.N. (eds.) 1976. Software Engineering: Concepts and Techniques. Proceedings of the NATO Conferences (NY: Petrocelli) s. 147.
Neely, Andy. 1998. Measuring business performance. Lontoo: Profile Books Ltd. 205 s.
ISBN 1-86197-055-2.
Neely, A., Bourne, M. 2000. Why measuring initiatives fail. Measuring Business Excellence, Vol. 4 Issue 4. s. 3–6.
Neely, A., Mills, J., Platts, K., Richards, H., Gregory, M., Bourne, M., Kennerley, M. 2000.
Performance Measurement System Design: Developing and Testing a Process-Based Approach. International journal of operations & production management 20.10. s. 1119–
1145. Web.
Neely, A., Adams, C., Crowe, P. 2001 The Performance Prism in Practice. Measuring business excellence 5.2: s. 6–13.
Neely A., Gregory M., Platts K., 2005. Performance measurement system design: a literature review and research agenda, Int. J. Oper. Prod. Manage. 25. s. 1228–1263.
Neufeld, G. A., Simeoni, P. A., Taylor, M. A. 2001. High-performance research organization, Res. Technol. Manage. 44. s. 42–52.
Nguyen, V., Huang, L., Boehm, B. 2011. An Analysis of Trends in Productivity and Cost Drivers over Years.” Proceedings of the 7th International Conference on Predictive Models in Software Engineering. ACM. s. 1–10.
Nudurupati, S., Tebboune, S., Hardman, J., 2016. Contemporary performance measurement and management (PMM) in digital economies, Production Planning & Control, 27:3, s. 226–
235.
Olve, N., Roy, J. & Wetter, M. 1998. Balanced Scorecard – yrityksen strateginen ohjausmenetelmä. Suom. Maarit Tillman. WSOY.
Partanen, V. 2005. Strategiakartan merkitys suorituksen mittauksen kehittämisessä.
Yritystalous 2005:4, s. 59–65.
Poppendieck, M. ja Poppendieck, T. 2010. Lean Software Development – An Agile toolkit, Upper Saddle River, N.J., USA. Addison-Wesley, ISB-13: 978–0–321–15078–3,194 s.
Pfleeger, S., Jeffery, R., Curtis, B., and Kitchenham, B. 1997. Status Report on Software Measurement”, IEEE SOFTWARE, vol. 14, no. 2, March/April s. 33–43.
Qumer, A and Henderson-Sellers B, 2008. An evaluation of the degree of agility in six agile methods and its applicability for method engineering. Information and Software Technology 50 (4), s. 280–295.
Rantanen, H. & Holtari, J. 1999. Yrityksen suorituskyvyn analysointi. LTKK, Lahden yksikkö.
Rantanen, H. 2001. Suorituskyvyn osa-alueiden mittaaminen pkt-yrityksissä.
Tutkimusraportti 3. Lappeenranta: Lappeenrannan teknillinen korkeakoulu, Lahden yksikkö.
Rizwan, M. ja Qureshi, J. 2012. Agile software development methodology for medium and large projects. IET Software, Vol.6, Issue 4, s. 358–363.
Rodríguez, P., Markkula, J., Oivo, M., Turula, K. 2012. Survey on agile and lean usage in Finnish software industry, in Proceedings of the ACM-IEEE International Symposium on Empirical Software Engineering and Measurement, ser. ESEM 12. New York, NY, USA:
ACM, s. 139–148.[Online]. Available: http://doi.acm.org/10.1145/2372251.2372275.
Rodríguez Montequín, V.; Álvarez Pérez, C.; Ortega Fernández, F.; Villanueva Balsera, J.
2013. Scorecard and KPIs for monitoring software factories effectiveness in the financial sector. Int. J. Inf. Syst. Project Management 1, s. 29–43.
Rolstadås, A., Tommelein, I., Morten Schiefloe, P. Ballard, G., Müller, R. 2014.
Understanding Project Success through Analysis of Project Management Approach.
International journal of managing projects in business 7.4 s. 638–660.
Salleh, N., Jusoh, R., Isa, C. 2010. Relationship between information systems sophistication and performance measurement. Industrial Management & Data Systems, Volume 110, Number 7, s. 993–1017.
Schwaber, K. 1995. Scrum Development Process. OOPSLA'95 Workshop on Business Object Design and Implementation. Springer-Verlag.
Schwaber, K., Beedle, M. 2002. Agile Software Development with Scrum. New Jersey:
Prentice Hall.
Sommerville, I. 2009.Software Engineering. 9th ed. Harlow: Pearson Education, Print.
Sharif, A. M. 2002. Benchmarking performance management systems, Benchmarking: An International Journal, Vol., 9, Number 1. s. 62–85.
Shenhar, A., Dvir, D., Levy, O., Maltz, A. C. 2001. Project Success: A Multidimensional Strategic Concept. Long range planning 34.6 s. 699–725.
Sink, D. S. 1983. Much a Do About Productivity: Where Do We Go from Here. Industrial Engineering, October 1983, s. 36–48.
Sink, P.E. 1986. Performance and productivity measurement: the art of developing creative score boards. Industrial Engineering, 18(1), s. 86–90.
Simons, R. 2000. Performance Measurement & Control Systems for Implementing Strategy.
New Jersey, Prentice Hall. 780 s. ISBN 0-13-234006-2.
Sudhakar, G.P., Farooq, A. & Patnaik, S. 2011. Soft factors affecting the performance of software development teams, Team Performance Management, Vol. 17, No. 3 / 4, Emerald Group Publishing Limited. s. 187–205.
Sureshchandar, G.S. ja Leisten, R. 2005. Holistic Scorecard: strategic performance measurement and management in the software industry, Measuring Business Excellence, No. 2, Vol. 9, s. 12–29.
Szakonyi, R. 1994. Measuring R&D effectiveness – I, Res. Technol. Manage. 37 s. 27–33.
Ukko, J., Tenhunen, J. & Rantanen, H. 2005. Suorituskyvyn mittaamisen vaikutukset yrityksen johtamiseen – johdon ja henkilöstön näkökulmat. 80 s. Lappeenrannan teknillinen yliopisto, Lahden yksikkö, LIITU-tutkimusraportti 9. ISBN 952-214-025-2.
Ukko J, Tenhunen J ja Rantanen H. 2007. Performance measurement impacts on management and leadership: Perspectives of management and employees. International journal of production economics 110. s. 39–51.
Ukko, J., Karhu, J., Pekkola, S., Rantanen, H., Tenhunen, J. 2007. Suorituskyky nousuun!
Hyödynnä henkilöstösi osaaminen. Helsinki. Työministeriö. ISBN 978-525-490-074-4.
Unterkalmsteiner, M., Gorschek, T., Cheng, C. K., Permadi, R. B., & Feldt, R. 2012.
Evaluation and measurement of software process improvement-a systematic literature review. Software Engineering, IEEE Transactions on, Vol. 38, No. 2. s. 398–424.
Van der Stede, W.A., Chow, C.W., Lin, T.W. 2006. Strategy, choice of performance measures, and performance. Behavioral Research in Accounting 18. s. 185–205.
Verbeeten, F.H.M.; Boons, A.N.A.M. 2009. Strategic priorities, performance measures and performance: an empirical analysis in Dutch firms. s. 113–128.
Vitale, M., Mavrinac, S, C. Hauser, M. 1994. New Process/financial Scorecard: A Strategic Performance Measurement System. Strategy & leadership 22.4. s. 12–. Web.
Wang, S., Wan, J., Zhang, D., Li, D., & Zhang, C. 2016b. Towards smart factory for industry 4.0: a self-organized multi-agent system with Big Data based feedback and coordination.
Computer Networks, 101, s. 158-168.
Williams, L., & Cockburn, A. 2003. Guest editors' introduction: Agile software development: It's about feedback and change. Computer, 36(6), s. 39–43.
Wisner, J.D. and Fawcett, S.E. 1991. Linking firm strategy to operating decisions through performance measurement, Production and Inventory Management Journal, Third Quarter, s. 5-11.