TAULUKKO 3 Priorisoinnin äänijakauma eri vaatimuksissa
7.3 Tulosten hyödynnettävyys ja jatkotutkimus
Tämän tutkimuksen kirjallisuuskatsauksesta eli ensimmäiseen kolmeen tutki-muskysymykseen saaduista vastauksista saa lukija hyvän käsityksen vaati-musmäärittelystä, joukkoistamisesta ja niitä yhdistävistä teksteistä. Empiirisen osan vaatimukset hyödyttävät lopulta eniten järjestelmän käyttäjiä, mutta myös järjestelmää ylläpitävää organisaatiota mahdollistamalla entistä paremman pal-velun. Karttuneiden kokemusten perusteella voitaisiin pyytää joukkoa osallis-tumaan järjestelmän muiden osien vaatimusmäärittelyyn. Tutkimuksen tulos-ten toivotaan voivan käytettävän joukkoistetun vaatimusmäärittelyn tutkimus-ta ja alan kehitystä jatkossa, jolloin hyöty olisi selkeästi laajempi kuin vain yksit-täisen järjestelmän ja sen käyttäjien tilanteen parantaminen. Mikäli esimerkiksi pääteltäisiin kuvan näkyvyydestä Facebookissa, että ensimmäiset 4 tuntia ku-van julkaisusta on kriittisempiä kuin sitä seuraavat 12 tuntia, voisi työskentelyn aktivoimiseksi käyttää tutkittuun tietoon perustuvia menetelmiä. Mahdollisesti seuraavissa tutkimuksissa olisi hyödyllistä havainnoida vastaavien aloitusten saamaa huomion määrää vieläkin lyhyemmällä tarkastelujaksolla.
Tämä tutkimus myös antoi suuruusluokan osalta tukea 1-10-89 -säännölle ja olisikin mielenkiintoista tietää, millaisella tutkimuksella tämä osallistumisen epätasapainon suhdeluku voitaisiin katsoa vahvistetun tai kumota tieteen kei-noilla. Yksittäinen tapaustutkimus ei siihen pysty, mutta kenties jossain vai-heessa tietoa on kerrytetty tarpeeksi. On syytä olettaa, että joukkoistamisen käytännön sovellutuksien kehittämisessä erityisen kiinnostavia on keinot, jolla passiivisen joukon osuutta voitaisiin pienentää.
Yksittäisen tapaustutkimuksen rajoitteena on erilaisten muuttujien vaiku-tuksen arvioinnin vaikeus, joten tutkimusta tarvittaisiin lisää. Otetaan esimer-kiksi vaatimusten priorisointi. Joukkoistamisessa työn jako pienempiin osiin on kirjallisuudessa suuresti painotettu, mutta priorisoinnissa eri vaatimukset sai-vat eri määrän ääniä, eli ilman ohjaavaa prosessia osa vaatimusten priorisoin-nista kiinnostuneista jätti osan vaatimuksista priorisoimatta. Tai, mikä merkitys on sillä, että eniten ääniä saanut vaihtoehto nousee ylimmäs ja ylipäätään, että voi nähdä muiden antamat äänet. Näitä asioita olisi hyvä tutkia eri muuttujilla, jopa kontrolloidun kokeen muodossa, jotta esimerkiksi vaatimusmäärittelyyn suunnatun joukkoistamisalustan luomiseksi löytyisi tutkittua tietoa. Erityisen kiinnostava tutkimusaihe olisi verrata tavanomaista vaatimusten priorisointia joukkoistettuun priorisointiin siten, että vaatimukset olisi samat.
Vaatimusmäärittelyssä käytetystä suomen kielestä johtuen ja tietojärjes-telmän sisältämän datan ollessa Suomessa tallennettua, ei tässä tutkimuksessa päästy tutkimaan globaalisti hajautettua vaatimusmäärittelyä. Voidaan vain arvailla, toimisiko malli, vaikka osanottajat eläisivät eri aikavyöhykkeillä, ei-vätkä siksi olisi samaan aikaan paikalla. Myös joukkoistajan työ olisi haastavaa, mikäli joukko olisi aktiivinen 24 tuntia vuorokaudessa. Voitaisiin siis esimer-kiksi selvittää, mukautuisiko joukon aktiivisuus tiettyihin tunteihin vuorokau-desta, vai jakaantuisiko käyttö tasaisesti maantieteellisten sijaintien mukaan.
8 YHTEENVETO
Vaatimusmäärittely on ohjelmistokehityksen lopputuloksen onnistumisen kan-nalta olennaisimpia vaiheita, jotta järjestelmästä tulee tarpeita vastaava. Vas-taavasti taas joukkoistaminen on nykymuodossaan tuore ilmiö, jonka periaat-teena on valjastaa ennalta määrittämätön joukko avustamaan annetussa tehtä-vässä. Etenkin jos organisaation ulkopuolella on tarvittavaa tietoa järjestelmän tarpeista, voidaan vaatimusmäärittelyyn käyttää joukkoistamisen periaatteita.
Tutkimusongelma oli: “Millä tavalla joukkoistamista voidaan käyttää vaa-timusmäärittelyssä?” ja se oli jaettu tutkimuskysymyksiksi, joista kolmeen en-simmäiseen etsittiin vastauksia kirjallisuudesta:
Millä tavalla vaatimusmäärittelyä tehdään tietojärjestelmien kehittämi-sen yhteydessä?
Mitä joukkoistamisella tarkoitetaan, millä tavalla sitä tehdään ja mitä hyötyjä ja haasteita siihen liittyy?
Millä tavalla joukkoistamista on käytetty vaatimusmäärittelyssä ja mil-laisin kokemuksin?
Millä tavalla joukkoistamista voidaan käyttää KoiraNet-jalostustietojärjestelmän yhteydessä ja millaisin kokemuksin?
Ensimmäiseen tutkimuskysymykseen vastattiin yleisemmällä tasolla luvuissa 2.1 ja 2.2. Huomattiin, että kirjallisuuden mukaan vaatimusmäärittelyn käytän-nön toteuttamiseen vaikuttaa suuresti ohjelmistokehityksessä käytettävä kehit-tämismenetelmä. Vesiputousmallisessa työskentelyssä vaatimusmäärittelyä tehdään paljon projektin alkuvaiheessa, kun taas esimerkiksi ketterissä kehitys-tavoissa vaatimuksia käsitellään projektissa vaiheittain. Lähteiden mukaan alal-la ei ole vaatimusmäärittelyn vaiheissa yksittäistä yleisesti hyväksyttyä etene-misjärjestystä ja jopa terminologiassa on eroja. Kokonaiskuvan mukaan vaati-musmäärittely näytti sisältävän vaatimusten esille saamista, neuvottelua, do-kumentointia, validointia ja mainittiin useissa lähteissä vaatimuksia myös prio-risoitavan. Tutkimuksen kannalta olennaisimpia vaiheita katsottiin olevan esille saaminen ja priorisointi, joten niitä käsiteltiin lähemmin luvuissa 2.3 ja 2.5,
joi-den pohjalta tehtiin valintoja empiirisen osuujoi-den toteutukseen. Luvun 2.4 tie-dot eivät niinkään vastaa tutkimuskysymykseen, mutta ne ovat olennaisia em-piirisen osuuden vaatimusten muodollisen laadun takaamiseksi.
Toiseen tutkimuskysymykseen joukkoistamisesta vastattiin monipuolises-ti luvussa 3. Joukkoistamista terminä ja ilmiönä avatmonipuolises-tiin luvuissa 3.1 ja 3.2, käy-tännön toteutukseen olennaisesti liittyvät toimijat, motiivit ja toimintatavat esi-teltiin luvussa 3.3 ja prosessiin liittyvää teknisempää tarkastelua tehtiin luvussa 3.4. Luvuissa käy ilmi, että joukkoistaminen ja lähitermistö kuvaa ilmiötä, jossa työtehtäviä voidaan antaa internetin välityksellä joukolle vapaaehtoisesti suori-tettavaksi. Prosessin kannalta olennaista on joukkoistajan aktiivisuus ja joukon monipuolisuus, vetoaminen ihmisten motivaatioon sopivalla tavalla ja työsuori-tusten jako helposti suoritettaviin osiin. Hyötyinä joukkoistamisessa on paitsi useimmiten saatavat ajalliset ja rahalliset säästöt, niin myös mahdollisuus hyö-dyntää organisaation ulkopuolisia ideoita ja tietämystä sekä saavuttaa laajem-malle asiakaskunnalle mieluisia tuotteita ja palveluita. Haasteiksi muodostuu esimerkiksi kontrollin menettäminen ja joukon motivointi.
Joukkoistamista voi kuitenkin käyttää niin monenlaisiin tarkoituksiin, että oli tärkeää käsitellä joukkoistamista ja sen läheisyyteen sijoittuvia ilmiöitä myös erikseen ohjelmistokehityksen näkökulmasta, johon siirryttiin luvussa 4. Kirjal-lisuuden perusteella tutkijat eivät ole yksimielisiä siitä, onko avoimen lähde-koodin kehitys joukkoistamista vai ei, mutta koska se mainittiin tässä yhteydes-sä niin monessa lähteesyhteydes-sä, ei sitä voinut täsyhteydes-säkään tutkimuksessa jättää käsitte-lyn ulkopuolelle, vaan sitä esiteltiin luvussa 4.1. Joukkoistettua ohjelmistokehi-tystä puhtaimmillaan tarkasteltiin luvussa 4.2., jotta joukkoistamisen laajat mahdollisuudet tällä alalla ei jäisi pimentoon. Lisäksi koska joukkoistetussa ohjelmistokehityksessä ei tarvitse syntyä toimivaa ohjelmistoa, myös vaati-musmäärittelyn joukkoistaminen kuuluu sen piiriin.
Kolmanteen tutkimuskysymykseen vastattiin luvussa 4.3. Käytännön ko-kemuksia vastauksiksi ei tutkimuksista niinkään löytynyt, vaan suurin osa tut-kimuksista käsitteli aihetta teoreettisemmalta pohjalta, tukien vaatimusmäärit-telyn joukkoistamisen suunnittelua. Voidaan siis sanoa, että aihepiirin tutki-muksessa ollaan vasta melko alussa, mutta teoreettinen pohja viittaisi siihen, että joukkoistamisella olisi annettavaa vaatimusmäärittelylle.
Neljäs tutkimuskysymys sai vastauksensa tutkimuksen empiirisessä osuudessa suoritetun tapaustutkimuksen löydöksistä. Sosiaalisen median ka-navaa hyödyntävä ja käyttäjien joukkoluovuuden ja -arvostelun mahdollistava menetelmä osoittautui varsin onnistuneeksi ja esille saatiin suuri määrä vaati-muksia sekä osallistujilta näkemys vaatimusten prioriteeteista. Tuloksista voi-daan sanoa, että vaatimuksia saatiin hyvin kerättyä joukkoistamalla ja organi-saatiossa arvostettiin tuloksien käyttäjälähtöisyyttä. Tietoa saatiin myös mene-telmän vaatiman työmäärän ja vaatimusten eroista haastattelemalla tehtyyn vaatimusmäärittelyyn verrattuna.
LÄHTEET
Adepetu, A., Ahmed, K. A., Al Abd, Y., Al Zaabi, A. & Svetinovic, D. (2012).
CrowdREquire: A Requirements Engineering Crowdsourcing Platform.
AAAI Technical Report SS-12-06. Teoksessa AAAI Spring Symposium:
Wisdom of the Crowd. Stanford, March 26-28 2012.
Ahlers, G., Cumming, D., Günther, C. & Schwizer, D. (2015). Signaling in Equity Crowdfunding. Entrepreneurship Theory and Practice 39(4), 955-980.
Aitamurto, T. (2012). Crowdsourcing for Democracy: A New Era for Policy-Making. Publication of the Committee for the Future 1/2012. Eduskunta.
Haettu 12.3.2016 osoitteesta
https://www.eduskunta.fi/FI/tietoaeduskunnasta/julkaisut/Documents /tuvj_1+2012.pdf
Ali, R., Solis, C., Salehie, M., Omoronyia, I., Nuseibeh B. & Maalej W. (2011).
Social Sensing: When Users Become Monitors. Teoksessa Proceedings of the 19th ACM SIGSOFT symposium and the 13th European conference on Foundations of software engineering (s. 476-479). New York: ACM.
Antikainen, M. (2011). Facilitating customer involvement in collaborative online innovation communities. Väitöskirja. VTT.
Aral, S. (2013). The Problem With Online Ratings. MIT Sloan Management Review, 55(2), 47-52.
Archak, N. & Sundararajan, A. (2009). Optimal Design of Crowdsourcing Contests. Teoksessa Proceedings of International Conference on Information Systems (ICIS) (s. 85-100). Phoenix, December 15-18, 2009.
Archak, N. (2010). Money, Glory and Cheap Talk: Analyzing Strategic Behavior of Contestants in Simultaneous Crowdsourcing Contests on TopCoder.com. Teoksessa Proceedings of the 19th conference on World wide web (s. 21-30). New York: ACM.
Aris, H. & Din, M. M. (2016). Crowdsourcing evolution: Towards a taxonomy of crowdsourcing initiatives. Teoksessa 2016 IEEE International Conference on Pervasive Computing and Communication Workshops (PerCom Workshops) (s.
1-6), Sydney, March 14-18, 2016.
Aurum, A. & Wohlin, C. (2005). Requirements Engineering: Setting the Context.
Teoksessa Aurum, A. & Wohlin, C. (toim.), Engineering and Managing Software Requirements (s. 1-15). Berlin: Springer-Verlag.
Bao, J., Sakamoto, Y. & Nickerson, J. V. (2011). Evaluating Design Solutions Using Crowds. Teoksessa AMCIS 2011 Proceedings - All Submissions (s.
3923-3931). Detroit, August 4-8, 2011.
Belleflamme, P., Lambert, T. & Schwienbacher, A. (2014). Crowdfunding:
Tapping the right crowd. Journal of Business Venturing, 29(5), 585-609.
Benkler, Y. (2002). Coase’s Penguin, or, Linux and The Nature of the Firm. The Yale Law Journal, 112(3), 369-446.
Benkler, Y. (2006). The Wealth of Networks: How Social Production Transforms Markets and Freedom (1. painos). New Haven, USA: Yale University Press.
Haettu 7.11.2014 osoitteesta
http://www.benkler.org/Benkler_Wealth_Of_Networks.pdf
Berander, P. & Andrews, A. (2005). Requirements prioritization. Teoksessa Aurum, A. & Wohlin, C. (toim.), Engineering and Managing Software Requirements (s. 69-94). Berlin: Springer-Verlag.
Bhat, J. M., Gupta, M. & Murthy, S. N. (2006). Overcoming Requirements Engineering Challenges: Lessons from Offshore Outsourcing. IEEE Software, 23(5), 38-44.
Boudreau, K. & Lakhani, K. (2009). How to manage outside innovation. MIT Sloan Management Review, 50(4), 68-76.
Brabham D. (2013a). Crowdsourcing. Cambridge, Massachusetts: MIT Press.
Brabham, D. (2013b). Crowdsourcing: A Model for Leveraging Online Communities. Teoksessa Delwiche A. & Jacobs Henderson, J. (toim.), The Participatory Cultures Handbook (s. 120-129). New York: Routledge.
Bravo, E. (1993). The Hazards of Leaving Out the Users. Teoksessa Schuler, D.
& Namioka, A. (toim.), Participatory design - Principles and Practices (s. 3-11).
New Jersey: Lawrence Erlbaum Associates.
Coble, J., Karat, J. & Kahn, M. (1997). Maintaining a Focus on User Requirements Throughout the Development of Clinical Workstation Software. Teoksessa CHI '97: Proceedings of the ACM SIGCHI Conference on Human factors in computing systems (s. 170-177). 22-27 March 1997. Atlanta, USA.
Chesbrough, H. (2003). The Era of Open Innovation. MIT Sloan Management Review, 44(3), 35-41.
Chi, E., Munson, S., Fischer, G., Vieweg, S. & Parr, C. (2010). Advancing the Design of Technology-Mediated Social Participation Systems. IEEE Computer, 43(11), 29-35.
Claburn, T. (2017, 15. helmikuuta). Talk of the tech innovation is bullsh*t. Shut up and get the work done - says Linus Torvalds. The Register. Haettu
25.2.2017 osoitteesta
http://www.theregister.co.uk/2017/02/15/think_different_shut_up_and _work_harder_says_linus_torvalds
Davis, A., Dieste, O., Hickey, A. Juristo, N. & Moreno A.M. (2006). Effectiveness of Requirements Elicitation Techniques: Empirical Results Derived from a Systematic Review. Teoksessa: Requirements Engineering, 14th IEEE International Conference (RE’06) (s. 179-188), September 11-15, 2006.
Davis, J. & Lin, H. (2011). Web 3.0 and Crowdservicing. Teoksessa Proceedings of the 17th Americas Conference On Information Systems (AIS) - All Submissions, paper 192. Detroit, Michigan, August 4-7, 2011.
DiPalatino, D. & Vojnovic, M. (2009). Crowdsourcing and All-Pay Auctions.
Teoksessa Proceedings of the 10th ACM conference on Electronic commerce, Stanford, (s. 119-128) CA, USA, July 6-10, 2009.
Doan, A., Ramakrishnan, R. & Halevy, A.Y. (2011). Crowdsourcing Systems on the World-Wide Web. Communications of the ACM, 54(4), 86-96.
Erickson, T. (2011). Some Thoughts on a Framework for Crowdsourcing. Haettu 4.11.2014 osoitteesta http://crowdresearch.org/chi2011-workshop/papers/erickson.pdf
Estellés-Arolas, E. & González-Ladrón-de-Guevara, F. (2012). Towards an integrated crowdsourcing definition. Journal of Information Science, 38(2), 189-200.
Firesmith, D. (2004). Prioritizing Requirements. Journal of Object Technology, 3(8), 35-47.
Fischer, G. (2010). Extending boundaries with meta-design and cultures of participation. Teoksessa Proceedings of NordiCHI’2010 (s. 168-177).
Reykjavik, October 16-20, 2010.
Friedrich, P. (2013). Web-based co-design. Social media tools to enhance user-centered design and innovation processes. Doctoral dissertation. Espoo: VTT.
Fox, D., Sillito, J. & Maurer, F. (2008). Agile Methods and User-Centered Design:
How These Two Methodologies Are Being Successfully Integrated In Industry. Teoksessa Agile 2008, (s. 63-72), Toronto, August 4-8, 2008.
Garcia-Molina, H., Joglekar, M., Marcus, A., Parameswaran A. & Verroios V.
(2016). Challenges in Data Crowdsourcing. IEEE Transactions on Knowledge and Data Engineering, 28(4), 901-911.
Geiger, D., Rosemann, M. & Fielt, E. (2011a). Crowdsourcing Information Systems - A Systems Theory Perspective. Teoksessa Proceedings of the 22nd Australasian Conference on Information Systems (ACIS 2011), Sydney, November 29 - December 2, 2011.
Geiger, D., Seedorf, S., Schulze, T., Nickerson, R. C. & Schader, M. (2011b).
Managing the Crowd: Towards a Taxonomy of Crowdsourcing Processes.
Teoksessa AMCIS 2011 Proceedings - All Submissions. Paper 430. August 4-7, 2011.
Ghosh, R. & Prakash, V. (2000). The Orbiten Free Software Survey. First Monday
5(7). Haettu 28.5.2016 osoitteesta:
http://www.firstmonday.dk/ojs/index.php/fm/article/view/769/678 Greenwood, P., Rashid, A. & Walkerdine, J. (2012). UDesingIt: towards social
media for community-driven design. Teoksessa Proceedings ICSE 2012 (s.
1321-1328). New York: ACM Press.
Grudin, J. (1990). Obstacles to Participatory Design in Large Product Development Organizations. Participatory design - Principles and Practices. Teoksessa Namioka, A. & Schuler, D (toim.), Proceedings of the 1st Biennial Participatory Design Conference 1990 (s. 14-21). Seattle, March 31 - April 1, 1990.
Guinan, E., Boudreau, K. & Lakhani, K. (2013). Experiments in Open Innovation at Harvard Medical School. MIT Sloan Management Review, 54(3), 45-52.
Hirsjärvi, S., Remes, P. & Sajavaara, P. (2008). Tutki ja kirjoita (13.-14. osin uud.
painos). Helsinki: Tammi.
Hochmüller, E. (2011). The requirements engineer as a liaison officer in agile software development. Teoksessa Proceedings of the 1st Workshop on Agile Requirements Engineering, AREW '11. New York: ACM, July 26, 2011.
Hong, L. & Page, S. (2004). Groups of diverse problem solvers can outperform groups of high-ability problem solvers. Proceedings of the National Academy of Sciences of the United States of America 2004, 101(46), 16385-16389.
Honkavaara, J. & Kleemola, J. (2015). SADe - Parhaat käytännöt asiakaslähtöisessä palveluiden kehittämisessä (PowerPoint-esitys). Valtiovarainministeriö, JulkICT-toiminto. Haettu 11.3.2016 osoitteesta:
http://vm.fi/documents/10623/345066/HMV+Parhaat+käytännöt+pp-dia/791495b4-612e-48c2-a9a6-60f48c2d4787
Hosseini, M., Phalp, K., Taylor, J. & Ali, R. (2014a). Towards Crowdsourcing for Requirements Engineering. Teoksessa Joint Proceedings of REFSQ-2014 Workshops, Doctoral Symposium, Empirical Track, and Posters, co-located with the 20th International Conference on Requirements Engineering: Foundation for Software Quality (s. 82-87). Essen, April 7-10, 2014.
Hosseini, M., Phalp, K., Taylor, J. & Ali, R. (2014b). Toward Crowdsourcing for Requirements Elicitation: Results from Expert Survey. Bournemouth University.
Hosseini, M., Shahri, A., Phalp, K. & Ali, R. (2015). Recommendations on adapting crowdsourcing to problem types. 2015 Teoksessa IEEE 9th International Conference on Research Challenges in Information Science (RCIS) (s. 423-433). Ateena, May 13-15, 2015.
Howe, J. (2006, 14. kesäkuuta). The Rise of Crowdsourcing. Wired Magazine.
Haettu 4.10.2014 osoitteesta
http://archive.wired.com/wired/archive/14.06/crowds.html
Howe, J. (2009). How the Power of the Crowd is Driving the Future of Business. UK:
Business Books.
Hui, J., Gerber, E. & Dow, S. (2014). Crowd-Based Design Activities: Helping Students Connect with Users Online. Teoksessa Proceedings of the 2014 conference on Designing interactive systems (s. 875-884). Vancouver, June 21-25, 2014.
Hull, E., Jackson, K. & Dick, J. (2011). Requirements Engineering. 3. painos.
London: Springer. Haettu 18.9.2014 osoitteesta
https://link-springer-com.ezproxy.jyu.fi/book/10.1007%2F978-1-84996-405-0
Huotari, M. (2016.) Joukkovoimaa rahoitukseen. OP Taloudessa, 16(2).
IEEE Std 830-1998. (1998). IEEE Recommended Practice for Software Requirements Specifications.
Johansen, R. (1991). Teams for tomorrow. Teoksessa Proceedings of the Twenty-Fourth Annual Hawaii International Conference on System Sciences (s. 521-534).
January 8-11, 1991.
JUHTA - Julkisen hallinnon tietohallinnon neuvottelukunta. (2013). JHS 129 Julkisten verkkopalvelujen suunnittelu ja kehittäminen (Luonnos, versio 23.5.2013). JHS-jaosto, Valtioneuvosto.
Järvinen, P. & Järvinen, A. (2011). Tutkimustyön metodeista. Tampere: Opinpajan Kirja.
Jönsson, P. & Lindvall, M. (2005). Requirements Engineering: Setting the Context. Teoksessa Aurum, A. & Wohlin, C. (toim.), Engineering and Managing Software Requirements (s. 117-142). Berlin: Springer-Verlag.
Karger, D., Oh, S. & Shah, D. (2011). Iterative Learning for Reliable Crowdsourcing Systems. Teoksessa J. Shawe-Taylor, R. S. Zemel, P. L.
Bartlett, F. Pereira & K. Q. Weinberger (toim.) NIPS’11 Proceedings of the 24th International Conference on Neural Information Processing Systems (s.
1953-1961). Granada, December 12-15, 2011.
Kasirun, Z. M. & Salim, S. S. (2008). Focus Group Discussion Model for Requirements Elicitation Activity. Teoksessa International Conference on Computer and Electrical Engineering, 2008. ICCEE 2008 (s. 101-105), Phuket, 20-22 December, 2008.
Kaufmann, N, Schulze, T. & Veit, D. (2011). More than fun and money. Worker Motivation in Crowdsourcing - A Study on Mechanical Turk. Teoksessa AMCIS 2011 Proceedings - All Submissions. Paper 340.
Kazman, R. & Chen, H-M. (2009). The MEtropolis Model - A New Logic for Development of Crowdsourced Systems. Communications of the ACM, 52(7), 76-84.
King, A. & Lakhani, K. (2013). Using Open Innovation to Identify the Best Ideas.
MIT Sloan Management Review, 55(1), 41-48.
Kleemann, F. Voß, G. & Rieder, K. (2008). Un(der)paid Innovators: The Commercial Utilization of Consumer Work through Crowdsourcing.
Science, Techonology & Innovation Studies, 4(1), 5-26.
Koh, C., Ang, S. & Straub, D. (2004). IT Outsourcing success: A Psychological contract perspective. Information Systems Research, 15(4), 356-373.
Kotonya, G. & Sommerville, I. (1997). Requirements Engineering: Processes and Techniques. Chichester: John Wiley & Sons.
Kropp, E. & Koischwitz, K. (2014). User-centered-design in agile RE through an On-site User Experience Consultant. Teoksessa 2014 IEEE 2nd International Workshop on Usability and Accessibility focused Requirements Engineering (UsARE 2014), (s. 9-12), Karlskrona, August 25, 2014.
Kujala, S. (2003). User involvement: a review of the benefits and challenges.
Behaviour & Information Technology, 22(1), 1-16.
Kujala, S., Kauppinen, M., Lehtola, L., & Kojo, T. (2005). The role of user involvement in requirements quality and project success. Teoksessa Proceedings of 13th IEEE International Conference on Requirements Engineering (s. 75–84). Paris, August 29 - September 2, 2005.
Lakhani, K., Garvin, D. & Lonstein, E. (2010). TopCoder (A): Developing software through Crowdsourcing (Case 610-032). Harvard Business School.
Laplante, P. (2009). Requirements Engineering for Software and Systems. Boca Raton: CRC Press cop, Auerbach Publications.
Lehtola, L. & Kauppinen, M. (2004). Empirical evaluation of two requirements prioritization methods in product development projects. Teoksessa Proceedings of the European Software Process Improvement Conference (EuroSPI 2004) (161-170). Berlin: Spirnger-Verlag.
Lohmann, S., Heim, P. & Lauenroth, K. (2008). Web-based Stakeholder Participation in Distributed Requirements Elicitation. Teoksessa International Requirements Engineering, 2008. RE '08. 16th IEEE (s. 323-324).
September 8-12, 2008.
LaToza, T. & van der Hoek, A. (2016). Crowdsourcing in Software Engineering.
Models, Motivations and Challenges. IEEE Software, 33(1), 74-80.
Lerner, J. & Tirole, J. (2002). Some Simple Economics of Open Source. Journal of Industrial Economics, 50(2), 197-234.
Maalej, W., Nayebi, M., Johann, T. & Ruhe, G. (2016). Toward Data-Driven Requirements Engineering. IEEE Software, 33(1), 48-54.
MacCormack, A., Murray, F. & Wagner, E. (2013). Spurring Innovation Through Competitions. MIT Sloan Management Review, 55(1), 25-32.
Maiden, N. (2008). User Requirements and System Requirements. IEEE Software, 25(2), 90-91.
Maiden, N. A. & Ncube, C. (1998). Acquiring COTS software selection requirements. IEEE Software, 15(2), 46-56.
Malone, T., Laubacher, R. & Dellarocas, C. (2009). Harnessing Crowds: Mapping the Genome of Collective Intelligence (Working Paper 2009-001). MIT, Center for Collective Intelligence.
Malone, T., Laubacher, R. & Dellarocas, C. (2010). The Collective Intelligence Genome. MIT Sloan Management Review, 51(3), 21-31.
Mao, K., Capra, L., Harman, M. & Jia, Y. (2015), A Survey of the Use of Crowdsourcing in Software Engineering (Research Note FN/15/01).
University College London, Department of Computer Science.
Markus, M. L., Manville, B., & Agres, C. E. (2000). What Makes a Virtual Organization Work?. Sloan Management Review, 42(1), 13-26.
Mladenow, A., Bauer, C., Strauss C. & Gregus, M. (2015). Collaboration and Locality in Crowdsourcing. Teoksessa Proceedings of the 2015 International Conference on Intelligent Networking and Collaborative Systems (INCOS) (s. 1-6), Taipei, September 2-4, 2015.
Mollick, E. (2014). The dynamics of crowdfunding: An exploratory study.
Journal of Business Venturing, 29(1), 1-16.
Murturi, A., Kantarci, B. & Oktug, S. F. (2015). A reference model for crowdsourcing as a service. Teoksessa Cloud Networking (CloudNet), 2015 IEEE 4th International Conference on (s. 64-66), Niagara Falls, October 5-7, 2015.
Mylopoulos, J, Borgida, A., Jarke, M. & Koubarakis, M. 1990. Telos:
Representing Knowledge about information systems. ACM Transactions on Information Systems, 8(4), 325-362.
Nascimento, P., Aguas, R., Schneider, D. & de Souza, J. (2012). An Approach to Requirements Categorization using Kano’s Model and Crowds. Teoksessa Proceedings of the 2012 IEEE 16th International Conference on Computer Supported Cooperative Work in Design (CSCWD) (s. 387-392). Wuhan, May 23-25, 2012.
Nielsen, J. (2006, Lokakuu 9.). The 90-9-1 Rule for Participation Inequality in Social Media and Online Communities. Nielsen Norman Group. Haettu 28.11.2014
osoitteesta:
http://www.nngroup.com/articles/participation-inequality/
Nuseibeh, B. (2001). Weaving together requirements and architectures. IEEE Computer, 34(3), 115-119.
Oksanen, T. (2014). Joukkorahoitus - Suomalaisen startup-ympäristön näkemykset uudesta rahoitusmuodosta. Laskentatoimen pro gradu -tutkielma. Aalto-yliopisto, Kauppakorkeakoulu.
O’Regan, G. (2002). A Practical approach to software quality. New York: Springer.
Haettu 18.4.2016 osoitteesta
https://books.google.fi/books?id=no7wBwAAQBAJ&pg=PA30&lpg=PA 30&dq
O’Reilly, T. (2005, 30. syyskuuta). What is Web 2.0?. Haettu 12.11.2014 osoitteesta http://www.oreilly.com/pub/a/web2/archive/what-is-web-20.html
Paech, B. & Reuschenbach, B. (2006). Open Source Requirements Engineering.
Teoksessa Requirements Engineering 14:th IEEE International Conference (RE’06) (s. 257-262), Minneapolis, September 11-15, 2006.
Pagano, D. & Maalej, W. (2013). User feedback in the appstore: An empirical study. Teoksessa Requirements Engineering Conference (RE), 2013 21st IEEE International (s. 125-134). Rio de Janeiro, July 15-19, 2013.
Peffers, K., Tuunanen, T., Rothenberger, M. A. & Chatterjee, S. (2007). A Design Science Research Methodology for Information Systems Research. Journal of Management Information Systems, 24(3), 45-77.
Pohl, K. (2010). Requirements Engineering: Fundamentals, Principles, and Techniques.
Heidelberg: Springer.
Prahalad, C. K. & Ramaswamy, V. (2000). Co-opting Customer Competence.
Harvard Business Review, 78(1), 79-87.
Prahalad, C. K. & Ramaswamy, V. (2004). Co-Creation Experiences: The Next Practice in Value Creation. Journal of Interactive Marketing, 18(3), 5-14.
Regnell, B. & Brinkkemper, S. (2005). Market-driven requirements engineering for software products. Teoksessa Aurum, A. & Wohlin, C. (toim.), Engineering and Managing Software Requirements (s. 287-308). Berlin:
Springer-Verlag.
Ren, J. (2011). Who’s more creative, experts or the crowd? Teoksessa AMCIS 2011 Proceedings - All Submissions (s. 771-783). Detroit, August 4-8, 2011.
Robson, C. (2002). Real World Research. (2. painos). Malden: Blackwell.
Runeson, P & Höst, M. (2009). Guidelines for conducting and reporting case study research in software engineering. Empirical Software Engineering, 14(2), 131-164.
Ryan, R. & Deci. E. (2000). Self-Determination Theory and the Facilitation of Intrinsic Motivation, Social Development and Well-Being. The American psychologist, 55(1), 34-43.
Sadiq, M. & Jain, S.K. (2014). Stakeholder Identification Method in Goal Oriented Requirements Elicitation Process. Teoksessa Requirements Prioritization and Communication (RePriCo), 2014 IEEE 5th International Workshop on (s. 25-33). August 26, 2014.
Sauerwein, C., Gander, M., Felderer, M. & Breu, R. (2016). A Systematic Literature Review of Crowdsourcing-Based Research in Information Security. Teoksessa 2016 IEEE Symposium on Service-Oriented System Engineering (SOSE) (s. 364-371) Oxford, 2016.
Sauerwein, E., Bailom, F., Matzler, K. & Hinterhuber, H. H. (1996). The Kano model: How to delight your customers. Teoksessa Volume I of the IX.
International Working Seminar on Production Economics (s. 313-327).
Innsbruck: February 19-23, 1996.
Scacchi, W. (2002). Understanding the requirements for developing open source software systems. IEEE Proceedings - Software, 149(1), 24-39.
Scacchi, W. (2009). Understanding Requirements for Open Source Software.
Teoksessa Lyytinen, K., Loucopoulos, P. Mylopoulos, J. & Robinson, B (toim.) Design Requirements Workshop, LNBIP, 14 (s. 467-494). Berlin:
Springer-Verlag.
Schenk, E. & Guittard, C. (2011). Towards a characterization of crowdsourcing practices. Journal of innovation economics, 1(7), 93-107.
Sharma, S. & Pandey, S. K. (2013). Revisiting Requirements Elicitation
Sharma, S. & Pandey, S. K. (2013). Revisiting Requirements Elicitation