(Un)berechenbar? Algorithmen und Automatisierung - Chancen und Herausforderungen für Staat und Gesellschaft
 

ÖFIT-Konferenz 2017

Zusammenfassung

 
 

Am 23. November 2017 fand in Berlin die ÖFIT-Konferenz 2017 statt. Unter dem Titel "(Un)berechenbar? Algorithmen und Automatisierung - Chancen und Herausforderungen für Staat und Gesellschaft" diskutierten Experten aus Politik, Zivilgesellschaft, Forschung und Wirtschaft die Auswirkungen algorithmischer Entscheidungen auf die Gesellschaft. Im Zentrum der Fachvorträge und Paneldiskussionen standen vielfältige Anwendungsfelder und Nutzungspotenziale ebenso wie Gestaltungsmöglichkeiten und Regelungsbedarfe von künstlicher Intelligenz und datenbasierten, algorithmischen Entscheidungssystemen, die perspektivisch immer mehr Prozesse, Dienstleistungen und Infrastrukturen in Staat und Gesellschaft prägen werden.

Hier finden Sie eine ausführliche Nachberichterstattung aller Vorträge und Diskussionen. Nach einer Begrüßung und einer Keynote unterteilte sich die Konferenz in drei thematische Schwerpunkte: Regieren & Verwalten, Individuum & Gesellschaft sowie Medien & Öffentlichkeit.

 
 

Programm

Algorithmen bilden die Basis jedes datenverarbeitenden Systems. Das exponentielle Wachstum an Daten - an Finanzdaten, Vitaldaten, Kommunikationsdaten, Sensor-und Umweltdaten etc. - wäre ohne Algorithmen nicht handhabbar, geschweige denn für Wertschöpfung, Gemeinwohl und Wohlfahrtssteigerung aus- und verwertbar. Text ausklappen:
 

Agenda

08:15 Einlass und Registrierung

 

09:00 Eröffnung & Keynote

Eröffnung

  • Prof. Ina Schieferdecker(Institutsleiterin Fraunhofer FOKUS) sowie Prof. Peter Parycek (Leiter Kompetenzzentrum Öffentliche IT)
    Begrüßung
  • Klaus Vitt Staatssekretär im Bundesministerium des Innern und Beauftragter der Bundesregierung für Informationstechnik
    Eröffnungsrede

Keynote

  • Prof. Karen Yeung, Director of the Centre for Technology, Ethics & Law in Society (TELOS), The Dickson Poon School of Law, King's College London
    "Regulation and social ordering through algorithmic decision-making. A critical examination"
    (Vortrag auf Englisch)

 

10:15 Kaffee-Pause

 

10:30 Regieren & Verwalten: Ganz automatisch?

Im Zusammenhang mit der Verbreitung und zunehmenden Anwendung algorithmischer Entscheidungssysteme ist der Staat einerseits als Regulierer gefragt. Andererseits eröffnen sich für Staat und Politik zahlreiche Perspektiven mit der Integration von Big Data, algorithmischen Entscheidungssystemen und Automatisierungsprozessen in die politische Steuerung bzw. entlang des gesamten Politikzyklus. Nationale und internationale Fallbeispiele des staatlichen Einsatzes solcher Systeme - etwa in den Bereichen Finanzmarktaufsicht, Sicherheit, Strafverfolgung und Justiz - sind keine Seltenheit mehr. Insbesondere für die öffentliche Verwaltung im ,digitalen Staat' ergeben sich zahlreiche Anwendungsszenarien, von der Automatisierung einzelner Teilprozesse bis zur vollautomatisierten Verwaltungsentscheidung. Im Fluchtpunkt dieser Entwicklungslinien stehen möglicherweise Zukunftsbilder von Staaten als Plattformen, die durch algorithmische Governance bzw. Regulierung die Erreichung von gesetzgeberischen Zielen sicherstellen: Vielfältigste Datenquellen aus einem zu regulierenden Bereich werden in Echtzeit erfasst, um kontinuierlich Zustand und Performance des Bereiches gegen Zielvorgaben abzugleichen und bei Bedarf automatisiert und ad hoc mit regulierenden Maßnahmen einzugreifen. In diesem Zusammenhang stellen sich insbesondere grundlegende Fragen der Legitimation und Rechtsstaatlichkeit von Automatisierung bei politischen Entscheidungsfindungs- bzw. Gesetzgebungsprozessen sowie ihrer Implementierung.

Vorträge

  • Dr. Christian Djeffal, Humboldt Institut für Internet & Gesellschaft
    "Normative Leitlinien für KI in der öffentlichen Verwaltung"
  • Prof. Peter Parycek, Leiter Kompetenzzentrum Öffentliche IT
    "Data Analytics in Verwaltung und Politik"
  • Prof. em. Klaus Lenk, Universität Oldenburg
    "Formen und Folgen algorithmischer Governance"

 

Podiumsdiskussion
Diskutanten: Saskia Esken (Mitglied des Bundestages), Dr. Christian Djeffal, Prof. Peter Parycek, Prof. em. Klaus Lenk
Moderator: Basanta Thapa (Universität Potsdam)

12:30 Lunch

 

13:45 Individuum & Gesellschaft: Höchstwahrscheinlich wohlsortiert

Mit Big Data und algorithmischen Auswertungen eröffnen sich neue Möglichkeiten, Bürger- und Verbraucherverhalten nachzuvollziehen, vorherzusagen und zu steuern. Entscheidungen darüber, welche Informationen, Dienstleistungen und gesellschaftliche (Teilhabe-)Chancen einzelnen Individuen und Kollektiven zugänglich gemacht werden sollen, werden zunehmend algorithmischen Systemen überlassen und (teil-) automatisiert. Die algorithmische Bewertung und Kategorisierung unserer Datenspuren kann im Sinne des Gemeinwohls genutzt werden. Mit der Übertragung von Bewertungs- und Deutungshoheit gehen aber auch erhebliche Risiken einher, die zur (Re-)Produktion sozialer Ungleichheit und Diskriminierung führen können. Der gesamte sozio-technische Prozess der Entwicklung und konkreten Anwendung algorithmischer Entscheidungssysteme ist zu betrachten, wenn Risiken und Fehlerquellen, ethische und juristische Implikationen identifiziert werden sollen. Die Intransparenz und zunehmende Komplexität vernetzter Umgebungen und selbstlernender Algorithmen erschweren jedoch die Überprüfbarkeit der Validität, Fairness, Rechtskonformität sowie eine gesellschaftliche Debatte solcher Systeme. Welche Maßnahmen wären gesellschaftlich wünschenswert, welche regulatorischen Ansätze sind denkbar, um Nachvollziehbarkeit und Kontrollierbarkeit algorithmischer Systeme zu gewährleisten?

Vorträge

  • Konrad Lischka, Bertelsmann Stiftung
    "Wenn Maschinen Menschen bewerten: Wo heute Handlungsbedarf erkennbar ist und was wir tun können"
  • Dr. Sandra Wachter, Oxford Internet Institute
    "Die Ethik von KI und Algorithmen: Warum wir sie brauchen, und wie wir sie gewährleisten."
  • Prof. Mario Martini, Deutsches Forschungsinstitut für öffentliche Verwaltung
    "Algorithmenkontrolle als Herausforderung für die Rechtsordnung"

 

Podiumsdiskussion
Diskutanten: Renate Künast (Mitglied des Bundestages), Julia Krüger (freie Autorin), Susanne Dehmel (BITKOM), Konrad Lischka, Dr. Sandra Wachter, Prof. Mario Martini
Moderator: Dr. Tobias Knobloch (Stiftung Neue Verantwortung)

15:45 Kaffee-Pause

 

16:15 Medien & Öffentlichkeit: Maßgeschneidert informiert

In der digitalen Medienwelt und Informationsgesellschaft greifen algorithmische Prozesse an unterschiedlichen Stellen in gesellschaftliche Informations-und Kommunikationsverhältnisse ein und beeinflussen individuelle Wahrnehmungen und Meinungsbildung. Mit ihrem Wirken beispielsweise in sozialen Netzwerkdiensten, Suchmaschinen oder Micro-Blog-Plattformen ordnen und strukturieren algorithmische Prozesse die für demokratischen Diskurs und Öffentlichkeit wesentlichen digitalen Räume und Infrastrukturen. Was wir zu lesen und zu sehen bekommen, was auffindbar ist und was in der Informationsflut untergeht, entscheiden Algorithmen anhand von sich dynamisch verändernden Regeln und Kriterien, die einer detaillierten Kontrolle entzogen sind. Der aktuellen Medienordnung fehlen geeignete Instrumente und rechtliche Rahmenbedingungen, die der strukturbildenden Bedeutung algorithmischer Prozesse gerecht werden. Darüber hinaus vermitteln uns politische Ereignisse wie das »Brexit«-Referendum oder die US-Präsidentschaftswahlen eine Vorstellung von den Anwendungspotenzialen selbstlernender Algorithmen, die sich »sozial« verhalten und aktiv an Meinungsbildungsprozessen beteiligen.

Vorträge

  • Prof. Michael Latzer, Leiter Media Change & Innovation Division, Institute of Mass Communication and Media Research (IPMZ), Universität Zürich
    "Über algorithmische Wirklichkeitskonstruktion und Machtverschiebungen"
  • Tobias Krafft, TU Kaiserslautern, Fachbereich Informatik, AG Graphentheorie und Analyse komplexer Netzwerke
    "Auswertung des Datenprojekts "Datenspende:BTW17" zur Analyse von Google Suchmaschinenpersonalisierung"

 

Podiumsdiskussion
Diskutanten: Dr. Anja Zimmer (Direktorin der Medienanstalt Berlin-Brandenburg), Markus Beckedahl (Gründer von netzpolitik.org), Prof. Michael Latzer und Tobias Krafft
Moderator: Dr. Christian Katzenbach (Humboldt Institut für Internet und Gesellschaft)

18:00 Abschluss
 

Referenten

Dr. Christian Djeffal
Dr. Christian Djeffal leitet am Humboldt Institut für Internet und Gesellschaft das Projekt "IoT & eGovernment" und koordiniert den Forschungsbereich "Globaler Konstitutionalismus und das Internet". Der Schwerpunkt seiner Forschung liegt bei rechtswissenschaftlichen Perspektiven auf neuen Technologien, er beschäftigt sich insbesondere mit künstlicher Intelligenz. Christian Djeffal ist u.a. Mitglied des Nationalen E-Government Zentrums und Thementreiber "KI & Transparenz" im Rahmen der Open Government Partnership mit der Bundesregierung. Zuletzt erschien sein Aufsatz Das Internet der Dinge und die öffentliche Verwaltung: Auf dem Weg zum Smart Government? im Deutschen Verwaltungsblatt (2017 S. 808-816).
Tobias Krafft, M.Sc.
Tobias Krafft, M.Sc., ist Doktorand am Lehrstuhl "Algorithm Accountability" von Prof. Katharina A. Zweig, TU Kaiserslautern. Er ist Sprecher der Regionalgruppe Kaiserslautern der Gesellschaft für Informatik.
>Michael Latzer, Dr.phil. Mag.rer.soc.oec.
Michael Latzer, Dr.phil. Mag.rer.soc.oec., ist Professor für Kommunikationswissenschaft am IPMZ der Universität Zürich, wo er die Abteilung Medienwandel & Innovation leitet. Er hat an der Universität Wien die Studien Betriebs- und Wirtschaftsinformatik und Politikwissenschaft abgeschlossen und in Medienökonomie und -politik habilitiert. Zu seinen Schwerpunkten Internetökonomie, Medienpolitik, Innovationsforschung, Technology Assessment und Algorithm Studies hat er an renommierten Institutionen in Österreich, USA, Japan, Taiwan und Frankreich geforscht und gelehrt. In der Schweiz führt er u.a. regelmäßig repräsentative Befragungen zu Auswirkungen und Nutzung des Internet im internationalen Vergleich durch. Für Details zum Forschungsprogramm und den über 150 wissenschaftlichen Publikationen siehe www.mediachange.ch.
Prof. em. Klaus Lenk
Prof. em. Klaus Lenk ist nach juristischer Ausbildung und verschiedenen Tätigkeiten, u.a. im Wissenschaftsdirektorat der OECD, seit 1975 Professor für Verwaltungswissenschaft an der Universität Oldenburg. Seine Forschungsschwerpunkte sind Verwaltungsinformatik, Verwaltungsorganisation und Technikgestaltung. Er ist Fellow der deutschen Gesellschaft für Informatik, für die er vor seiner Emeritierung 2005 in verschiedenen Funktionen tätig war. Forschungsaufenthalte und Gastprofessuren u.a. am Netherlands Institute of Advances Sciences (NIAS), den Universitäten Edinburgh, Linz und Krems/Donau. Für seine praxisbezogene wissenschaftliche Tätigkeit wurde ihm 2012 das deutsche Bundesverdienstkreuz Erster Klasse verliehen.
Konrad Lischka
Konrad Lischka arbeitet als Co-Leiter im Projekt "Ethik der Algorithmen" bei der Bertelsmann Stiftung. Er war zuvor Referent Digitale Gesellschaft in der Staatskanzlei Nordrhein-Westfalen und stellvertretender Ressortleiter Netzwelt bei Spiegel Online. Diplom in Journalistik (Ludwig-Maximilians-Universität), Absolvent der Deutschen Journalistenschule. Autor: Digitale Öffentlichkeit (2017, mit C. Stöcker), Wenn Maschinen Menschen bewerten (2017, mit A. Klingel), Das Netz verschwindet (2015), Drachenväter (2014, mit T. Hillenbrand).
Prof. Mario Martini
Prof. Mario Martini ist Inhaber des Lehrstuhls für Verwaltungswissenschaft, Staatsrecht, Verwaltungsrecht und Europarecht an der Deutschen Universität für Verwaltungswissenschaften Speyer sowie Stellvertretender Direktor des Deutschen Forschungsinstituts für öffentliche Verwaltung. Seit dem Jahr 2016 leitet er den Programmbereich »Digitalisie-rung« am Deutschen Forschungsinstitut für öffentliche Verwaltung Speyer. Bis April 2010 hatte er eine Professur für Staats- und Verwaltungsrecht an der Ludwig-Maximilians-Universität München inne. Rufe an die Universitäten Augsburg, Passau und an die Leibniz Universität Hannover hat er abgelehnt. Martinis Forschungsschwerpunkte liegen insbesondere im Internetrecht, im Medien- und Telekommunikationsrecht, im Datenschutzrecht, in der Verbindung von Recht und Ökonomik sowie in den Bereichen Open Government. Für das Bundesministerium des Innern hat er gemeinsam mit Jürgen Kühling dem mitgliedstaatlichen Regelungsspielraum Deutschlands im Regime der DSGVO ausgeleuchtet und damit die Grundlagen für das neue ABGSG mit vorbereitet.
Prof. Peter Parycek
Prof. Peter Parycek ist Leiter des Kompetenzzentrums Öffentliche IT am Fraunhofer Fokus Institut Berlin das vom Bundesministerium des Inneren gefördert wird. An der Donau-Universität Krems, Österreich, verantwortet er als Universitätsprofessor für E-Governance das Department für E-Governance in Wirtschaft und Verwaltung. Als Rechtsinformatiker arbeitet Peter Parycek inter- und transdisziplinär am Schnittpunkt rechtspolitischer, gesellschaftlicher und technologischer Entwicklungen. Seine Forschungsschwerpunkte sind der Einsatz von Technologie in Regierung und Verwaltung und deren Wirkungen auf die bestehenden Rechts- und Organisationssysteme. Von 2006 bis 2011 war er im österreichischen Bundeskanzleramt als wissenschaftlicher Berater tätig und verantwortete Projekte und Arbeitsgruppen im Bereich E-Demokratie und E-Government. Neben seinen akademischen Tätigkeiten engagiert er sich bei zahlreichen zivilgesellschaftlichen Initiativen zum Thema der digitalen Transformation der Gesellschaft. Er ist Mitinitiator der Open-Datenplattform für Wirtschaft, Wissenschaft und Gesellschaft, ist Vorstandsmitglied im Nationalem E-Government Kompetenzzentrum in Deutschland (NEGZ), Vorstand in der Arbeitsgemeinschaft für Datenverarbeitung (ADV) und Vorstand im Open3 Verein. Weiters war Gründungsmitglied des Vereins Politik Transparent e.V. und Gründungsmitglied der Open Knowledge Foundation Österreich e.V.
Prof. Dr. Ina Schieferdecker
Prof. Dr. Ina Schieferdecker studierte mathematische Informatik an der Humboldt-Universität zu Berlin und erhielt ihre Promotion 1994 an der Technischen Universität Berlin. Seit 1993 ist sie beim Fraunhofer-Institut für Offene Kommunikationssysteme FOKUS tätig und hat seit 2016 eine Professur an der Technischen Universität Berlin zu »Quality Engineering of Open Distributed Systems« inne. Ihre Forschungsinteressen beinhalten Urbane Dataplattformen, Kritische Infrastrukturen, Internet-Technologien und die Konformität, Interoperabilität, Sicherheit und Zertifizierung von IKT-basierten Systemen. Sie ist u.a. Präsidentin des Arbeitskreises Software-Qualität & Fortbildung (ASQF) sowie Mitglied der Deutschen Akademie der Technikwissenschaften (acatech). Desweiteren ist sie Sprecherin des Smart City Netzwerks Berlin und Mitglied des Wissenschaftlichen Beirats der Bundesregierung Globale Umweltveränderungen (WBGU) sowie Mitglied im Lenkungskreis der Wissenschaftsplattform Nachhaltigkeit 2030. Sie ist Gründungsdirektorin des Deutschen Internet-Instituts in Berlin.
Klaus Vitt
Klaus Vitt ist Staatssekretär im Bundesministerium des Innern und Beauftragter der Bundesregierung für Informationstechnik. Er studierte Nachrichtentechnik an der Fachhochschule der Deutschen Bundespost sowie Mathematik / Informatik an der Universität in Dortmund. Nach ersten Berufserfahrungen in verschiedenen IT-Unternehmen sowie der Bertelsmann AG war er zehn Jahre in verantwortlichen Positionen im IT-Bereich bei der Deutschen Telekom AG tätig. Von 2006 bis 2014 arbeitete er als Geschäftsführer der zentralen IT der Bundesagentur für Arbeit (BA). Seit 2014 war er Generalbevollmächtigter für Informationstechnologie und Prozessmanagement in der Zentrale der BA.
Dr. Sandra Wachter
Dr. Sandra Wachter ist Juristin und Post-Doc im Themenfeld Data Ethics and Algorithms am Oxford Internet Institute (OII). Sandra ist Mitglied im Forschungscluster Ethics and Philosophy of Information und des Digital Ethics Lab am OII. Darüber hinaus ist sie Turing Research Fellow am Alan Turing Institute in London, Mitglied des Law Committee des IEEE und arbeitet als Politikberaterin für Regierungen und NGOs auf der ganzen Welt zu regulatorischen und ethischen Fragen im Zusammenhang mit neuen Technologien. Vor dem Beitritt zum OII arbeitete Sandra an der Royal Academy of Engineering zu Themen wie Konnektivität, KI und autonomen Systemen. Die Forschung von Sandra konzentriert sich auf die rechtlichen und ethischen Implikationen von Big Data, KI und Robotik sowie Überwachung, predictive policing und Menschenrechte im Digitalen. Ihre aktuelle Forschung konzentriert sich auf die ethische Gestaltung von Algorithmen, einschließlich der Entwicklung von Standards und Methoden, um Fairness, Rechenschaftspflicht, Transparenz, Interpretierbarkeit und Datenschutz in komplexen algorithmischen Systemen zu gewährleisten.
Prof. Karen Yeung
Karen Yeung is a Professor of Law and Director of the Centre for Technology, Ethics, Law and Society at the Dickson Poon School of Law, King's College London. Her expertise and research interests lies in two spheres: regulatory governance studies and in the governance of, and governance through, new and emerging technologies. Her current research focuses on critically understanding the legal, democratic and ethical implications of automation and a suite of technologies associated with the 'computational turn' including Big Data analytics, artificial intelligence, distributed ledgers and robotics. She is currently Chair of the Nuffield Council of Bioethics Working Group on Genome Editing and Human Reproduction, a member of the World Economic Forum Global Future Council on Biotechnology and, as a member of the Royal Society-British Academy Working Group on Data Governance, co-authored the report 'Data Management and use: Governance in the 21st Century, published in June 2017. She also co-edited The Oxford Handbook of Law, Regulation & Technology which was published by Oxford University Press this summer.

Begrüßung und Eröffnung

„Algorithmen kennen nicht nur „ja" oder „nein", sondern auch „vielleicht"", so eröffnete Prof. Ina Schieferdecker, Institutsleiterin des Fraunhofer FOKUS, die Konferenz. Damit verwies sie auf die Möglichkeiten von Algorithmen, durch Daten, Heuristiken, Empirien und Statistiken nicht nur schwarz oder weiß, sondern auch die Graustufen dazwischen abbilden zu können. Prof. Peter Parycek, Leiter des Kompetenzzentrums Öffentliche IT (ÖFIT), bezeichnete die Konferenz als Bestandteil eines notwendigen Diskurses sowie als „Startschuss" für das ÖFIT, um in den nächsten zwei Jahren das Thema hinsichtlich seiner Relevanz für Politik und Verwaltung aufzuarbeiten. Resa Mohabbat Kar, wissenschaftlicher Mitarbeiter am ÖFIT, erinnerte an die Schutz- und Gestaltungsverantwortung des Staates: Dieser müsse sicherstellen, dass algorithmenbasierte öffentliche Räume ihre Funktionen als gesamtgesellschaftliche Kommunikationsräume erfüllen könnten.

Staatssekretär Vitt betonte in seiner anschließenden Eröffnungsrede, dass Cybersicherheit und Vertrauen die entscheidenden Grundlagen seien. Der geplante Portalverbund werde dabei helfen, eine Übersicht darüber zu erhalten, welche Verwaltungsverfahren bereits digital verfügbar sind. Zudem werde der Druck auf die Verwaltungen erhöht, „portalverbundfähige" Portale aufzubauen. Derzeit würden acht Verwaltungsverfahren in Arbeitsgruppen digitalisiert. Um das anvisierte Ziel zu erreichen, müssten innerhalb der nächsten fünf Jahre jedoch 100 Verfahren jährlich digitalisiert werden. Staatssekretär Vitt zeigte sich zuversichtlich, dass dies mit der Hilfe der Länder auch gelingen werde. In Bezug auf den Einzug von Algorithmen in die öffentliche Verwaltung unterstrich er, dass Algorithmen das Ermessen des Sachbearbeiters weder ersetzen können, noch ersetzen sollen. Die Fachsachbearbeiter müssten in die Entwicklung der Algorithmen eingebunden werden, denn sie wüssten, was diese leisten müssen. Staatssekretär Vitt sprach sich für einen Algorithmen-TÜV aus, der die Funktionsweise von Algorithmen kontrollieren solle.

In der anschließenden Keynote beschrieb Prof. Karen Yeung, Direktorin des Centre for Technology, Ethics & Law in Society (TELOS) an der Dickson Poon School of Law des King's College London Big Data als neue Art der Wissensproduktion.

Als eine Folge des Zusammenwirkens von Big Data und algorithmischen Entscheidungssystemen erläuterte Prof. Yeung „algorithmic regulation" als Steuerungsinstrument, das mittels verschiedenartiger Mechanismen (wie z. B. „nudging") zum Risikomanagement, zur Beeinflussung individuellen Verhaltens oder der Organisation kollektiver Prozesse eingesetzt werden könne. Das Neue an algorithmischer Regulierung sei, dass sie nicht nur reagiere, sondern auch präventiv die Zukunft vorhersage und forme. Eine „Algocracy" unterscheide sich damit fundamental von anderen Organisationsformen wie der Bürokratie oder dem Markt. Im Diskurs darüber gäbe es die Vertreter des „Dataism" von O'Reilly auf der einen und Vertreter des „Solutionism" nach Morozov auf der anderen Seite. Gegenwärtige Systeme zur algorithmischen Regulierung seien ihrem Wirken nach intransparent, basierten auf der Erfassung granularer Daten über menschliches Verhalten und seien daher demokratietheoretisch und verfassungsrechtlich bedenklich. Yeung betonte, dass Privatheit ein Kollektivrecht sei, das demnach nicht individuell abgetreten werden könne. Individuen würden gegenüber dem algorithmischen System Macht und Kontrolle fehlen.

Session 1: „Regieren & Verwalten: Ganz automatisch?"

Dr. Christian Djeffal vom Humboldt Institut für Internet und Gesellschaft eröffnete die Session Regieren & Verwalten mit einem Vortrag zu normativen Leitlinien für Künstliche Intelligenz in der öffentlichen Verwaltung. Der Umgang mit der offenen Basistechnologie KI sage viel über die Gesellschaft aus. Er führte Beispiele an, wie Datenschutz durch künstliche Intelligenz gefördert werden könne. Einfach zu bedienende Chatbots, die über gespeicherte Daten Auskunft geben und Privacy-Einstellungen anpassen, böten hier ein anschauliches Beispiel. Zugleich gebe es KI-Systeme, die auf Basis von Videodaten Verhaltensmuster von Personen erkennen. Sogenannte Smart-Surveillance-Systeme böten die Möglichkeit kritische Situationen automatisiert zu erkennen. Die Bewertung von KI hänge entsprechend vom konkreten Einsatz ab: Die Schaffung von Transparenz über Verwaltungsentscheidungen wie bei der Einteilung der Schulbezirke in Berlin lasse sich hier ebenso beobachten wie die automatisierte Versendung fehlerhafter Bescheide durch öffentliche Institutionen in Australien. Die soziale Einbettung bestimme maßgeblich die Wirkung, wenn es etwa um die sachgerechte Interpretation von Auswertungen gehe. Bewertungsmaßstab müsse dabei stets sein, ob die Verfahren gegenüber dem Status quo besser oder schlechter würden. Während heute dabei das Recht oft als Hindernis für die Einführung algorithmischer Entscheidungssysteme fungiere, könne zukünftig auch ein Recht auf algorithmische Entscheidung etabliert werden, um bspw. Willkür einzuschränken. Immer mehr moderne Rechtsnormen adressierten eine Pflicht zur Förderung und Anwendung von Technologien, um Teilhabe und Objektivität zu unterstützen. Während die aktuelle Diskussion vorwiegend Kontrolle und Verbote von Algorithmen adressiere, sollte zukünftig primär deren Gestaltung im Mittelpunkt stehen. Leitbild hierfür solle der Mensch sein, der über der Technik stehen müsse.

Anschließend skizzierte Prof. Dr. Peter Parycek, Leiter des Kompetenzzentrums Öffentliche IT, wie eine an einem solchen Leitbild orientierte Umsetzung der Datenanalyse in Verwaltung und Politik aussehen könnte. Eine datengetriebene Analyse politischer Vorhaben ermögliche eine kontinuierliche Evaluierung, bis hin zu einer Echtzeit-Evaluierung und Optimierung. Dies böte völlig neue Möglichkeiten der politischen Steuerung. Erforderlich sei dafür, die vorhandenen Datenquellen, insbesondere auch externe Quellen und Objekte, zugänglich zu machen. Darauf aufbauend ließen sich Analysen von einfachem Monitoring über problemorientierte Diagnosen bis hin zu Simulationen und Beratung durchführen. Diese erlaubten eine evidenzbasierte Politikgestaltung und wirkungsorientiertes Verwaltungshandeln. Die so gefundenen Ziele ließen sich durch regelbasierte, fallbasierte und schließlich lernende Algorithmen zur Entscheidungsunterstützung operationalisieren. Jedoch bilde die online bzw. digital messbare Welt nicht die komplette soziale Realität ab. Da Unvorhersehbarkeiten in historischen Daten nicht abgebildet seien, bleibe weiterhin die Frage, wie mit solchen Ereignissen umgegangen werde. Darüber hinaus würden Algorithmen auch Vorurteile ihrer Entwickler wiederspiegeln, sodass ein vollständig objektiver Empirismus nicht möglich sei. Jedoch böte eine evidenzbasierte Politikgestaltung eine objektivierte Unterstützung der Diskurse insbesondere für politische Entscheidungsträger. Eine digitale Governance müsse neben der Strategiesetzung und einer kontinuierlichen Evaluation insbesondere auch Aspekte einer Data Governance beinhalten, die rechtliche und organisatorische Fragestellungen beinhaltet, ebenso wie eine Collaborative Governance, die den Menschen in den Mittelpunkt stellt.

Schließlich ging Prof. em. Dr. Klaus Lenk, Universität Oldenburg, auf Aspekte ein, die im internationalen Diskurs rund um Algorithmen diskutiert werden. Ausgehend von der These, dass sich durch neue Technologien die Formen der Machtausübung ändern würden, bewirke dies in der Konsequenz die Änderung von etablierten Governancestrukturen. Demnach seien Algorithmen eine Herrschaftsausführung durch delegierte Maschinen. Für die Verwaltung stelle sich damit die Frage, welche Technologien und Algorithmen sie im Rahmen der Verfassung einsetzen dürfe. Dabei sei ein Denken in soziotechnischen Systemen zentral, um übergreifende Zusammenhänge verstehen zu können. Als soziotechnisches System gehe es in Mensch-Maschine-Tandems um die Betrachtung von Mikrostrukturen in Organisationen und um Macht. Dafür sei ein Prinzipmodell für menschliches Handeln und maschinelles Agieren notwendig. Dieses müsse aus 4 Etappen bestehen, dem Beobachten und der Erzeugung von Daten, einer Wissensverarbeitung und eines zugehörigen Wissensmanagements, der Entscheidung sowie der Ausführungshandlung. In allen vier Etappen könnten Maschinen einen wesentlichen Beitrag leisten. Daraus ergebe sich die Notwendigkeit einer Theorie zu den Folgen algorithmischer Governance. Diese müsse eine dynamische, für die Technik offene Gesellschaftstheorie, eine Theorie soziotechnischer Systeme, eine Theorie der Evolution sowie der Ko-Evolution von Gesellschaft und Technik verbinden. Durch die Unterscheidung von Grund- und Betriebsverhältnis, durch Tools, die die Vernunft der Menschen adressieren sowie durch eine berechenbare Umwelt lasse sich einem naturalistischen Reduktionsprogramm begegnen.

Im Anschluss diskutierten die Vortragenden gemeinsam mit Anke Domscheit-Berg (Mitglied im Deutschen Bundestag) sowie Saskia Esken (Mitglied im Deutschen Bundestag) unter Moderation von Basanta Thapa (Universität Potsdam). Die Diskutanten plädierten zunächst dafür, eine positive Vision für die Zukunft der Digitalisierung zu zeichnen. Digitalisierung sei mittlerweile in der Politik in vielen Ebenen angekommen, was ebenfalls von den Diskutanten begrüßt wurde. Allerdings bleibe hier noch einiges zu tun, um die digitalpolitische Gestaltung voranzubringen, was agile Strukturen erfordere. Bezugnehmend auf die Vorträge wurden Aspekte der Algorithmisierung und Automatisierung in Politik und Verwaltung diskutiert. Eine evidenzbasierte Politik müsse offen sein und den Prinzipien des Open Data und Open Government folgen. Außerdem wurde betont, dass jene Werte, die die Ausgestaltung von Algorithmen prägen, in einem politischen Diskurs ausverhandelt werden müssen. Ein ungelöstes Problem sei dabei die Fragestellung, wie Daten und Algorithmen und eine daraus entstehende Wissensmacht gegen politische Krisen abgesichert werden kann. Ein Missbrauch müsse schon strukturell verhindert werden, was Aspekte wie Dezentralität und Resilienz hervorhebe. In der Diskussion wurde zudem herausgestellt, dass neben der Evidenzbasierung auch die Wirkungsorientierung politischer Entscheidungen stärker gemessen werden müsse. Dabei dürften die neuen Steuerungsinstrumente kein Bypass für den Datenschutz werden, was eine Sektorbetrachtung und eine kritische Begleitung der Neuverknüpfung von Daten erfordere. Dazu bedürfe es grundlegender Weichenstellungen etwa in der Bildung, in der die notwendigen Kompetenzen vermittelt werden sollen, um Herr über die Technik zu sein.

Session 2: „Individuum & Gesellschaft: Höchstwahrscheinlich wohlsortiert"

Renate Künast (Bündnis 90/Die Grünen) eröffnete Session 2 zum Thema Individuum und Gesellschaft mit der Frage, wie sich die Risiken algorithmischer Sortierungen einhegen lassen. Sie stellte dabei die Rechte und Schutzbedarfe von Bürger*innen und Verbraucher*innen in den Mittelpunkt und lehnte zugleich ab, diese in einen Widerspruch zu den Chancen auf innovativen Wettbewerb zu stellen. Staatliche Regulierung, beispielsweise durch eine Regulierungskommission für algorithmische Steuerung, könne hierfür einen Rahmen schaffen.

Konrad Lischka führte in seinem Vortrag diese Überlegungen zu Handlungsbedarfen fort, ging dabei aber über den Ruf nach Regulierung und Kontrolle hinaus. Die eigentlichen Ziele bestünden seiner Ansicht nach darin, algorithmische Entscheidungsfindung in den Dienst des Gemeinwohls zu stellen und Teilhabe zu stärken. Die notwendige Expertise hierfür könne durch die Institutionalisierung von Foren, die kontinuierlich über Fragen der gesellschaftlichen Angemessenheit algorithmischer Ordnung reflektieren, bereitgestellt werden. Lischka hielt für den Kompetenzaufbau einer positiven algorithmischen Ordnung insbesondere zwei Faktoren für ausschlaggebend: zum einen die gestalterische Rolle des Staates, zum anderen die Bewahrung einer Vielfalt von Anbietern und Betreibermodellen algorithmischer Entscheidungssysteme, die Ergebnisse vergleichbar machen und für Kritik öffnen würden.

Der Ausgangspunkt des Vortrages von Sandra Wachter (Oxford Internet Institute) war die Frage nach den Möglichkeiten, Algorithmen ethisch zu gestalten. Darunter verstand sie Voraussetzungen dafür, algorithmische Entscheidungen anfechten zu können und durch eine entsprechende Informationsbasis zukünftige Entscheidungen beeinflussen zu können. Wachter empfahl eine Erweiterung der Datenschutzgrundverordnung (über den rechtlich nicht bindenden Erwägungsgrund 71 DS-GVO hinausgehend) um ein Recht auf sogenannte counterfactuals. Durch Informationen über kontrafaktische Alternativen, also darüber, welche Angaben gefehlt haben, um ein positives Ergebnis zu erreichen, könnte das Informationsrecht der Bürger*innen und Verbraucher*innen gesichert werden, ohne Unternehmen zur Preisgabe von Geschäftsgeheimnissen zu nötigen.

Mario Martini (Deutsches Forschungsinstitut für die Öffentliche Verwaltung Speyer) stellte in seinem Vortrag die Herausforderungen einer Algorithmenkontrolle für die Rechtsordnung systematisch dar und formulierte eine Reihe nach ihrer zeitlichen Wirksamkeit differenzierter Empfehlungen, die sich an ethischen Leitprinzipien orientieren. Martinis Vorschläge zu präventiven Maßnahmen gingen ebenfalls in Richtung von Informationspflichten und mehr Transparenz über algorithmische Entscheidungsmechanismen. Als begleitende Maßnahmen sah er Validierungs- und Protokollpflichten, die eine Anfechtung der Entscheidungsprozesse ermöglichen. Schließlich forderte er nachträglich wirkende Maßnahmen, wie die Einrichtung von Schlichtungsstellen und die Gewährung von Rechten, z. B. eine Beweislastumkehr, welche die Position der Bürger*innen im Falle einer Anfechtung stärken würden.

Im Anschluss diskutierten die Vortragenden gemeinsam mit Susanne Dehmel (Bitkom) und Julia Krüger (netzpolitik.org) unter Moderation von Tobias Knobloch (Stiftung für neue Verantwortung) über Innovationschancen und wirtschaftliche Rationalität auf der einen Seite und gesellschaftliche Schutzbedarfe und die rechtliche Durchsetzung ethischer Standards auf der anderen Seite. Die Mehrheit sah in einer solchen Güterabwägung keine grundsätzliche Unvereinbarkeit. Ausführlich und durchaus kontrovers wurden die Risiken algorithmischer Diskriminierungen (z. B. bei Scoringverfahren) sowohl unter dem Gesichtspunkt denkbarer Funktionalität als auch im Hinblick auf die Verletzung von Individualrechten debattiert. Konsens herrschte darüber, dass der Einsatz von Algorithmen und KI zur Verbesserung von Entscheidungen beitragen sollte. In diesem Zusammenhang boten sich viele Anknüpfungspunkte an die in Panel 1 aufgeworfene Forderung nach einer grundlegenden Wertedebatte darüber, auf welche gesellschaftlichen Ziele hin Algorithmen optimiert werden sollten. Im Zusammenhang mit der DS-GVO wurde auf die Chancen für die Europäische Union hingewiesen, aufgrund ihrer Marktmacht globale Standards zu setzen. Erweiterungsmöglichkeiten wurden im Bereich teilautomatisierter Entscheidungen und bei ePrivacy gesehen.

Session 3: „Medien & Öffentlichkeit: Maßgeschneidert informiert"

Im ersten Vortrag sprach Prof. Michael Latzer (Universität Zürich) darüber, wie Social Media und Algorithmen das Machtgefüge in der Gesellschaft verändern. Alltagshandlungen seien bereits algorithmisch durchdrungen, etwa durch Spam-Filter, Scoringsysteme oder auch vorhersagende Polizeiarbeit. Algorithmische Selektion würde unser Verhalten prägen und steuern, d. h., was und wie wir denken. Im Unterschied zur massenmedialen Wirklichkeitskonstruktion ergäben sich Risiken durch die Personalisierung, eine veränderte Akteursstruktur und den Technikeinsatz selbst. Dadurch entstünden neue individuelle Risiken, wie etwa Verzerrungen durch Echokammern, Manipulation durch Micro-Targeting, Schwächung der Bindung an die Gesellschaft durch Fragmentierung oder Deindividualisierung durch Dataveillance. Risiken durch eine veränderte Akteursstruktur seien bspw. Kommerzialisierung, digitale Ungleichheiten, Verlust lokaler Werte oder auch Machtverschiebungen durch Flaschenhals-Monopole. Der Einsatz von Technik führe u. a. zu mangelnder Transparenz durch Black-Boxes und zu Verantwortlichkeitsproblemen. Diese möglichen Entwicklungen erforderten eine demokratische Kontrolle und geeignete Governance-Strategien.

Im zweiten Vortrag stellte Tobias Krafft (TU Kaiserslautern) das Projekt „Datenspende: BTW17" sowie eine erste Auswertung dieser Datensammlung vor. Ausgangspunkt war die umstrittene Frage, ob Filterblasen heute schon existieren. Bei der letzten US-Wahl wurde Online-Plattformen Einfluss auf den Wahlausgang zugesprochen, daher sollte die Personalisierung von Suchergebnissen zur Bundestagswahl 2017 untersucht werden. Mithilfe eines Browser-Plug-ins haben über 4000 freiwillige Teilnehmerinnen und Teilnehmer knapp 6 Mio. Ergebnislisten auf die vom Projekt vordefinierten Google-Suchbegriffe (Politiker- und Parteiennamen) gespendet, so Tobias Krafft. Dabei wurde festgestellt, dass es keine gravierenden Unterschiede in den obersten Suchergebnissen aufgrund einer Personalisierung gab. Auch die Nutzung eines Google-Kontos habe keinen relevanten Einfluss gezeigt. Geringfügige Unterschiede wären zum Teil durch Regionalisierung vorhanden. Noch könne man die Ergebnisse nicht verallgemeinern; weitere Untersuchungen stünden aus, bspw. könnte die Personalisierung in Nachrichtenzusammenstellungen oder Sozialen Medien stärker ausgeprägt sein. Jedoch wurde praktisch gezeigt, dass Untersuchungen von Algorithmen auch ohne Einblick in den dahinterliegenden Code durchgeführt werden können.

Zusammen mit den Vortragenden diskutierten Dr. Anja Zimmer (Direktorin der Medienanstalt Berlin-Brandenburg) und Markus Beckedahl (Gründer von netzpolitik.org) unter der Moderation von Dr. Christian Katzenbach (Humboldt Institut für Internet und Gesellschaft) über Algorithmen und die Frage der Filterblasen. Es bestand die Meinung, dass diese in Deutschland noch nicht stark ausgeprägt seien, aber sich besorgniserregende Tendenzen abzeichnen würden. Die Abhängigkeit von den dominanten Plattformen sei zu groß. Jedoch wurde angemerkt, dass Echokammern keine „Gefängnisse" seien, sondern auch Komfortzonen bildeten, also nicht grundsätzlich schlecht seien und durch eigenes Zutun durchbrochen werden könnten. Unabhängig davon müssten unbedingt die Medienvielfalt und damit ihre Schutzwirkung und die Ausweichmöglichkeiten erhalten bleiben. Generell sei weitergehende Forschung erforderlich, die das Informationsverhalten untersucht, wie beispielsweise durch den Citizen-Science-Ansatz und durch Erweiterung des Datenspendeprojekts auf andere Datenbasen. Die Forschung könne durch Black-Box-Analysen erfolgen oder indem Schnittstellen zu den Plattformen für Forschung geschaffen würden. Paradox sei jedoch, dass einerseits mehr Verantwortung durch die Plattformen gefordert werde, aber andererseits die Angst wächst, dass wir beeinflusst werden. Es wurde darauf hingewiesen, dass Unternehmen nicht alleine entscheiden dürfen, was online auffindbar ist. Selbstregulierung, die kontrolliert werde, oder stärkere Regulierung bei Verstößen seien möglich. Kontrollinstanzen für Nachvollziehbarkeit von algorithmischen Ergebnissen sollten geschaffen werden. Gleichwohl sei die Stärkung von Vertrauen, Aufklärung der Bürger und Verbesserung von deren Recherche-Fähigkeiten der staatlichen Regulierung vorzuziehen. Gemeinwohlorientierte Projekte in diesem Bereich sollten stärker durch den Staat gefördert werden.