Kategoriarkiv: Etik

Varför behövs Explainable AI (XAI)?

Våra liv är fyllda av förklaringar. Vi går till doktorn för att få vår onda axel undersökt. Doktorn säger till dig att vila armen och undvik tunga lyft. Dessutom får du ett recept på ett läkemedel. Du undrar direkt, varför behöver jag ta medicin? Du vill också få reda på vilken diagnos doktorn ställt på min axel? Och hur lång tid kommer det ta innan den blir bra? Du frågar efter mängder av förklaringar.

Legendaren Lance Eliot har skrivit en artikel om varför förklarande AI (Explainable AI, XAI) behövs för autonoma fordon [1].

Utmaningen ligger i att ställa rätt fråga och att den som förklarar förstår på vilken nivå förklaringen ska ges. Inte sällan sker förklaringen under en dialog allteftersom mer och mer information faller på plats hos den som ställer frågor.  

När människor interagerar sker denna dialog naturligt. Men vad händer om vi interagerar med en maskin, ett system eller ett autonomt fordon? Inga av dagens AI-baserade system har tillräcklig förmåga att fullständigt känna igen en människas beteende eller tal och därmed får AI-systemet problem att kunna engageras i en naturlig dialog med sina användare.

Tänk dig situationen när du åker i ett autonomt fordon som plötsligt tar en annan rutt än den vanliga eller att fordonet du färdas i plötsligt bromsar kraftigt. I ett vanligt fordon skulle du fråga chauffören varför detta plötsliga beteende. Men hur ska det ske i ett fordon utan mänsklig förare? Ska passageraren koppla upp sig till kundtjänst eller fjärrkontrollcenter?  Det skulle inte skala särskilt bra med flera hundra tusen fordon som samtidigt är ute och kör.

XAI är en mycket viktig komponent för att skapa autonoma fordon. Lämpliga och lägliga förklaringar till fordonets beteende kan vara avgörande för att vi användare ska kunna lita på fordonet.

Sammanfattningsvis, vi som åker med autonoma fordon kommer vilja ha förklaringar av olika slag från fordonet. Ett kostnadseffektivt och lättillgängligt system som kan ge dessa förklaringar skulle förkroppsligas av ett XAI som baseras på det AI-system som kör fordonet.

Egen kommentar

Som AI forskare inses lätt nyttan med denna typ av system, tänk om Alexa eller Siri förstod allt jag vill eller undrar! Samtidigt finns ett spännande kunskapsgap mellan vad som är möjligt att visualisera med avseende på information som ligger till grund för ett beslut i ett AI/Machine learning-system och ett system som kan interagera med en användare och som förstår innebörden av grunderna i beslutet.

Källa

[1] Lance, E, Forbes. Explaining Why Explainable AI (XAI) Is Needed For Autonomous Vehicles And Especially Self-Driving Cars. 2021-04-24 Länk

EU föreslår AI-regelverk

Under veckan har EU-kommissionen presenterat förslag på nya regler och åtgärder för att göra Europa till ett globalt centrum för tillförlitlig artificiell intelligens (AI) [1]. 

Mer specifikt så har kommissionen föreslagit ett rättsligt ramverk för AI samt en ny plan på hur medlemsländerna och kommissionen bör samarbeta och samordna sina aktiviteter för attsäkerställa att AI införs i samhället på ett säkert sätt och i linje med de grundläggande rättigheterna för människor och företag samtidigt som AI-innovationer och implementering stimuleras. Utöver det är planen att ta fram nya regler för maskiner, där säkerhetsreglerna anpassas för att öka användarnas förtroende för den nya generationen av produkter. 

Förhoppningen är att dessa åtgärder ska leda till att människor kan lita på AI samt bana väg för en etisk användning av AI globalt. 

De föreslagna AI-reglerna är anpassade efter risknivån:

  • Oacceptabel risk: AI-system som anses utgöra ett hot mot människors säkerhet, försörjningsmöjligheter och rättigheter kommer att vara förbjudna. Detta inbegriper AI-system eller tillämpningar som manipulerar mänskligt beteende för att kringgå användarnas fria vilja (t.ex. leksaker som använder röstassistans som uppmuntrar minderåriga till farliga beteenden) och system som länder kan använda för ”social poängsättning”.
  • Hög risk: AI-system som anses utgöra hög risk är exempelvis AI-system som används exempelvis i kritiska infrastrukturer som transport och som kan innebära hot mot människors liv och hälsa. AI-system med hög risk kommer att omfattas av strikta skyldigheter innan de släpps ut på marknaden. Exempel på dessa skyldigheter: Loggning av åtgärder för att säkerställa spårbarheten för resultaten, detaljerad dokumentation om systemet och dess ändamål som lämnas in till myndigheter, tydlig och tillräcklig information till användaren, etc. 
  • Begränsad risk: AI-system med särskilda transparenskrav som exempelvis chattbotar som behöver vara så pass transparanta att användarna blir medvetna om att de interagerar med en maskin.
  • Minimal risk: Lagstiftningsförslaget tillåter fri användning av sådana tillämpningar som AI-stödda videospel eller skräppostfilter. Den absoluta majoriteten av AI-systemen tillhör denna kategori. 

När det gäller styrning föreslår EU-kommissionen att de nationella behöriga marknadskontrollmyndigheterna övervakar de nya reglerna. De föreslår också att det inrättas en europeisk nämnd för AI som främjar genomförandet och utvecklingen av AI-standarder. Ett annat förslag är frivilliga uppförandekoder för sådan AI som inte utgör hög risk samt ”regulatoriska sandlådor” som främjar ansvarsfull innovation.

Europaparlamentet och medlemsländerna kommer att behöva anta EU-kommissionens förslag till en europeisk strategi för AI och för maskinprodukter genom det ordinarie lagstiftningsförfarandet. När förordningarna antagits kommer de att vara direkt tillämpliga i hela EU. 

Egen kommentar

AI är en viktig teknik för framtida transporter generellt sett, och inte minst för automatiserade transporter. Personligen tycker jag att det är väldigt positivt att EU tar i ”taktpinnen” och ser till att AI-system inte skapar fler problem än nytta för samhället. Samtidigt är jag osäker på hur detta kommer att fungera i praktiken. Det återstår väl att se. 

Källor

[1] EU Commission Press release. Europe fit for the Digital Age: Commission proposes new rules and actions for excellence and trust in Artificial Intelligence. 2021-04-21 Länk

Integritet i Teslabilar

Den amerikanska konsumentorganisationen Consumer Reports har som vi tidigare nämnt börjat fokusera på integritet och datasäkerhet. Den här gången är det Teslas förarövervakning som hamnat i sökarljuset.

Tesla kritiseras för att deras förarövervakning sker genom att kupén videofilmas men att det inte garanteras att data/videon inte sparas eller delas [1]. Det uttrycks oro för att sådan information ska kunna komma i orätta händer eller användas på oacceptabelt sätt. Tesla ska kunna identifiera vilka förare som inte följer regler och därmed bli avstängda från Teslas tjänster.

Egen kommentar

Att ha koll på föraren har kommit att bli viktigare för fordonstillverkarna i och med att risken för fokusförskjutning ökar med högre automatiseringsnivåer. Detta bör kunna lösas utan allt för stor integritetskränkning, om intresset finns.

Källa

[1] Barry, K., Consumer reports. Tesla’s In-Car Cameras Raise Privacy Concerns. 2021-03-22 Länk

BMW med sju principer kring etisk AI

Med allt mer AI tillämpningar för kunder, produkter, anställda och processer, så utfärdar BMW sju principer för etisk utveckling och tillämpning av AI [1].

De sju principerna berör mänskligt åsidosättande av AI:ns beslut, utveckling av robusta och säkra AI lösningar, integritet, transparens, jämlikhet, klimatet, samhällets välbefinnande samt ansvar.

Project AI, en grupp hos BMW som jobbar med dataanalys och maskininlärning, har skapat en portfölj med över 400 områden i företaget som på ett eller annat sätt tillämpar AI. Flera av dessa listas i [1].

Egen kommentar

Vi vill passa på och påminna om riktlinjerna för etik som publicerades av Europeiska kommissionen för drygt en månad sedan. Det finns tydliga likheter i dessa. Kommisionens riktlinjer är dock skrivna på en högre nivå och riktade mot fler aktörer.

AI-relaterad etik är ett område som kommer behöva utvecklas kraftigt. I slutändan kan (och bör) det vara företagets etikprinciper som avgör vilken produkt eller tjänst som en kund väljer.

Källor

[1] BMW. Seven principles for AI: BMW Group sets out code of ethics for the use of artificial intelligence. 2020-10-12 Länk

Riktlinjer för etik i Europa

Europeiska kommissionen har publicerat en rapport om etik för uppkopplade och automatiserade fordon [1]. Rapporten har tagits fram av en oberoende expertgrupp.

Bland frågorna som rapporten behandlar finns: Vem ska vara ansvarig vid en kollision när det inte finns någon mänsklig förare? Hur kan etisk och ansvarsfull delning av uppkopplade och automatiserade fordon säkerställas? Är fotgängare och cyklister mer utsatta för uppkopplade och automatiserade fordon i trafiken?

Rapporten presenterar också ett tjugotal rekommendationer om trafiksäkerhet, integritet, rättvisa, AI-transparens och ansvar för utveckling och implementering av uppkopplade och automatiserade fordon. Dessa beskrivs i termer som är avsedda att kunna genomföras av tre intressentgrupper: tillverkare och distributörer (t.ex. fordonstillverkare, leverantörer, mjukvaruutvecklare och mobilitetstjänstleverantörer), beslutsfattare (personer som arbetar vid nationella, europeiska och internationella byråer och institutioner som Europeiska kommissionen och EUs nationella ministerier) och forskare (t.ex. personer som arbetar vid universitet, forskningsinstitut och forsknings- och utvecklingsavdelningar).

Rekommendationerna kan sammanfattas på följande vis:

  1. Se till att uppkopplade och automatiserade fordon reducerar fysisk skada på personer.
  2. Förhindra osäker användning genom säker design.
  3. Definiera tydliga standarder för ansvarsfull testning på allmän väg.
  4. Överväga att revidera trafikregler för att främja säkerheten av uppkopplade och automatiserade fordon och undersöka möjligheten för undantag från befintliga regler.
  5. Åtgärda ojämlikheter i skador bland trafikanter.
  6. Hantera dilemma i trafiken genom att skapa principer för riskhantering och etik. 
  7. Värna informationssekretess och samtycke till informationsdelning.
  8. Möjliggör användarval, samtyckesval för informationsdelning och utveckla relaterade branschstandarder för bästa praxis.
  9. Utveckla åtgärder som främjar skydd av individer på gruppnivå.
  10. Utveckla transparensstrategier för att informera användare och fotgängare om datainsamling och deras rättigheter.
  11. Förhindra diskriminering genom tillhandahållande av olika tjänster.
  12. Granska algoritmer för uppkopplade och automatiserade fordon. 
  13. Identifiera och skydda värdefulla data som offentliga och öppna infrastrukturresurser.
  14. Reducera icke-transparens i beslut som fattas av algoritmer. 
  15. Främja data-, algoritm- och AI-bildning samt allmänhetens deltagande.
  16. Identifiera skyldigheter för olika aktörer inom området automatiserade och uppkopplade fordon.
  17. Främja en ansvarskultur.
  18. Säkerställ ansvar för hur uppkopplade och automatiserade fordon beter sig (förklaringsskyldighet).
  19. Främja en rättvis tilldelning av moraliska och juridiska skyldigheter för fordonens beteende.
  20. Skapa rättvisa och effektiva mekanismer för att bevilja ersättning till offer i olyckor med uppkopplade och automatiserade fordon. 

Egen kommentar

Som det framgår ovan är att dessa riktlinjer är skrivna för att tillämpas av tillverkare, beslutsfattare och forskare. Men jag saknar en viktig aktörsgrupp här – slutanvändare. Som användare av ett automatiserat fordon har man också ett ansvar och det borde belysas bättre i rapporten. 

Källor

[1] European Commission. Ethics of Connected and Automated Vehicles Recommendations on road safety, privacy, fairness, explainability and responsibility. 2020-09-18. Länk

Tips på video och podcast

  • Euro NCAPs nya protokoll. Ungefär vartannat år brukar Euro NCAP uppdatera sina testprotokoll. Här kan ni se årets uppdateringar. Länk
  • Mobileye står fast vid sitt löfte. Mobileye (Intel) har lovat att lansera självkörande taxi 2022, och man står fast vid det löftet. Det redogjorde förtagets VD Amnon Shashua vid årets upplaga EcoMotion. Man kommer börja med Jerusalem och sedan sprida tjänsten vidare till Tel Aviv, Frankrike, Sydkorea och Kina. Länk
  • Utmaningar med folks uppfattning. Fram till idag har det gjorts en hel del marknadsundersökningar kring förväntningar på och uppfattningar om automatiserade fordon. Nyligen gjorde organisationen PAVE en sådan undersökning som visar att det finns en del utmaningar. Här kan ni höra några experter diskutera det hela och enligt dem kan utbildning och exponering lösa många frågetecken. Länk
  • Laglig, etisk och robust AI. Detta diskuteras av Fredrik Heintz (adjungerad professor vid Linköpings universitet) och Stefan Larsson (jurist och adjungerad professor vid Lund universitet) inom ramen för Liberal Europe Podcast. Länk
  • Sociotekniska aspekter. Den amerikanska haverikommissionen NTSB anordnade en frågestund kring automatiserade fordon med professor Missy Cummings från Duke University där hon bl.a. belyser sociotekniska aspekter. Länk

Sova i självkörande bilar?

En enkätstudie utförd av SavvySleeper, ett amerikanskt forskningsföretag med fokus på sömn, undersökte om människor kan tänka sig att sova i självkörande bilar [1].

Av de 1000 deltagande i studien så visade det sig att ca 34% var villiga att sova i självkörande bilar, medan ca 41% svarade att de aldrig skulle sova i en självkörande bil, och ca 13% svarade att de skulle vara bekväma med att göra det.

Anledningen till att inte vilja sova i självkörande fordon rapporteras vara bristen på kontroll över fordonet och brist på trilltro för andra bilister.

Egen kommentar

Frågan om att sova i en självkörande bil är delvis lik frågan om att vara alkoholpåverkad i en självkörande bil. Det är i min mening inte säkert att självkörande fordon kan hantera precis alla uppgifter och att passagerare inte har något ansvar alls.

Ni som har tillgång till Wall Street Journal kan också läsa en annan artikel på samma tema – där intervjuas Mikael Ljung Aust, forskare och säkerhetsexpert vid Volvo Cars.

Källa

[1] Connected Automated Driving. Are you willing to sleep in your self driving car? 2020-04-09 Länk

Drive Sweden Forum 2019

I går 12 september gick årets Drive Sweden Forum av stapeln med ca 270 deltagare. Drive Sweden är ju ett av 17 strategiska innovationsprogram (SIP) som finansieras av Vinnova, FORMAS och Energimyndigheten. Lindholmen Science Park är värdorganisation med Sofie Vennersten som programledare och Jan Hellåker som ordförande och har mer än 120 partners från 13 länder – 4 nya medlemmar presenterades på konferensen. Programmet blir alltmer internationellt, med samverkan såväl i EU- finansiering som gemensamma projekt. Man har också nu en person i Silicon Valley och har samarbete med Singapore.

Drive Sweden finansierar lite mer banbrytande projekt inom hållbar mobilitet, som exempelvis KOMPIS, LIMA och KRABAT. Man ger också ut nyhetsbrevet Smart Mobility samt har ett antal andra aktiviteter. Man gör nu ett omtag och lanserar en ny struktur, med delarna Society Planning, Digital Infrastructure, Policy Development, Business Models och Public Engagement, med fokus på såväl person- som godstransporter. Man har nu en öppen utlysning Innovationer för ett digitaliserat och automatiserat transportsystem för människor och gods som stänger 5 november.

Här korta sammanfattningar från några av konferensens föredrag.

David Green från Lynk & Co pratade om företagets vision att förändra mobilitet med hjälp av digitalisering för att ge en bättre kundupplevelse. För detta krävs samverkan med externa parter och man har skapat en öppen samverkansplattform colab.lynkco.com.

Ulrik Janusson och Marie Bemler från Scania visade några framtida möjliga scenarios för digitalisering inom godstransporter. Två viktiga parametrar är öppenhet i delning av data och hur mycket klimatfrågan slår igenom.

Hur kan man samverka med allmänheten när man designar framtida mobilitetstjänster och därmed nå en bättre acceptans för till exempel självkörande fordon? Detta har Vaike Fors från Högskolan i Halmstad studerat. En lärdom är att man måste gå bortom att bara titta se ”användare” och ”stadsinvånare” till att se alla som människor med olika behov, kunskaper och värderingar.

Våra kollegor Kent Eric Lång och Håkan Burden från RISE Viktoria berättade om policy-labbprojektet PLATT som tittar på möjliga strategier för att underlätta för självkörande fordon även från nya aktörer. En viktig strategi är att kunna bygga förtroende, trust, istället för tidigare typgodkännande-rutiner. Projektet är snart slut och man söker nu nya initiativ runt policy-utveckling.

Samtidigt måste samhället kunna hantera både att skapa goda näringslivsförutsättningar för ny teknologi och också bibehålla och förbättra säkerheten i trafikmiljön och därmed bygga förtroende, vilket Anna Fridén från KOMET, Kommittén för teknologiskt innovation och etik som den svenska regeringen tillsatt, berättade om.

Stefan Myhrberg från Ericsson talade om digital infrastruktur för automatiserade fordon, där man bland annat etablerat Drive Sweden Innovation Cloud, där Drive Sweden-medlemmar kan lagra och dela data från fordon, infrastruktur, parkeringsplatser, kameror etc. 5G är då en möjliggörare för att tillräckligt snabbt hantera de stora datamängderna som krävs när många enheter blir uppkopplade.

Olof Johansson från Trafikverket visade en ny färdplan för ett uppkopplat och automatiserat vägsystem. Färdplanen har identifierat 20 åtgärder i 4 kluster: Ökad kunskap om automatiseringens effekter (t.ex. tester och demonstrationer), Effektivt utnyttjande av kapacitet (t.ex. MaaS), Hållbart och säkert transportsystem genom digitalisering (t.ex. miljözoner) och Nya planeringsstöd för ökad användbarhet (t.ex. simuleringsmodeller). Nästa steg är att implementera åtgärderna. Suzanne Andersson från Trafikkontoret i Göteborg pratade om några utmaningar som då uppstår för samhällsplanerarna, som att städer utvecklas långsamt och man måste ta hänsyn till kommungränser.

En svårighet är att hitta och välja rätt affärsmodell för nya mobilitetslösningar. Rami Darwish från KTH berättade om ett affärsmodell-labb som man jobbar med inom ITRL ihop med Sustainable Innovation. I en paneldiskussion med Li Höglund från SnappCar, Stina Wärn från Folksam, Ulf Hammarberg från DHL och Mikael Rönnholm från CEVT, ledd av Roland Elander från Sustainable innovation, diskuterades detta. En nyckel är att lyssna till användarna och att vara beredd att göra snabba ändringar. Data från fordon och tjänster är också viktiga informationskällor. Men informationen måste då skyddas från intrång. Även regelverken måste kunna anpassas snabbt, med elsparkcyklar som ett aktuellt exempel. E-handel är ett annat område där affärsmodellerna behöver anpassas att bli både mer hållbara men ändå lönsamma. För industrin behöver affärsmodeller och leverantörskedjor också bli mer öppna att inkludera även lösningar från små entreprenörsföretag. Utvecklingen går både fortare och långsammare, beroende på område, än vad många tror. Man måste alltså jobba både kort- och långsiktigt.

Martin Svensson från AI Innovation of Sweden pratade om AI i det framtida transportsystemet, på komponent-, system- och samhällsnivå. Det finns stora möjligheter men mycket återstår att göra. Mats Nordlund från Zenuityvisade exempel på hur de använder AI och maskininlärning i sin verksamhet.

Joakim Jonsson från Volvo Bussar berättade om arbetet med autonoma stadsbussar som är kopplat till KRABAT-projektet. Man kan inte börja med att köra helt autonomt utan har identifierat 3 möjliga användningsfall: hållplatskörning, busståg och rangering i bussdepå. Se filmen nedan.

Hur borde automatiserade fordon köra?

En grupp forskare vid tyska Institute for Human Development och University of Göttingen har utforskat hur automatiserade fordon borde agera i säkerhetskritiska situationer [1].

I en online frågeformulär genererad via Amazon Mechanical Turk fick 872 deltagare ta ställning till bilen som de färdades i borde stanna i sitt körfält och krocka med en fotgängare eller väja undan och krocka med en annan trafikant. De fick erfara olika scenarier med olika risknivåer.

Resultaten visar att majoriteten av deltagarna föredrog att stanna i sitt körfält. Dessutom var deltagarna mindre benägna att ändra sin ställning efteråt om de hade valt alternativet att stanna i sitt körfält.

En slutsats från studien är att det är moraliskt mer rätt att bilen stannar i sitt körfält om en olycka är oundviklig.

Källor

[1] Meder et al., 2018. Risk Analysis. How Should Autonomous Cars Drive? A Preference for Defaults in Moral Judgments Under Risk and Uncertainty. Länk

 

Mer jordnära etiska problem

I en notis om vad som hänt under sommaren skrev vi om de etiska riktlinjerna som den tyska regeringen gett ut. Bland annat skriver man:

”Hur mycket beroende av tekniskt komplexa system – som i framtiden kommer att baseras på artificiell intelligens, eventuellt med maskininlärningsförmåga – är vi villiga att acceptera, för att i gengäld få mer säkerhet, rörlighet och bekvämlighet? Vilka försiktighetsåtgärder måste vidtas för att säkerställa kontrollerbarhet, öppenhet och datautonomi? Vilka tekniska utvecklingsriktlinjer krävs för att inte sudda ut konturerna av ett mänskligt samhälle som ställer individer, deras frihet till utveckling, deras fysiska och intellektuella integritet och deras rätt till social respekt i hjärtat av sin rättsordning?”

Det finns mycket skrivet om etik i samband med självkörande fordon, men oftast hamnar man i ”the trolley problem” om fordonen måste programmeras att välja vilka de ska köra på. Men OS News kommenterar de tyska riktlinjerna med några nya, mer jordnära perspektiv [1]:

”Utöver den etik som är relaterad till liv och död finns det dock också enklare, mer banala etiska överväganden. Till exempel om en biltillverkare för att öka vinsten gör ett avtal med McDonalds och anpassar sitt självkörande bilprogram bara lite grann, så att fordonet kör kunderna förbi McDonalds lite oftare, även om det ökar den totala restiden. Vad händer om en biltillverkare gör liknande avtal med stora affärskedjor så att mindre kedjor eller fristående butiker inte ens dyker upp när du säger ”ta mig till närmaste plats som säljer X”? Är det något vi borde tillåta?

Ska vi över huvud taget tillåta programvara för självkörande bilar att vara stängd? Bilar är ”lagliga mordvapen”, och litar vi verkligen på bilfabrikanterna att inte ”gena” när de utvecklar självkörande bilars programvara, för att möta deadlines, på grund av dålig ledning eller underbetalade utvecklare? Ska inte all denna utveckling och all denna kod vara öppen för världen att se?”

Källor

[1] Thom Holwerda: Germany publishes ethical guidelines for self-driving cars, OS News 2017-08-26 Länk