Kategoriarkiv: Etik

Etik, Lagstiftning och regelverk

Tesla vann i rätten

Tesla ansågs inte vara ansvariga för den olycka som skett i Kalifornien där en förare påstått att fordonets förarstödssystem orsakat kollisionen med ett vägräcke [1].

Föraren stämde Tesla efter olyckan och påstod att Autopilot var defekt. Föraren tog också skada från Airbagen som utlöstes. Juryn bedömde att Autopilot fungerat som det ska, att Tesla varnat användare om att inte köra i stadstrafik med Autopilot, samt att Airbagen utlösts felfritt.

Egen kommentar

Det här resultatet kan bli som ett rättesnöre för framtida rättegångar kring förarstödssystem och liknande olyckor. Det som blev tydligt, även om det kan anses självklart, är att det inte räcker med att Autopilot var aktiverat under olyckan för att lägga någon skuld på Tesla.

Källa

[1] Korosec, K., Tech Crunch. Tesla wins Autopilot crash case in California. 2023-04-21 Länk

Etik, Funktionell säkerhet, Samhällspåverkan, Samverkan människa - maskin, Trafiksäkerhet

Hit-and-runs med AV

NBC News har undersökt olycksrapporterna för autonoma fordon från California Department of Motor Vehicles (DMV) och sett att det under 2022 skett 36 olyckor där den mänskliga motparten i olyckan flytt olycksplatsen (eng: hit-and-run) [1].

Vi skrev i höstas (här) om en undersökning av olycksdatat från San Francisco, där forskare observerade en ökning i kollisioner bakifrån (eng: rear-end collision) med 43% för autonoma fordon jämfört med mellan manuellt framförda fordon. Det är den här typen av kollisioner som också verkar vara överrepresenterade i hit-and-runs.

Det är inte fastställt om hit-and-runs sker oftare med autonoma fordon än mellan manuellt framförda fordon. Det finns ännu inte tillräckligt med data.

Egen kommentar

Om det nu är så att hit-and-runs sker oftare när autonoma fordon är inblandade kan jag tänka mig flera olika orsaker: autonoma fordon testas i större utsträckning på natten då det är färre människor i omgivningen, olyckorna kanske anses mindre allvarliga eftersom autonoma fordonen kör i lägre hastigheter och ibland är tomma på passagerare, samt att den mänskliga motparten kan tro att det är lättare att komma undan (vilket inte bör stämma då fordonen förstås är utrustade med kameror).

Källa

[1] Ingram, D., NBC News. San Francisco’s self-driving cars have a hit-and-run problem. Usually, they’re the victims. 2023-03-29 Länk

Etik, Samhällspåverkan

Cruise vill skilja på äpplen och päron

Cruise medgrundare delar sina tankar kring senaste AAA-undersökningen, begrepp för AD och slänger en peak till Tesla [1].

Förra veckan skrev vi om AAA:s enkätundersökning där 68% sa att de var rädda för ADS-teknik. Detta är en ökning från 55% 2022, vilket inte är helt förvånande med tanke på rapporteringen av ett antal uppmärksammade olyckor de senaste åren.

Denna lägesbild frustrerar Kyle Vogt (medgrundare av Cruise Automation som General Motors förvärvade 2016) som vid ett framträdande på SXSW tog upp att det finns en förvirring över vad som är självkörande och att det finns företag som säljer produkter med ”full självkörning” men som, när något oväntat händer, lämnar över kontrollen av fordonet till föraren vilket kan leda till en väldigt skrämmande upplevelse.

Cruise egen erfarenhet är att hälften av de tillfrågade från början är skeptiska till självkörande bilar men när de väl åkt med vill 92 % göra det igen. Om vissa företag felmärker sina system som fullständigt självkörande när de inte är det så är det ett problem för oss alla, tillägger han. Han nämner också insikter vad gäller utmaningen att nå ”full självkörning”. ”Att tillverka fordon är svårt. Att bygga sensorer och ett system som i grunden är en superdator på hjul är svårt. Att utveckla AI och integrera det i ett system som fungerar i en mycket komplex miljö är svårt.”

Egen kommentar

Oavsett anledning är det beklagligt om tillverkare försvårar för allmänheten att skilja på ADAS (assistanssystem) och högre nivå ADS (autonomt system). Däremot kan det snabbt bli komplicerat att förstå begränsningarna med olika specifika system med tanke på att funktionalitet kan variera beroende på hur väg- och körförhållandena (ODD) varierar.

Källa

[1] Yao, D., IoT World Today. Self-Driving Cars Ready to Scale: SXSW 2023. 2023-03-15 Länk

Etik, Lastbilar, Trafiksäkerhet

TuSimples säkerhetskultur ifrågasätts

Amerikanska teknikföretaget TuSimple, som utvecklar självkörande teknologi för lastbilar, har blivit stämda av andelsägare i företaget på grund av påstådd bristande säkerhetskultur [1, 2].

6e april 2022 spreds en video på nätet där en av TuSimples lastbilar krockade med en betongbarriär, en sådan som avskiljer mötande trafik. Enligt TuSimples förklaring aktiverade en säkerhetsförare det autonoma körsystemet utan att ha uppfyllt tekniska krav för aktiveringen vilket resulterade i att fordonet väjde aggressivt åt vänster.

National Highway Traffic Safety Administration (NHTSA) kräver olycksrapporter från sådana incidenter, vilket vi skrivit om här. I rapporten kring händelsen har TuSimple uppgivit att det är oklart om fordonet varit i autonomt körläge någon gång 30 sekunder innan olyckan.

Enligt stämningsansökan föll TuSimples aktier med nästan 1 USD, från 9,96 USD den 29 July till 8,99 USD 1a agusti, efter att olyckan rapporterades om. Vidare påstår stämningsansökan att:

  • TuSimple’s commitment to safety was significantly overstated and it concealed fundamental problems with the company’s technology.
  • The manufacturer was rushing the testing of its autonomous driving technology in order to deliver driverless trucks to the market ahead of its more safety-conscious competitors.
  • There was a corporate culture within the company that suppressed or ignored safety concerns in favor of unrealistically ambitious testing and delivery schedules.
  • The aforementioned conduct made accidents involving the company’s autonomous driving technology more likely.
  • The aforementioned conduct invited enhanced regulatory scrutiny and investigatory action toward the company.

Källor

[1] Fisher, T., Land Line. TuSimple truck incident leads to investor lawsuit. 2022-09-02 Länk

[2] Robbins LLP. Business Wire. TuSimple Holdings, Inc. Shareholder Alert: Robbins LLP Informs Investors of Class Action Against TuSimple Holdings, Inc. (TSP). 2022-09-02 Länk

Etik, Forskningsprojekt, Okategoriserade

Manligt-och-kvinnligtperspektiv på AV i Project Diamond

Det EU-finansierade projektet Project Diamond som pågick mellan November 2018 och Oktober 2021 har publicerat sina resultat ifrån arbetet där man undersökt jämställdhet i nutida och framtida transportsystem. De har också tagit fram riktlinjer för utveckling av mer inkluderande autonoma fordon, med betoning på flickor och kvinnor som användare [1].

I en enkätstudie som utförts inom ramarna för projektet med 3783 deltagare har forskarna undersökt acceptans av autonoma fordon och jämfört mellan kvinnor och mäns svar. Resultaten visade att kvinnor överlag hade en lägre acceptans för autonoma fordon. Utöver detta så utfördes även en simulatorstudie för att undersöka könsrelaterade behov, preferenser och stressfaktorer mellan män och kvinnor som tillsammans med enkäten blev grunden för riktlinjerna som presenteras i arbetet.

Strategierna som man identifierat i rapporten utgår från ett human-factors perspektiv där man tar upp bl.a. att man historiskt har designat ergonomin i fordon utefter genomsnittsmannens fysiska egenskaper, till vilket forskarna föreslår att man inkluderar fler kroppstyper för att öka säkerheten och acceptansen av autonoma fordon för kvinnor. Andra riktlinjer ifrån arbetet är b.la att utforska behov ifrån ett manligt-och-kvinnligtsperspektiv gällande exempelvis möjliggörandet av olika icke-körrelaterade aktiviteter, interaktion mellan passagerare, samt kommunikation ifrån förargränssnitt.

Källor

[1] Project Diamond. Guidelines – Autonomous vehicles through gender perspective glasses. 2021-01-19 Länk

Etik, Lagstiftning och regelverk, Okategoriserade

UK riktlinjer för AD & ADAS marknadsföring

Storbritanniens branschförening för motorfordon Society of Motor Manufacturers and Traders (SMMT) har publicerat riktlinjer för marknadsföring av automatiserade fordon [1].

Riktlinjerna har tagits fram i samarbete med industri av en grupp inom Storbritanniens Centre for Connected and Autonomous Vehicles som i sin tur bl.a. är del av Storbritanniens transportdepartement. Målet med riktlinjerna är att konsumenter hädanefter får tydlig information om automatiserade körfunktioner som finns i fordon på marknaden.

Det finns en punktlista med riktlinjerna i källan.

Källa

[1] SMMT. SMMT publishes guiding principles for marketing automated vehicles. 2021-11-22 Länk

Etik, Lagstiftning och regelverk, Okategoriserade, Trafiksäkerhet

Får autonoma fordon bryta mot trafikregler?

Skriver av Maria Ulan och Daban Rizgary

Det är inte säkert att dagens trafikregler är optimalt anpassade efter autonoma fordon. En grupp forskare ifrån Storbritannien, Australien och Nederländerna har utforskat vad som krävs för att undvika skapandet av nya trafikregler specifikt för autonoma och uppkopplade fordon (CAV), men samtidigt driftsätta CAV på ett säkert sätt [1].

Efter en undersöknings kring hur CAV ska förhålla sig till trafikregler i två specifika situationer: fortkörning och överträdelse på trottoarer så kom forskarna fram till att det dels är olämpligt att skapa specifika regler för CAV, och att de inte kunde komma överens om hur CAV ska förhålla sig till de existerande trafikreglerna.

Slutligen så föreslår forskarna att man skapar en sorts AI-hybrid där man kompletterar maskininlärning som driver CAV med vad som kallas för symboliska algoritmer för att begränsa fordonets beteende inom gränser baserade på regler. D.v.s att man implementerar funktioner som definierar ”bra” och ”dåligt” beteende. Dessa funktioner föreslås bli specifika i olika delar av världen och att man tar i åtanke lokala trafik- och sociala regler i trafiken.

Källa

[1] Reed, N., Leiman, T., Palade, P., Martens, M., & Kester, L. Ethics and Information Technology. Ethics of automated vehicles: breaking traffic rules for road safety. 2021-11 Länk

Etik, Informationssäkerhet, Lagstiftning och regelverk, Okategoriserade

Tesla lagrar viktig olycksdata

Ett statligt forensiskt laboratorium i Nederländerna vid namn Netherlands Forensic Institute (NFI) har meddelat att de lyckats avkoda elfordonstillverkaren Teslas datalagringssystem, och att man hittat datapunkter som kan underlätta forensiska olycksutredningar [1].

Det har tidigare varit känt att Tesla fordon lagrar data från olyckor, men labbet har hittat mer data än de innan trodde fanns. Man har hittat data kring hastighet, position av accelerationspedalen, rattstyrsvinkel, och bromsanvändning.

Det här är enligt labbet viktiga datapunkter för forensiska olycksutredningar.

Egen kommentar

Det har nyligen också blivit känt att den amerikanska säkerhetsmyndigheten National Highway Traffic Safety Administration (NHTSA) som just nu gör en utredning kring Tesla olyckor, som vi skrev om här, kommer att få en ny säkerhetsrådgivare som heter Missy Cummings [2]. Detta bådar intet gott för Tesla eftersom Cummings sedan tidigare har varit öppen med att kritisera Tesla.

Källor

[1] Carey, N., Reuters. Exclusive-Dutch forensic lab says it has decoded Tesla’s driving data. 2021-10-21 Länk

[2] Bell, S., Carscoops. Biden Administration Appoints Tesla Critic Missy Cummings As NHTSA Safety Advisor. 2021-10-20 Länk

Artificiell intelligens, Etik, Fordon, HMI, Inspiration, Mjukvara, Okategoriserade, Samverkan människa - maskin

Varför behövs Explainable AI (XAI)?

Våra liv är fyllda av förklaringar. Vi går till doktorn för att få vår onda axel undersökt. Doktorn säger till dig att vila armen och undvik tunga lyft. Dessutom får du ett recept på ett läkemedel. Du undrar direkt, varför behöver jag ta medicin? Du vill också få reda på vilken diagnos doktorn ställt på min axel? Och hur lång tid kommer det ta innan den blir bra? Du frågar efter mängder av förklaringar.

Legendaren Lance Eliot har skrivit en artikel om varför förklarande AI (Explainable AI, XAI) behövs för autonoma fordon [1].

Utmaningen ligger i att ställa rätt fråga och att den som förklarar förstår på vilken nivå förklaringen ska ges. Inte sällan sker förklaringen under en dialog allteftersom mer och mer information faller på plats hos den som ställer frågor.  

När människor interagerar sker denna dialog naturligt. Men vad händer om vi interagerar med en maskin, ett system eller ett autonomt fordon? Inga av dagens AI-baserade system har tillräcklig förmåga att fullständigt känna igen en människas beteende eller tal och därmed får AI-systemet problem att kunna engageras i en naturlig dialog med sina användare.

Tänk dig situationen när du åker i ett autonomt fordon som plötsligt tar en annan rutt än den vanliga eller att fordonet du färdas i plötsligt bromsar kraftigt. I ett vanligt fordon skulle du fråga chauffören varför detta plötsliga beteende. Men hur ska det ske i ett fordon utan mänsklig förare? Ska passageraren koppla upp sig till kundtjänst eller fjärrkontrollcenter?  Det skulle inte skala särskilt bra med flera hundra tusen fordon som samtidigt är ute och kör.

XAI är en mycket viktig komponent för att skapa autonoma fordon. Lämpliga och lägliga förklaringar till fordonets beteende kan vara avgörande för att vi användare ska kunna lita på fordonet.

Sammanfattningsvis, vi som åker med autonoma fordon kommer vilja ha förklaringar av olika slag från fordonet. Ett kostnadseffektivt och lättillgängligt system som kan ge dessa förklaringar skulle förkroppsligas av ett XAI som baseras på det AI-system som kör fordonet.

Egen kommentar

Som AI forskare inses lätt nyttan med denna typ av system, tänk om Alexa eller Siri förstod allt jag vill eller undrar! Samtidigt finns ett spännande kunskapsgap mellan vad som är möjligt att visualisera med avseende på information som ligger till grund för ett beslut i ett AI/Machine learning-system och ett system som kan interagera med en användare och som förstår innebörden av grunderna i beslutet.

Källa

[1] Lance, E, Forbes. Explaining Why Explainable AI (XAI) Is Needed For Autonomous Vehicles And Especially Self-Driving Cars. 2021-04-24 Länk

Artificiell intelligens, Etik, Inspiration, Lagstiftning och regelverk

EU föreslår AI-regelverk

Under veckan har EU-kommissionen presenterat förslag på nya regler och åtgärder för att göra Europa till ett globalt centrum för tillförlitlig artificiell intelligens (AI) [1]. 

Mer specifikt så har kommissionen föreslagit ett rättsligt ramverk för AI samt en ny plan på hur medlemsländerna och kommissionen bör samarbeta och samordna sina aktiviteter för attsäkerställa att AI införs i samhället på ett säkert sätt och i linje med de grundläggande rättigheterna för människor och företag samtidigt som AI-innovationer och implementering stimuleras. Utöver det är planen att ta fram nya regler för maskiner, där säkerhetsreglerna anpassas för att öka användarnas förtroende för den nya generationen av produkter. 

Förhoppningen är att dessa åtgärder ska leda till att människor kan lita på AI samt bana väg för en etisk användning av AI globalt. 

De föreslagna AI-reglerna är anpassade efter risknivån:

  • Oacceptabel risk: AI-system som anses utgöra ett hot mot människors säkerhet, försörjningsmöjligheter och rättigheter kommer att vara förbjudna. Detta inbegriper AI-system eller tillämpningar som manipulerar mänskligt beteende för att kringgå användarnas fria vilja (t.ex. leksaker som använder röstassistans som uppmuntrar minderåriga till farliga beteenden) och system som länder kan använda för ”social poängsättning”.
  • Hög risk: AI-system som anses utgöra hög risk är exempelvis AI-system som används exempelvis i kritiska infrastrukturer som transport och som kan innebära hot mot människors liv och hälsa. AI-system med hög risk kommer att omfattas av strikta skyldigheter innan de släpps ut på marknaden. Exempel på dessa skyldigheter: Loggning av åtgärder för att säkerställa spårbarheten för resultaten, detaljerad dokumentation om systemet och dess ändamål som lämnas in till myndigheter, tydlig och tillräcklig information till användaren, etc. 
  • Begränsad risk: AI-system med särskilda transparenskrav som exempelvis chattbotar som behöver vara så pass transparanta att användarna blir medvetna om att de interagerar med en maskin.
  • Minimal risk: Lagstiftningsförslaget tillåter fri användning av sådana tillämpningar som AI-stödda videospel eller skräppostfilter. Den absoluta majoriteten av AI-systemen tillhör denna kategori. 

När det gäller styrning föreslår EU-kommissionen att de nationella behöriga marknadskontrollmyndigheterna övervakar de nya reglerna. De föreslår också att det inrättas en europeisk nämnd för AI som främjar genomförandet och utvecklingen av AI-standarder. Ett annat förslag är frivilliga uppförandekoder för sådan AI som inte utgör hög risk samt ”regulatoriska sandlådor” som främjar ansvarsfull innovation.

Europaparlamentet och medlemsländerna kommer att behöva anta EU-kommissionens förslag till en europeisk strategi för AI och för maskinprodukter genom det ordinarie lagstiftningsförfarandet. När förordningarna antagits kommer de att vara direkt tillämpliga i hela EU. 

Egen kommentar

AI är en viktig teknik för framtida transporter generellt sett, och inte minst för automatiserade transporter. Personligen tycker jag att det är väldigt positivt att EU tar i ”taktpinnen” och ser till att AI-system inte skapar fler problem än nytta för samhället. Samtidigt är jag osäker på hur detta kommer att fungera i praktiken. Det återstår väl att se. 

Källor

[1] EU Commission Press release. Europe fit for the Digital Age: Commission proposes new rules and actions for excellence and trust in Artificial Intelligence. 2021-04-21 Länk