Kategoriarkiv: Funktionell säkerhet

Forskare varnar: Enkelt att lura AI-algoritmer för autonoma fordon

Forskare vid universitetet i Tübingen (Tyskland) har nu visat hur AI-algoritmer, som omvandlar kamerabilderna i självkörande bilar till körinstruktioner, är lätta att lura [1].

Enkla färgmönster på en T-shirt, en bildekal eller ett emblem på en shoppingväska kan räcka för att förvirra autopiloten i självkörande fordon. Forskarna varnar nu bilbranschen och har redan informerat vissa biltillverkare som för närvarande jobbar med att utveckla självkörande fordon.

Källa:

[1] Hammerschmidt, C., How simple it is to fool AI algorithms for autonomous vehicles. Smart2.0  2019-10-29 Länk

UL 4600 och PAS 1881

Förra veckan skrev vi om att ett utkast av standarden UL 4600 blivit publicerad och är öppen för kommentarer. I filmen nedan presenteras en sammanfattning för de som inte har tid att gå igenom 293 sidor!

Utöver detta finns det ett utkast av den brittiska säkerhetsstandarden PAS 1881 Assuring safety for automated vehicle trials and testing att tillgå. Precis som utkastet av UL 4600 så är PAS 1881 utkastet också öppet för kommentarer till den 1 november. 

NTSB släpper rapport om Teslakrasch

National Transportation Safety Board (NTSB) har släppt en rapport om kraschen med en Tesla Model S som var på Autopilot och en brandbil som väckte stor uppmärksamhet när den hände förra året [1].

NTSB kunde bekräfta att Autopilot användes vid kraschen och att föraren inte hade sina händer på ratten. Detta är dock en felaktig beskrivning av NTSB baserat på data från Tesla. Tesla har ingen möjlighet att upptäcka om föraren har händerna är på ratten. Tesla har endast möjlighet att upptäcka är om föraren vrider hjulen. Därför kan de aldrig hävda att ”föraren inte hade sina händer på ratten” som NTSB gör i denna rapport.

Tesla gjorde sin egen utredning och påstår sig ha ett vittne som såg föraren använt sin telefon ögonblicken före kraschen.

I en intervju med NTSB förnekar föraren att han använt sin telefon vid kraschen, men medger att han har druckit kaffe och ätit när han körde på Autopilot fram till kraschen.

NTSB kom inte fram till någon specifik slutsats om orsaken till olyckan.

Källa:

[1]Lambert,F., Tesla driver was eating and drinking during publicized Autopilot crash, NTSB reports. 2019-09-03 Länk

Säkerhet Först

Säkerhet först för automatiserad körning, eller som det heter på engelska Safety First for Automated Driving (SaFAD), är en ny rapport som publicerats av 11 organisationer: Audi, BMW, Daimler, Fiat Chrysler, Volkswagen, Continental, Aptiv, Baidu, HERE, Infineon och Intel [1]. 

Den beskriver hur man ställer säkerheten i spetsen för att utveckla, testa och driva automatiserade fordon. Målet är att ”systematically break down safety principles into safety by design capabilities, elements and architectures and then to summarize the V&V methods in order to demonstrate the positive risk balance”.

Rapporten beskriver tolv principer:

  1. Säker drift: Hur systemet reagerar om kritiska komponenter blir instabila eller upphör att fungera. 
  2. Säkerhetslager: Systemet känner igen sina gränser och minimerar risken för att återställa kontrollen till föraren.
  3. Operations Design Domain (ODD): De driftsförhållanden där systemet är utformat för att fungera.
  4. Beteende i trafiken: Systembeteendet måste vara lätt att förstå och förutsägbart för kringliggande trafikanter.
  5. Användarens ansvar: Användarens tillstånd måste vara lämpligt för ett övertagande.
  6. Fordonsinitierad överlåtelse: Om föraren inte följer en övertagandeförfrågan måste det automatiska körsystemet utföra en manöver för att minimera risken.
  7. Förarens initierade överlåtelse: Aktivering och avaktivering av det automatiska körsystemet måste kräva en explicit avsikt från föraren.
  8. Effekter av automation: Övergripande utvärdering av systemsäkerhet ska ta hänsyn till effekter på föraren.
  9. Säkerhetsbedömning: Verifiering och validering ska användas för att säkerställa att säkerhetsmålen är uppfyllda.
  10. Datainspelning: När en händelse eller incident upptäcks ska automatiska fordon registrera relevanta uppgifter på ett sätt som överensstämmer med gällande sekretesslagar.
  11. Informationssäkerhet: Åtgärder ska vidtas för att skydda det automatiska körsystemet från säkerhetshot.
  12. Passiv säkerhet: Fordonslayout ska ta emot förändringar i kraschscenarier som uppstått på grund av automationen.

Samtidigt som SaFAD-rapporten publicerats så har den europeiska fordonsleverantörsorganisationen CLEPA bett Nvidia [2] att leda en arbetsgrupp som ska ta fram utvärderingsmetoder för uppkopplade och automatiserade fordon. En ny standard, ISO 21448 Safety of the Intended Functionality (SOTIF), är också under utveckling [3]. Utöver det utvecklar Underwriters Labs en säkerhetsstandard, UL4600 Standard for Safety for the Evaluation of Autonomous Products [4]. Skillnaden gentemot andra standarder som ISO 26262 och ISO/PAS 21448 beskrivs så här: Rather than require a particular technical approach, UL 4600 concentrates on ensuring that a valid safety case is created. A safety case includes three elements: goals, argumentation, and evidence. 

Egen kommentar

Jag har inte hunnit läsa hela SaFAD-rapporten (den är på 146 sidor) men rent spontant känns det bra med ett sådant dokument, det kommer nog komma till användning. Frågan är bara om andra aktörer som inte varit med och utvecklat rapporten kan och vill ställa sig bakom den och också börja applicera den? Och hur kommer de olika initiativen att förhålla sig till varandra? Tiden får visa.

Källor

[1] Safety First for Automated Driving. 2019-07-02 Länk

[2] NVIDIA to lead European working group on highly connected automated vehicles, Green Car Congress 2019-07-02 Länk

[3] Sam Abuelsamid: Chip Vendors Intel And Nvidia Dive Into Validating Automated Driving Safety, Forbes 2019-07-02 Länk

[4] Koopman, P., Edge Case Research. An Overview of Draft UL 4600: “Standard for Safety for the Evaluation of Autonomous Products”. 2019-06-20 Länk

Mer om SOTIF

Förra veckan skrev vi om den nya säkerhetsstandarden ISO 21448: Safety of the Intended Functionality (SOTIF).

Här kan ni läsa några reflektioner kopplade till ämnet skrivna av veteranen inom branschen Peter Els. Han menar att oavsett standarder så måste automatiserade fordon i slutändan uppfylla allmänhetens förväntningar på säkerhet: And by conforming to the Safety of the Intended Functionality, AVs may just live up to human expectations regarding safety… [1].

Källor

[1] Els, P., Automotive iQ, Rethinking Autonomous Vehicle Functional Safety Standards: An Analysis of SOTIF and ISO 26262. 2019-03-25 Länk

Open Innovation Lab presenteras

Under veckan hölls ett event för att presentera resultaten av forskningsprojektet Open Innovation Lab (OIL) med parterna RISE Viktoria, VTI, Volvo Cars, AB Volvo, Semcon och HiQ [1] .

Projektets syfte var att utveckla en öppen, licensfri simuleringsplattform, en verktygskedja för att stödja utveckling, test och demonstration av mjukvarukomponenter för fordon, samt att demonstrera öppen innovation baserad på dessa.

Projektet var uppdelat i två huvudaktiviteter för att uppnå detta.

Den första aktiviteten var att utveckla en öppen platform för att skapa simulatorer i vilka mjukvaruutvecklare snabbt kan utveckla, testa och visa upp sina prototyper utan att de måste ha tillgång till dyra licenser eller access till slutna miljöer där denna typ av verktyg finns tillgängliga (t. ex in-house hos OEM:erna).

Den andra aktiviteten syftade till att demonstrera öppen innovation genom att engagera universitetsstudenter att utveckla infotainment applikationer för en Volvobil genom att använda Volvos Android Automotive plattform.

 Under eventet presenterades den i projektet framtagna plattformen och på olika stationer i lokalen demonstrerades med hjälp av simulatorer exempel där prototypfunktioner integrerats med digitala tvillingar av fordon från AB Volvo och Volvo Cars. 

Projektparterna visade också hur arbetsflödet för att installera en simulatormiljö kan se ut och hur man ska göra för att integrera en ny mjukvarufunktion.

 Slutresultatet från projektet finns på projektets hemsida openinnovationlab.se.


En ny säkerhetsstandard?

Den kända ISO-standarden för funktionell säkerhet i vägfordon ISO26262 (Road vehicles – Functional safety) har vissa begränsningar vad det gäller komplexa AI-system. 

För att kunna bemöta detta håller experter världen över att diskutera en ny standard ISO 21448: Safety of the Intended Functionality (SOTIF). Men vägen dit är inte helt friktionsfri, och det finns många utmaningar. Mer om detta kan ni läsa om här

Moores lag för självkörning

I en artikel av May Mobility gör företagets chef Edwin Olson en empirisk beräkning av hur lång tid det tar för självkörande fordon att fördubbla sin förmåga, mätt utifrån hur lång sträcka de i snitt kan köra mellan tillfällen då en människa får ta över [1].

Det visar sig vara 16 månader (vanliga Moores lag är ju 18 månader), vilket låter bra men innebär att det kommer ta 16 år att nå samma prestanda som dagens mänskliga förare. Det beror på att i nuläget de självkörande fordonen klarar bara 0,01% av vad människan gör.

De möjligheter som finns för att snabba upp detta är antingen att bara förenkla uppgiften för fordonen, som att köra i låg fart längs förprogrammerade rutter i enkla trafikmiljöer, eller att man kan hitta teknologisprång som gör det möjligt att snabba upp fördubblingshastigheten (vilket förstås May Mobility hävdar att de gjort).

Egen kommentar

Detta är ett analytiskt grepp med samma resultat som flera andra kommit fram till: att det är svårt för att inte säga omöjligt för robotbilar att köra överallt i alla förhållanden alltid (SAE-nivå 5) och att man måste hitta enklare ”ODD – Operational Design Domains”.

Källa

[1] Edwin Olson: The Moore’s Law for Self-Driving Vehicles, Medium 2019-02-27 Länk

Cyklister ett problem för autonoma fordon

KPMG har uppmärksammat ett problem kopplat till det ökande antalet cyklister i städer [1].

Förarlösa fordon använder ju en kombination av kameror, radarer och lidarer för att identifiera objekt och kunna stanna eller väja om de beräknas komma in i fordonets bana.

Men cyklister har väldigt olika form och storlek, följer inte alltid filer eller trafikregler och kan ändra fart och riktning väldigt snabbt. Detta gör det svårt för fordonens algoritmer att bedöma riskerna.

Ett förslag till lösning är att skilja trafikslagen åt.

Egen kommentar

Att separera trafikslagen åt för att möjliggöra självkörande fordon skulle innebära stora offentliga investeringar. Här i Göteborg där infrastrukturen för cyklar är av mycket varierande kvalitet skulle det nog bli dyrt. Men görs det inte så kommer de framtida autonoma fordonen att tvingas sakta ner (ytterligare) för att öka marginalerna.

Källa:

[1] Daniel Boffey: Bikes put spanner in works of Dutch driverless car schemes, The Guardian 2019-02-13 Länk

Lästips: Säkerhet och dess validering

En grupp forskare från Carnegie Mellon University har nyligen publicerat en artikel under titel Credible Autonomy Safety Argumentation. Utifrån en rad erfarenheter diskuterar de hur man beskriver, utvärderar och validerar säkerheten hos automatiserade fordon.

Det de påpekar speciellt är att vi har en tendens att blint förlita oss på standarder, som exempelvis ISO 26262. Men en standard som appliceras på fel sätt eller med fel ändamål kan vara vilseledande och rentav skadlig.