Alla inlägg av Azra Habibovic

Harmonisering av testprotokoll på testbanor

Testanläggningarna AstaZero, American Center for Mobility (USA) och K-City (Sydkorea) har ingått ett partnerskap som går ut på att harmonisera testprotokoll kring testning av uppkopplade och autonoma fordon [1].

Samarbetet kommer att främja delningen av avancerade testscenarier, säkerhetsmetoder och fysisk validering av uppkopplade och autonoma fordonsteknologier. Aktörerna kommer att träffas halvårsvis för att utbyta testuppdateringar och ta itu med områden av ömsesidigt intresse som rör riskhantering, implementeringsmiljöer och datainformationsverktyg.

Källor

[1] RISE. AstaZero etablerar partnerskap med flera internationellt erkända testbanor för att harmonisera testprotokoll för uppkopplade och autonoma fordon

Nvidias nya rön

Nvidia har lanserat Nvidia Drive IX som är ett programvarupaket som gör det möjligt för fordonstillverkare att övervaka förare och varna dem vid behov [1].

Drive IX använder sig av djuplärande-algoritmer som körs på Nvidia Drive-plattformen och kameror riktade mot förarens ansikte eller mot fordonets omgivning. Den är bland annat kapabel av att utföra ansikts- och taligenkänning, läsa av blickbeteende, gester och läppar, bedöma huvudposition, samt ta in faktorer från trafiken runtomkring. För att åstadkomma detta är algoritmerna baserade på en teknik som heter landmärkes-lokalisering.

Nvidia refererar till Drive IX det en intelligent co-pilot.

Egen kommentar

Att identifiera och kartlägga förarens och passagerarnas aktiviteter är viktigt både i manuellt framförda och automatiserade fordon. SmartEye och RISE Viktoria bedriver också ett forskningsprojekt inom området kallat DRAMA– Driver and passenger activity mapping (finansieras av FFI).

Enligt Persistance Market Research utgör diverse sensorsystem för avkänning av passagerare i fordon en stor del marknaden (uppskattas bli ca 2 miljarder dollar i slutet av 2022).

Källor

[1] Nvidia. AI Is My Co-pilot: How DRIVE IX Helps Humans Stay Focused. 2018-06-27 Länk

NAV Alliance

Volkswagen, Aquantia, Bosch, Continental och Nvidia har skapat en ny allians kallad Networking for Autonomous Vehicles (NAV) Alliance [1].

Målet är att tillsammans adressera komplicerade backend-problem som krävs för att automatiserade fordon ska kunna nå marknaden i stor skala.

Den primära uppgiften är att försöka standardisera dataöverföring med hög bandbredd mellan sensorer och andra enheter i automatiserade fordon. En annan uppgift är att skapa gemensamma förfaranden och krav för system i automatiserade fordon kring säkerhet och övergripande tillförlitlighet, och att utbilda allmänheten om automatiserade fordon – något som behövs för sådana fordon ska bli verklighet.

NAV Alliance hoppas att fler aktörer ansluter.

Källor

[1] Krok, A. CNN. VW, Nvidia, Bosch, others team up to suss out the back end of autonomy. 2018-06-26 Länk

Svensk forskning när den är som bäst

I fotbollsvärlden pratas det den här veckan mycket om ”the Swedish way” – uthållighet, fokus, målmedvetenhet, teamarbete. Här i nyhetsbrevet tänkte vi fortsätta i samma anda och lyfta fram några svenska forskningsprojekt och resultat som oftast uppkommit tack vare just dessa egenskaper hos våra forskare. Stort tack till er alla som tipsat oss om relevant forskning och skickat in era sammanfattningar!

ESPLANADE (esplanade-project.se) är ett FFI-projekt som löper från januari 2017 till december 2019. Målet är förbättrad metodik för att visa att automatiserade fordon är säkra. Projektet fokuserar på fordon med ADS-funktioner (Automated Driving System) på nivå 4 enligt SAE-skalan (ett fordon som kan köra helt utan förarinteraktion under begränsade förutsättningar). Vi vet att sådana funktioner har ett antal karakteristiska skillnader mot traditionella fordonsfunktioner där säkerhetsbevisning sker enligt standarden ISO 26262. En ADS-funktion har full kontroll över fordonet, och en viktig del av säkerheten ligger därför i att systemet kör på ett säkert sätt, dvs tar taktiska beslut som inte försätter fordonet i farliga situationer. Därför behöver vi metoder för att säkerställa att systemet tar taktiskt säkra beslut. Andra problem som projektet arbetar med rör hur man visar att sensorernas prestanda är tillräckliga för uppgiften i varje givet ögonblick, vilka arkitekturmönster som är användbara för en ADS, hur man hanterar säkerhetsbevisning för system med icke-deterministiska algoritmer (AI, machine learning), hur man gör hazardanalys för en ADS med en mycket komplex situationsanalys, säkerhetsbevisning för förarinteraktion, och hur man visar fullständigheten i kravnedbrytning för komplexa system. Projektet koordineras av RISE och övriga deltagare är Aptiv, Comentor, KTH, Qamcom, Semcon, Systemite, Veoneer, Volvo Cars, Volvo AB och Zenuity.

Rullande busskur. Detta är ett FFI-projekt som löper från maj 2018 till oktober 2018 och som syftar till att förstå möjligheter och begränsningar ur ett tekniskt perspektiv när det gäller självkörande småbussar på landsbygden, förstå möjligheter och begränsningarna ur ett beteendeperspektiv, dvs. acceptansen av den tekniska innovationen hos resenärer och allmänheten, hitta lämpliga geografiska områden inom Skellefteå kommun där upplägget skulle kunna testas, samt få en bild av kostnaderna och nyttorna. Målet med studien är att skapa förutsättningar för en framtida ansökan för ett demonstrationsprojekt.

HARMONISE är ett FFI finansierat projekt  med målet att undersöka olika sätt att harmonisera, förenkla, hantera och förbättra hur förare interagerar med tekniska system som automatiserar delar av eller hela den dynamiska körningen i fordonet. Projektet är ett samarbete mellan Volvo AB, Volvo Cars och RISE Viktoria. Projektet kommer att utveckla och testa olika koncept, som stödjer interaktionen mellan förare och fordon på ett multimodalt sätt och utveckla designriktlinjer. Projektet utforskar problematiken när en förare tror att hon/han har mer support (nivå 4) än vad som för tillfället erbjuds.  Nya rön från distribuerad kognition och kroppslig kognition (embodied cognition) utforskas som teoretisk grund. Mer information om projektet hittas här och kontaktperson är Emma Johansson (emma.johansson@volvo.com).

Människor och interaktiva autonoma system. Sam Thellmans forskarstudier i kognitionsvetenskap vid Linköpings universitet (huvudhandledare: Tom Ziemke) undersöker hur människor förstår interaktiva autonoma system, som sociala robotar och självkörande fordon. Avhandlingens syfte är att belysa hur, när och varför människor tillskriver autonoma system intentionella tillstånd, som mål (t.ex. “bilen vill till punkt X“) och övertygelser (t.ex. “bilen har sett fotgängaren”), och hur detta påverkar människors förmåga att interagera med autonoma system. I forskningsarbetets första etapp undersöktes människors tolkningar av beteende hos människolika robotar (Thellman, Silvervarg, & Ziemke, 2017) och självkörande bilar (Petrovych, Thellman, & Ziemke, in press), det senare i samarbete med VTI/Linköping. Relevanta publikationer:

  • Petrovych, V., Thellman, S., & Ziemke, T. (in press). Human Interpretation of Goal-Directed Autonomous Car Behavior. In CogSci 2018: Changing Minds. 40th Annual Meeting of the Cognitive Science Society, Madison, VA. Cognitive Science Society.
  • Thellman, S., Silvervarg, A., & Ziemke, T. (2017). Folk-psychological interpretation of human vs. humanoid robot behavior: exploring the intentional stance toward robots. Frontiers in psychology, 8, 1962.

Optimala manövrar. Victor Fors har i sin licavhandling vid Linköpings universitet tittat på vad som händer när bilen gör en manöver nära gränsen för vad den faktiskt klarar av för att undvika att krascha. Målet på kort sikt är att få en uppfattning om hur optimala manövrar ser ut, och på längre sikt att bygga in insikterna från avhandlingen i ett säkerhetssystem för förarlösa fordon. Avhandlingen går under titel Optimal Braking Patterns and Forces in Autonomous Safety-Critical Maneuvers och ingår i det stora WASP-programmet, Wallenberg Autonomous Systems and Software Program, finansierat av Knut och Alice Wallenbergs stiftelse.  Vid frågor kontakta Victor Fors (victor.fors@liu.se).

NPAD (Network-RTK Positioning for Automated Driving) är ett projekt finansierat av Vinnova FFI som skall utforma ett system för stora volymer automatiserade fordon eller andra mobila plattformar med behov av noggrann positionering. Projektet staratade i maj och kommer pågå till april 2020. Det kommer att genomföras i flera steg där en demonstrator kommer att utformas baserat på krav från både automatiserad körning och andra mobila plattformar. Projektet skall bland annat: a) definiera kraven för positionering för automatiserad körning, b) analysera kraven på ett distributionssystem för korrektionsdata, c) utforma ett referenssystem på AstaZero för utvärdering av mätosäkerhet hos positioneringssystem och d) utföra test och validering av systemet baserat på en automatiserad fordonsapplikation från Einride. Projektpartners är: RISE, AstaZero, Ericsson, Lantmäteriet, AB Volvo, Scania, Einride, Waysure och Caliterra. Kontaktperson är Stefan Nord (stefan.nord@ri.se).

Drivers quickly trust autonomous cars. Successful introduction of autonomous cars requires autonomous technology that users experienced as trustful and useful. The aim of this study conducted by Volvo Cars within the FFI-project Human Expectations and Experiences of Autonomous Driving (HEAD) was to explore if drivers trust a fully autonomous car and if they experience that in-vehicle tasks can be conveniently carried out when in full autonomous mode. The test was conducted on a test track and an autonomous research car was used. The car was capable of handling the test track driving environment with full autonomy. When in full autonomous mode the participants got to engage in individually selected tasks, such as use media display, read, eat, drink and carry out work tasks with their own portable device. The results show that participant trust the autonomous car and they find it convenient to conduct in-vehicle tasks while in full autonomous mode. The study will be presented at the AHFE-conference this summer:

  • Broström, R., Rydström, A., Kopp, C., (in press) Drivers quickly trust autonomous cars. In the 9th International Conference on Applied Human Factors and Ergonomics, July 2018, Orlando, Florida, USA.

Customer perspectives. Intermetra Business & Market Research Group AB conduct studies mainly for the public sector in Sweden, with a focus on passenger transport. Among our most recent studies is a cross industry study on the customer perspective on Mobility as a Service in collaboration with RISE. We are now in the process of finalizing the result on a study on customer perspective on autonomous vehicles. The study has been conducted by a web survey to a representative sample of the Swedish population, with 500+ completed surveys. The study covers questions such as the Swedes knowledge and attitudes towards autonomous vehicles, as well as alternative sources of fuel. The results are expected to be available by the end of July. For more info, contact Markus Lagerqvist (markus@intermetra.se).

CoEXist is a European project (May 2017 – April 2020) which aims at preparing the transition phase during which automated and conventional vehicles will co-exist on cities’ roads. CoEXist aims at enabling mobility stakeholders to get “AV-ready” (Automated Vehicles-ready). To achieve its objective, CoEXist develops a specific framework and both microscopic and macroscopic traffic models that take the introduction of automated vehicles into account. The tools developed in the framework of CoEXist are tested by road authorities in the four project cities: Helmond (NL), Milton Keynes (UK), Gothenburg (SE) and Stuttgart (DE) in order to assess the “AV-readiness” of their local-designed use cases. Swedish partners in the CoEXist project is VTI and the City of Gothenburg. Homepage: https://www.h2020-coexist.eu/. Contact Johan Olstam (johan.olstam@vti.se) for more information.

SMART. The aim of the SMART project is to enhance and further develop todays state-of-the-art traffic models in order to enable analysis of future traffic systems. The project consists of two PhD projects, one focusing on microscopic traffic simulation and the behaviour of and interaction between conventional and automated vehicles, and one focusing on mesoscopic simulation and fleets of automated vehicles. The project is carried out by VTI, KTH and LiU and is funded by Trafikverket via Centre for Traffic Research (CTR). Contact Johan Olstam (johan.olstam@vti.se) or Wilco Burghout (wilco@kth.se) for more information.

Predicting  driver actions.The largest factor in traffic accidents today are human errors. There are many ways, in which problematic behaviors such as inattention can be mitigated. One of the tools used for this purpose is warning systems. There are situations where a warning system based on information from only one given point in time can provide an insufficient time window for the driver to react. A prediction of future events could be used in order to increase the amount of time between the warning and the dangerous event. This study explores possibilities of using recurrent neural networks with long short-term memory for prediction of eight different driver actions inside of a vehicle, such as glancing and reaching inside of the vehicle among others. These predictions, in turn, could potentially be used to improve a warning system and give a driver more time to react to a given situation. The predictions are based on sequences of actions, which are generated from sequences of images with a convolutional neural network. A dataset, consisting of sequences of images, used in the study was gathered at RISE Viktoria AB. The hyperparameters of the recurrent neural network, such as the number of hidden units and amount of layers, was chosen with Bayesian optimization. An addition of a parallel input of optical flow created from the input images was found to improve the performance of the convolutional neural network. The complete network achieved an average prediction accuracy of 87% for the next frame predictions and 67% after 20 frames. A comparison where the predictions were set to the last element in the input achieved an accuracy of 80% for one frame ahead and 50% after 20 frames. The study is part of Martin Torstensson’s masters’ thesis that was conducted as a part of the research projects DRAMA– Driver and passenger activity mapping (funded by FFI) and AIR– Action Intention Recognition (funded by KK-stiftelsen):

  • Torstensson, M., (in press) Prediction of Driver Actions With Long Short-Term Memory Recurrent Neural Networks. Master Thesis. Chalmers University of Technology, 2018.

Predicting pedestrian behavior. Behavior of pedestrians who are moving or standing still sufficiently close to the street could be one of the most significant indicators about pedestrian’s instant future actions. Being able to recognize the activity of a pedestrian, can reveal significant information about pedestrian’s crossing intentions. Thus, the scope of this study is to investigate ways and methods in order to understand pedestrian´s activity and in particular their motion and head orientation to the traffic. Furthermore, different featuresand methods were examined, used and assessed according to their contribution on distinguishing between different actions. Those were Histogram of Oriented Gradients (HOG), Local Binary Patterns (LBP), Bag of Words and CNNs. All the aforementioned features (HOG, LBP…etc) were extracted by processing still images of pedestrians. In this project, still images extracted from video frames depicting pedestrians walking next to the road or crossing the road are used. The study focuses in three parts, one is to derive the pedestrians action regarding if they are walking or not. The second is to identify the pedestrian´s head orientation in terms of if he/she is looking at the vehicle or not. The final task is to combine these two measures in a classifier that is trained to predict the pedestrian´s crossing intention and action. In addition to the pedestrian’s behavior for estimating the crossing intention, additional features about the local environment were added as input signals for the classifier, for instance, information about the presence of zebra markings in the street, the location of the scene, the weather conditions etc.  Moreover, several Machine Learning techniques were used after extracting the features (HOG, LBP etc…)   both for understanding the behavior of the pedestrian and for predicting the final action. Those were Support Vector Machines, k-nearest neighbor, Decision Trees. The data used in this thesis come from the Joint Attention for Autonomous Driving (JAAD) dataset. This study is done as a part of Dimitris Varytimidis (dimvar16@student.hh.se) masters’ thesis within the research project AIR– Action Intention Recognition (funded by KK-stiftelsen):

  • Varytimidis, D., (in press). Detection and intention prediction of pedestrians in zebra crossing. Master thesis. Halmstad University, 2018.

PRoPART (www.propart-project.eu) is a H2020 project (December 2017-November 2019), funded by the European Global Navigation SatelliteSystem Agency (GSA), focusing on positioning of automated vehicles and advanced driver assistance systems. The main purpose of the project is to develop and enhance an RTK (Real Time Kinematic) software solution by both exploiting the distinguished features of Galileo signals as well as combining it with other positioning and sensor technologies. RTK gives the possibility of cm-level accuracy using correction data from reference stations. The PRoPART partners are RISE, AstaZero, Scania, Waysure, Fraunhofer IIS, Ceit-IK4, Baselabs and Commsignia. Contact person is Stefan Nord (stefan.nord@ri.se).

Lästips

Trafikflöden och självkörande fordon. Trafikverket har publicerat en ny version av rapporten Trafikflöden och självkörande fordon – Drive Me försökssträcka som fokuserar på trafikflöde och vägnätets kapacitet, samt hur dessa kan komma att förändras vid introduktion av autonoma fordon.

Motorcyklar som kan se. Startuppföretaget Ride Vision har lanserat, vad som påstås vara, världens första kollisionsundvikande teknologi (Collision Aversion Technology) för motorcyklar. Den har en 360-graders vy runt motorcykeln och kan installeras på befintliga motorcyklar för att ge motorcyklister stöd i säkerhetskritiska situationer. Länk

För och nackdelar med automatiserade fordon. En grupp forskare från USA har publicerat en artikel som fördjupar sig i hur millenials upplever automatiserade fordon, och vilka för- och nackdelar de ser med dem. Artikeln heter Perceived benefits and concerns of autonomous vehicles: An exploratory study of millennials’ sentiments of an emerging market. Länk

Försäkringar. Casualty Actuarial Society (CAS) diskuterar i en ny rapport hur försäkrings- och riskhanteringsindustrin har en kritisk roll för en ansvarsfull och kostnadseffektiv introduktion av automatiserade fordon på marknaden. Rapporten heter Automated Vehicles and the Insurance Industry – A Pathway to Safety: The Case for Collaboration. Länk

Vilket system är minst distraherande? American Automobile Association (AAA) har i samarbete med en forskargrupp från University of Utah publicerat en ny rapport där de jämfört några olika infotainment system i fordonsmodeller 2017/18. Slutsatsen att Googles och Apples produkter är minst distraherande för förare. Rapporten heter Visual and Cognitive Demands of Using Apple’s CarPlay, Google’s Android Auto and Five Different OEM Infotainment Systems. Länk

Framtida parkeringsplatser. En grupp forskare från University of Toronto har utforskat hur framtida parkeringar kan designas. Deras studie heter Designing parking facilities for autonomous vehicles. Länk

Tipsa oss om din forskning!

Vår ambition är att inför sommaruppehållet (sista nyhetsbrevet går ut nu på fredag) göra en sammanställning av relevant svensk forskning – och vi behöver er hjälp!

Har du några nyligen avslutade, pågående eller planerade studier och projekt som rör automatiserade transporter som du vill dela med våra andra läsare? Skriv i så fall en kort sammanfattning (3-10 meningar) på engelska eller svenska och skicka den till azra.habibovic@ri.se senast på onsdag 27 juni.

Vi är intresserade av alla relevanta ämnen, från processorer till sensorer, algoritmer, HMI, mobilitetstjänster, utvärderingsmetoder och verktyg, designmetoder, koncept, samhällseffekter, trafikreglering och lagstiftning. Ja, allt mellan himmel och jord!

Det kan vara en sammanfattning av en specifik studie eller dina samlade insikter utifrån din forskning inom ett visst område. Om möjligt, inkludera länkar till relevanta källor (artiklar, webbsidor, filmer). Ett annat alternativ är att du skickar dina artiklar / rapporter / etc. till mig och att jag skriver en sammanfattning.

Här kan du se hur vår senaste sammanfattning såg ut.

The Future of Transportation

Förra veckan deltog jag på The Future of Transportation World Conference som hölls i Köln i Tyskland. Min uppskattning är att konferensen drog till sig runt 500 deltagare, och att de flesta var från industri och offentlig sektor. Den var uppdelad i 9 sessioner med fokusområden som spände över olika transportdomäner, från väg- till spår- och lufttransporter.

Det verkar som att alla dessa sessioner hade en gemensam nämnare: mobility. Alla pratade om det ur sitt eget perspektiv. Min generella slutsats är att alla domäner brottas med liknande problem – teknologin utvecklas snabbare än någonsin men utvecklingen av affärsmodeller, testmetoder och lagstiftning hänger inte riktigt med. Det finns gott om spännande idéer men hur dessa ska skalas upp är ingen självklarhet. Osäkerheten kring datasäkerheten gör inte saken enklare, frågan är om blockkedjor är vägen framåt?

Automatiserade väg- och flygfordon var ett populärt ämne. Här nedan följer några specifika reflektioner kring dessa.

  • För att framtida mobilitetstjänster ska bli framgångsrika, behöver de kunna integreras med befintliga tjänster på ett bra sätt. Där är det viktigt att lokala och regionala myndigheter tar en vägledande roll. I annat fall finns det risk att utvecklingen blir enbart affärs- och teknologidriven. Dessutom skulle det kunna hända att automatiserade fordon tar över kollektivtrafikens roll, vilket skulle kunna bli skadligt för samhället långsiktigt.
  • Det finns stor potential för multimodala mobilitetstjänster i stora städer i Mellanöstern och Nordafrika. Vissa av dem har redan börjat dela med sig data för att stödja utveckling av automatiserade och elektrifierade fordonsflottor.
  • Just nu råder det hög osäkerhet kring automatiserade och uppkopplade fordon, samtidigt som utvecklingen sker i en snabb takt. Detta kräver starkt engagemang av neutrala och oberoende tredjepartsaktörer, t.ex. för att påskynda utvecklingen av nya standarder och föreskrifter.
  • Vi behöver också fundera på hur den framtida fordonsbesiktningen bör se ut. Digitaliseringen påverkar inte bara inspektionsobjektet (dvs. fordonet) utan även själva inspektionsprocessen. Det är ganska givet att dagens besiktningsprocess behöver anpassas.

Min kollega Maria Schnurr pratade om Policy Labs som ett verktyg för snabbare policyutveckling, speciellt inom komplexa och snabbutvecklande områden som automatiserade fordon. Huvudsyftet är att engagera olika aktörer i processer kring policyutvecklingen och få dem att förstå varandras förutsättningar (som ofta är väldigt olika) och skapa en gemensam bild av situationen.

Själv pratade jag om hur dagens typgodkännandesystem kan handskas med högt och helt automatiserade fordon. Detta utifrån ett projekt som initierats av Transportstyrelsen. För att garantera säkerhet och stödja innovation behöver typgodkännandesystemet vidareutvecklas mot att reglera funktioner. Utmaningen ligger dock i att definiera ”lagom detaljerade” funktionella krav.

Hör av er om ni skulle vilja veta mer om någon av presentationerna.

Uppdaterad SAE-standard

SAE International har publicerat en uppdaterad version av Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles (J3016_201806 som ersätter föregångaren J3016_201609) [1].

Ett av syftena med uppdateringen har varit att klargöra beskrivningen av automationsnivå 3 (jag har bland annat noterat att de lyft upp en del fotnoter i föregående version till huvudtexten).

Det har också tillkommit några nya definitioner:

  • Automated Driving System (ADS): The hardware and software that are collectively capable of performing the entire DDT (Dynamic Driving Task) on a sustained basis, regardless of whether it is limited to a specific operational design domain (ODD); this term is used specifically to describe a level 3, 4, or 5 driving automation system.
  • In contrast to ADS, the generic term “driving automation system” (see 3.8) refers to any level 1-5 system or feature that performs part or all of the DDT on a sustained basis. Given the similarity between the generic term, “driving automation system,” and the level 3-5-specific term, “Automated Driving System,” the latter term should be capitalized when spelled out and reduced to its acronym, ADS, as much as possible, while the former term should not be.

Hela standarden går att ladda ner kostnadsfritt via den här länken.

Källor

[1] SAE International. Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles. 2018-06-15 Länk

Uber-olycka: uppföljning

För ett par veckor sedan publicerades preliminära resultat från den amerikanska haverikommissionens utredning kring den ökända Uber-dödsolyckan som skedde i Arizona i mars.

Nu har polisen i Arizona slagit fast att säkerhetsföraren i Uber-bilen inte hade ögonen på vägen eftersom hon tittade på en video i mobilen när dödsolyckan inträffade. Detta kunde konstaterats med hjälp av videotjänsten Hulu som gav polisen ett registerutdrag som visar att kvinnan såg på ett avsnitt av tv-programmet The Voice i 42 minuter fram till stunden då olyckan inträffade.

Säkerhetsföraren riskerar nu att åtalas för dråp.

Källor

[1] Reuters. Uber car’s ‘safety’ driver streamed TV show before fatal crash: police. 2018-06-22 Länk