Etikettarkiv: Semcon

Telematics Valley: AI in Automotive – Reality Check

Årets Telematics Valley-konferens handlade om AI inom fordonsindustrin. Här några korta referat.

The Great Math Gap of AI
Carl Lindberg, AI Innovation Sweden
“Matematik, statistik och datavetenskap = AI”
Observation: många hatar matte i skolan och många är dåliga i matematik. Men för att förstå AI måste du kunna matematik och statistik, vilket krävs för att utveckla AI-team och deras kompetens.

AI essential component for automotive
Shafiq Urréhman, CEVT
AI-utveckling är tidskrävande och kräver mycket arbete med data. Datapreparation och märkning tar 80% av tiden.
Nästa stora steg för AI är att använda kvantdatorer för att öka beräkningskapaciteten.

AI based occupant sensing is the key to unleash a new level of functions
Henrik Lind, Smart Eye
Förarövervakningssystem krävs i fordon från 2023 av EU.

What we know that we don’t know
Mats Nordlund, Zenuity
Nyckelfrågor:
• Vad kommer andra trafikanter att göra?
• Bevisa säkerheten
• Framtida lagar och förordningar
• Träning av neurala nätverk
• Minska kostnader för sensorer
Forskningsområden:
• Prediktion av fotgängares rörelser och interaktion med fordon med hjälp av maskininlärning.
• Positionering och ruttprognoser

Automation
Sasko Cuklev, AB Volvo
Det finns stora vinster med automatiserade fordon för godstrafik:
• Ta bort föraren
• Ökad utnyttjandegrad av fordonen
• Minskat underhåll och reducerad bränsleförbrukning
• Plus säkrare och mer förutsägbara fordon
”Använd automatisering där det gör en stor nytta”
Affärsmodellen håller på att förändras. Numera beställer kunderna inte bara bilar, de önskar transporttjänster från A till B.
Flera piloter med automatiserade fordon pågår, bl.a i.
• Avgränsade områden, kalkstengruva i Norge
• Publika områden, hub till hub, 2 projekt pågår.
Vera är en transportlösning för gruvdrift, hamnar och motorvägar.

Egen kommentar: En bra presentation som visar applikationer för automatisering som inte är långt borta.

Autonomous driving in the Nordics –  Geofenced or SAE L5?
Hari Sentamala, Sensible 4
I närtid kommer autonoma fordon kunna köras inom avgränsade, geofencade områden. En säker autonom transport behöver kunna hantera alla väder- och miljöscenarier, där är vi inte idag. Sensible 4 arbetar med att använda redundans med hjälp av olika sensorer och kombinera och analysera resultaten från alla sensorerna så en säkrare autonom funktion kan fås.
Fälttester med autonoma fordon under vinterförhållanden ovanför polcirkeln har positionsnoggrannhet bättre än 18 cm uppnåtts.

Egen kommentar: En bra presentation med mycket humor. ”När SAE-nivån når 5 ändrar vi företagsnamn till Sensible 5”. Från en teknisk synpunkt ser de sig själva som ett sensormjukvaruföretag som använder många sensorer och uppkoppling i sina lösningar.

The importance of Data Quality and Governance for DAIR (Data and AI Ready)
Sofia Serafimovska, SAM Management Consulting
Affärsaspekter och KPIer är viktiga för att hitta och välja den information som krävs.

Machine Learning vs Software development – Verification & validation challenges
Lars Tornberg, Volvo Cars
Hur göra maskininlärning/AI säkert i verklig drift? Träningen av algoritmen kan inte återspegla alla möjliga scenarier.
Ett koncept är att använda en ”safety cage”. Analysera resultaten och validera modellen om de är trovärdiga. Föremål som modellen inte har tränats för, kan i ”safety cage” analysen tala om att detta är något nytt och resultatet därmed inte är säkerställt.

AI on the dark side of the moon
Peter Nordin, Semcon
Är AI ett hot? Ja! Elon Musk, Bill Gates, Stephan Hawkins tror det. Var försiktig med hur AI används. I första steget används AI för bra saker som att upptäcka cancer. Men redan idag är falska nyheter en verklighet. Psykologi och etik måste ingå i AI-utvecklingen.

Egen kommentar: Förmodligen måste EU och regeringar definiera etiska regler och lagstiftning om AI-lösningar. Peter gör en sammanfattning av science fiction-filmer som kan vara verklighet med AI släppt utan etiska aspekter. Då slutar det vara roligt.

Developing environmental model with ML from the ground truth data and scaling it in the cloud
Ulrich Wurstbauer, Luxoft
AD-validering kräver simulering i en virtual reality-modell ” Varför?

  • Fälttester på väg, 1 000 mil körning och ger nästan ingen data som krrävs för validering.
  • Re-simuleringar med hjälp av sensordata, 100 000 000 mil körning och ger ca 1% av data som krävs för validering
  • Simulator i virtual reality, kan ge 99% av nödvändiga data.

Men simulatorer kräver:

  • Modeller, med fokus på detektion, identifiering och prediktion.
  • Skalbarhet
  • En öppen dataplattform för att samla in, sortera och lagra data.

””Retail vision, applying AD approach for enterprise applications”
Atif Kureishy, ​​Teradata
Data + AI = Bättre svar och beslut.
Förutsäga försäljning med hjälp av människors beteende i butiker och använda information för att ändra butiken eller personalen för att förbättra försäljningen.

Egen kommentar: En känd applikation för AI att förutsäga försäljning eller kundreaktioner av olika marknadsföringsåtgärder.

AI risk, AI safety, AI ethics
Olle Häggström, Chalmers
EU har publicerat AI-dokument med etiska riktlinjer för tillförlitlig AI. Det är det första steget men behöver mer arbete för att vara användbar. Olle ser ett behov av regler för AI-applikationer.

Olles svar på publikens frågor:
Andra AI-områden kan vara att automatisera textilindustrin och föra produktionen närmare slutkunderna.
AI har svårt att ta över jobb med hög efterfrågan på social interaktion eller kreativitet.

”An inspiration map of AI in West Sweden.”
Erik Behm, BRG
AI växer inom transporter och fordonstillverkning. Life science, säkerhetsbranschen och finans växer också snabbt.

”Collaboration enabling driver-vehicle-infrastructure automation”
Edvard Brinck, Ericsson och Ola Boström, Veoneer
Uppgiften att att skapa förtroende för autonom mobilitet. Trafiksäkerhet är ett område som kan utvecklas med hjälp av AI och uppkopplade fordon.
2020 3 miljarder trafikanter, få automatiserade fordon >L2 och 1,4 miljoner dödsolyckor
2025 kommer L2+ att vara vanligt
2050 har samverkande säkerhet etablerats, det finns 6 miljarder trafikanter men dödsolyckorna har minskat till 0,7 miljoner.
Att förutsäga mobilitet för trafikanter är ett MobilityXlab-samarbete mellan Ericsson, Viscando och Veoneer.
Två megatrender är analys i realtid och tjänstefiering.

Egen kommentar: Ökad trafiksäkerhet är en bra användning av AI tillsammans med uppkopplade, samverkande fordon och trafiksystem.

How can AI and fashion help the exposed profession of truck drivers become safer?
Helena Iremo, Scania Group, Erik Tengedal, Imagimob
Uppgradering av säkerhetsvästen med uppkoppling och användning av ljus, intelligenta AI-algoritmer, accelerometer och gyro.

The journey to unleash the value of data with AI!
Robert Valton och Fredrik Moeschlin, AB Volvo
Beskriver arbetet hos Volvo med data och AI.

Develop AI cheaper and faster with collaborations
Hans Salomonsson, EmbeDL
Användning av syntetiskt genererade data för träning av AI.

Peter Kurzwelly, AI-innovation of Sweden.
Det finns en AI online-kurs på svenska. https://www.elementsofai.com/
Gör kursen! En uppföljning är på gång.

Sammanfattning

Det var många intressanta presentationer, och många om ”hur arbeta med AI i dina lösningar”. Min reflektion är att det har varit ännu mer intressant, om man tagit upp vad AI kan lösa och vad andra metoder kan lösa enklare för transportsystem och ta en bättre helhetssyn på ämnet.

AVAP takes off

I förra veckan visades ett antal självkörande / fjärrstyrda fordon upp på Testsite OER, alltså Örnsköldsviks flygplats. Det handlade om drönare för övervakning, traktorer för snöröjning och självgående gräsklippare [1] [2]. De olika fordonen har kopplats samman i ett trafiklednings- och övervakningssystem.

Projektet AVAP (Automated Vehicles for AirPorts) har drivits av LFV ihop med Semcon, FlyPulse, Combitech, Mittuniversitetet, Swedavia, RISE Viktoria och Husqvarna [3]. Tanken är dels att sådana här automatiserade system ska kunna sänka personalkostnader för mindre flygplatser, dels höja säkerhetsnivån men också utgöra ett steg i utvecklingen mot den autonoma flygplatsen, där också elflyg kan ingå som en komponent.

Egen kommentar

RISE Viktoria har alltså deltagit i AVAP-projektet och jag har följt det lite på håll och det är roligt att se det gå i land (eller kanske man ska säga flyga). Det kan sägas vara en fortsättning på DRIWS (Digital Runway Incursion Warning System), som förhindrar fordon att oavsiktligt komma in på startbanor, och följer också på Remote Tower, alltså flygtrafikledning på håll via kameror (vi har skrivit om det förut), som båda blivit kommersialiserade. Alla dessa har utvecklats på Örnsköldsviks flygplats.

Källor

[1] Anna Beijron: Ny teknik ska ge säkrare skalskydd på flygplatserna, SVT Västernorrland 13 september 2019 Länk Länk

[2] Så ska självkörande maskiner kunna sköta en flygplats – ”Har gått bra”, TV4 13 september 2019 Länk

[3] LFV visade smarta lösningar för flygplatsdrift, LFV 12 september 2019 Länk

Open Innovation Lab presenteras

Under veckan hölls ett event för att presentera resultaten av forskningsprojektet Open Innovation Lab (OIL) med parterna RISE Viktoria, VTI, Volvo Cars, AB Volvo, Semcon och HiQ [1] .

Projektets syfte var att utveckla en öppen, licensfri simuleringsplattform, en verktygskedja för att stödja utveckling, test och demonstration av mjukvarukomponenter för fordon, samt att demonstrera öppen innovation baserad på dessa.

Projektet var uppdelat i två huvudaktiviteter för att uppnå detta.

Den första aktiviteten var att utveckla en öppen platform för att skapa simulatorer i vilka mjukvaruutvecklare snabbt kan utveckla, testa och visa upp sina prototyper utan att de måste ha tillgång till dyra licenser eller access till slutna miljöer där denna typ av verktyg finns tillgängliga (t. ex in-house hos OEM:erna).

Den andra aktiviteten syftade till att demonstrera öppen innovation genom att engagera universitetsstudenter att utveckla infotainment applikationer för en Volvobil genom att använda Volvos Android Automotive plattform.

 Under eventet presenterades den i projektet framtagna plattformen och på olika stationer i lokalen demonstrerades med hjälp av simulatorer exempel där prototypfunktioner integrerats med digitala tvillingar av fordon från AB Volvo och Volvo Cars. 

Projektparterna visade också hur arbetsflödet för att installera en simulatormiljö kan se ut och hur man ska göra för att integrera en ny mjukvarufunktion.

 Slutresultatet från projektet finns på projektets hemsida openinnovationlab.se.


Autonoma snöplogen Otto i Canada

Vi har ju tidigare berättat om Semcons/Øveraasens självkörande snöplog för bl.a. flygplatser, Yeti. Nu har också kanadensiska Northstar Robotics visat upp en sådan, kallad Otto [1], på flygplatsen i Winnipeg.

Otto, som använder radar för objektidentifiering, ska klara mycket dåligt väder som snöstormar då sikten kan vara nere i noll.

Tekniken ska vara klar för kommersiell drift inom ett eller två år och företaget siktar på att finnas på alla flygplatser i världen där det kan snöa. Därefter vill man fortsätta med snöröjning på vägar, gator och trottoarer.

Källa

[1] Jon Hendricks: Autonomous snowplow makes debut on Winnipeg runway, CTV News Winnipeg 2019-03-14 Länk

Distraktion och ouppmärksamhet

Under veckan hölls International Conference on Driver Distraction and Inattention i Göteborg med SAFER Vehicle and Traffic Safety Centre vid Chalmers som värd. Konferensen hade runt 200 deltagare från olika delar av världen och uppmärksammades av bland andra SVT.

Här kan ni höra SAFERs föreståndare Magnus Granström berätta om konferensen och vikten av forskning kring distraktion och ouppmärksamhet i trafiken, och inte minst i automatiserade fordon (börjar vid 2:21).

Publikationer från konferensen är tillgängliga via konferensens hemsida. Här är titlar på några av studier utförda av svenska forskare:

  • Stress and sleepiness in city bus drivers — an explorative study on real roads within the ADAS&ME project. VTI.
  • What were they thinking? Subjective experiences associated with automation expectation mismatch. Volvo Cars.
  • Using counterfactual simulations to evaluate the impact of drivers’ glance behaviors on safety: A study of between-driver variability. Chalmers, Volvo Cars.
  • Texting while driving with Level 2 automation: A distraction or an opportunity? AB Volvo, Volvo Cars, Semcon, RISE.
  • Driving with kids: distracted and unsafe? Chalmers.
  • Smartphone logging – A new way to gain insight about smartphone usage in traffic. VTI.
  • Bicyclists’ adaptation strategies when receiving text messages in real traffic. VTI, Linköpings universitet.
  • Intra-individual difference in sleepiness and the effect on driving performance – a three-times repeated driving simulator study. VTI.
  • Speedometer monitoring before and after speed warnings and speed zone transitions. Chalmers.
  • What were they thinking? Subjective experiences associated with automation expectation mismatch. Volvo Cars.
  • Do individual differences explain crash involvement in highly-reliable Supervised Autonomous Driving? Volvo Cars.

Svensk forskning när den är som bäst

I fotbollsvärlden pratas det den här veckan mycket om ”the Swedish way” – uthållighet, fokus, målmedvetenhet, teamarbete. Här i nyhetsbrevet tänkte vi fortsätta i samma anda och lyfta fram några svenska forskningsprojekt och resultat som oftast uppkommit tack vare just dessa egenskaper hos våra forskare. Stort tack till er alla som tipsat oss om relevant forskning och skickat in era sammanfattningar!

ESPLANADE (esplanade-project.se) är ett FFI-projekt som löper från januari 2017 till december 2019. Målet är förbättrad metodik för att visa att automatiserade fordon är säkra. Projektet fokuserar på fordon med ADS-funktioner (Automated Driving System) på nivå 4 enligt SAE-skalan (ett fordon som kan köra helt utan förarinteraktion under begränsade förutsättningar). Vi vet att sådana funktioner har ett antal karakteristiska skillnader mot traditionella fordonsfunktioner där säkerhetsbevisning sker enligt standarden ISO 26262. En ADS-funktion har full kontroll över fordonet, och en viktig del av säkerheten ligger därför i att systemet kör på ett säkert sätt, dvs tar taktiska beslut som inte försätter fordonet i farliga situationer. Därför behöver vi metoder för att säkerställa att systemet tar taktiskt säkra beslut. Andra problem som projektet arbetar med rör hur man visar att sensorernas prestanda är tillräckliga för uppgiften i varje givet ögonblick, vilka arkitekturmönster som är användbara för en ADS, hur man hanterar säkerhetsbevisning för system med icke-deterministiska algoritmer (AI, machine learning), hur man gör hazardanalys för en ADS med en mycket komplex situationsanalys, säkerhetsbevisning för förarinteraktion, och hur man visar fullständigheten i kravnedbrytning för komplexa system. Projektet koordineras av RISE och övriga deltagare är Aptiv, Comentor, KTH, Qamcom, Semcon, Systemite, Veoneer, Volvo Cars, Volvo AB och Zenuity.

Rullande busskur. Detta är ett FFI-projekt som löper från maj 2018 till oktober 2018 och som syftar till att förstå möjligheter och begränsningar ur ett tekniskt perspektiv när det gäller självkörande småbussar på landsbygden, förstå möjligheter och begränsningarna ur ett beteendeperspektiv, dvs. acceptansen av den tekniska innovationen hos resenärer och allmänheten, hitta lämpliga geografiska områden inom Skellefteå kommun där upplägget skulle kunna testas, samt få en bild av kostnaderna och nyttorna. Målet med studien är att skapa förutsättningar för en framtida ansökan för ett demonstrationsprojekt.

HARMONISE är ett FFI finansierat projekt  med målet att undersöka olika sätt att harmonisera, förenkla, hantera och förbättra hur förare interagerar med tekniska system som automatiserar delar av eller hela den dynamiska körningen i fordonet. Projektet är ett samarbete mellan Volvo AB, Volvo Cars och RISE Viktoria. Projektet kommer att utveckla och testa olika koncept, som stödjer interaktionen mellan förare och fordon på ett multimodalt sätt och utveckla designriktlinjer. Projektet utforskar problematiken när en förare tror att hon/han har mer support (nivå 4) än vad som för tillfället erbjuds.  Nya rön från distribuerad kognition och kroppslig kognition (embodied cognition) utforskas som teoretisk grund. Mer information om projektet hittas här och kontaktperson är Emma Johansson (emma.johansson@volvo.com).

Människor och interaktiva autonoma system. Sam Thellmans forskarstudier i kognitionsvetenskap vid Linköpings universitet (huvudhandledare: Tom Ziemke) undersöker hur människor förstår interaktiva autonoma system, som sociala robotar och självkörande fordon. Avhandlingens syfte är att belysa hur, när och varför människor tillskriver autonoma system intentionella tillstånd, som mål (t.ex. “bilen vill till punkt X“) och övertygelser (t.ex. “bilen har sett fotgängaren”), och hur detta påverkar människors förmåga att interagera med autonoma system. I forskningsarbetets första etapp undersöktes människors tolkningar av beteende hos människolika robotar (Thellman, Silvervarg, & Ziemke, 2017) och självkörande bilar (Petrovych, Thellman, & Ziemke, in press), det senare i samarbete med VTI/Linköping. Relevanta publikationer:

  • Petrovych, V., Thellman, S., & Ziemke, T. (in press). Human Interpretation of Goal-Directed Autonomous Car Behavior. In CogSci 2018: Changing Minds. 40th Annual Meeting of the Cognitive Science Society, Madison, VA. Cognitive Science Society.
  • Thellman, S., Silvervarg, A., & Ziemke, T. (2017). Folk-psychological interpretation of human vs. humanoid robot behavior: exploring the intentional stance toward robots. Frontiers in psychology, 8, 1962.

Optimala manövrar. Victor Fors har i sin licavhandling vid Linköpings universitet tittat på vad som händer när bilen gör en manöver nära gränsen för vad den faktiskt klarar av för att undvika att krascha. Målet på kort sikt är att få en uppfattning om hur optimala manövrar ser ut, och på längre sikt att bygga in insikterna från avhandlingen i ett säkerhetssystem för förarlösa fordon. Avhandlingen går under titel Optimal Braking Patterns and Forces in Autonomous Safety-Critical Maneuvers och ingår i det stora WASP-programmet, Wallenberg Autonomous Systems and Software Program, finansierat av Knut och Alice Wallenbergs stiftelse.  Vid frågor kontakta Victor Fors (victor.fors@liu.se).

NPAD (Network-RTK Positioning for Automated Driving) är ett projekt finansierat av Vinnova FFI som skall utforma ett system för stora volymer automatiserade fordon eller andra mobila plattformar med behov av noggrann positionering. Projektet staratade i maj och kommer pågå till april 2020. Det kommer att genomföras i flera steg där en demonstrator kommer att utformas baserat på krav från både automatiserad körning och andra mobila plattformar. Projektet skall bland annat: a) definiera kraven för positionering för automatiserad körning, b) analysera kraven på ett distributionssystem för korrektionsdata, c) utforma ett referenssystem på AstaZero för utvärdering av mätosäkerhet hos positioneringssystem och d) utföra test och validering av systemet baserat på en automatiserad fordonsapplikation från Einride. Projektpartners är: RISE, AstaZero, Ericsson, Lantmäteriet, AB Volvo, Scania, Einride, Waysure och Caliterra. Kontaktperson är Stefan Nord (stefan.nord@ri.se).

Drivers quickly trust autonomous cars. Successful introduction of autonomous cars requires autonomous technology that users experienced as trustful and useful. The aim of this study conducted by Volvo Cars within the FFI-project Human Expectations and Experiences of Autonomous Driving (HEAD) was to explore if drivers trust a fully autonomous car and if they experience that in-vehicle tasks can be conveniently carried out when in full autonomous mode. The test was conducted on a test track and an autonomous research car was used. The car was capable of handling the test track driving environment with full autonomy. When in full autonomous mode the participants got to engage in individually selected tasks, such as use media display, read, eat, drink and carry out work tasks with their own portable device. The results show that participant trust the autonomous car and they find it convenient to conduct in-vehicle tasks while in full autonomous mode. The study will be presented at the AHFE-conference this summer:

  • Broström, R., Rydström, A., Kopp, C., (in press) Drivers quickly trust autonomous cars. In the 9th International Conference on Applied Human Factors and Ergonomics, July 2018, Orlando, Florida, USA.

Customer perspectives. Intermetra Business & Market Research Group AB conduct studies mainly for the public sector in Sweden, with a focus on passenger transport. Among our most recent studies is a cross industry study on the customer perspective on Mobility as a Service in collaboration with RISE. We are now in the process of finalizing the result on a study on customer perspective on autonomous vehicles. The study has been conducted by a web survey to a representative sample of the Swedish population, with 500+ completed surveys. The study covers questions such as the Swedes knowledge and attitudes towards autonomous vehicles, as well as alternative sources of fuel. The results are expected to be available by the end of July. For more info, contact Markus Lagerqvist (markus@intermetra.se).

CoEXist is a European project (May 2017 – April 2020) which aims at preparing the transition phase during which automated and conventional vehicles will co-exist on cities’ roads. CoEXist aims at enabling mobility stakeholders to get “AV-ready” (Automated Vehicles-ready). To achieve its objective, CoEXist develops a specific framework and both microscopic and macroscopic traffic models that take the introduction of automated vehicles into account. The tools developed in the framework of CoEXist are tested by road authorities in the four project cities: Helmond (NL), Milton Keynes (UK), Gothenburg (SE) and Stuttgart (DE) in order to assess the “AV-readiness” of their local-designed use cases. Swedish partners in the CoEXist project is VTI and the City of Gothenburg. Homepage: https://www.h2020-coexist.eu/. Contact Johan Olstam (johan.olstam@vti.se) for more information.

SMART. The aim of the SMART project is to enhance and further develop todays state-of-the-art traffic models in order to enable analysis of future traffic systems. The project consists of two PhD projects, one focusing on microscopic traffic simulation and the behaviour of and interaction between conventional and automated vehicles, and one focusing on mesoscopic simulation and fleets of automated vehicles. The project is carried out by VTI, KTH and LiU and is funded by Trafikverket via Centre for Traffic Research (CTR). Contact Johan Olstam (johan.olstam@vti.se) or Wilco Burghout (wilco@kth.se) for more information.

Predicting  driver actions.The largest factor in traffic accidents today are human errors. There are many ways, in which problematic behaviors such as inattention can be mitigated. One of the tools used for this purpose is warning systems. There are situations where a warning system based on information from only one given point in time can provide an insufficient time window for the driver to react. A prediction of future events could be used in order to increase the amount of time between the warning and the dangerous event. This study explores possibilities of using recurrent neural networks with long short-term memory for prediction of eight different driver actions inside of a vehicle, such as glancing and reaching inside of the vehicle among others. These predictions, in turn, could potentially be used to improve a warning system and give a driver more time to react to a given situation. The predictions are based on sequences of actions, which are generated from sequences of images with a convolutional neural network. A dataset, consisting of sequences of images, used in the study was gathered at RISE Viktoria AB. The hyperparameters of the recurrent neural network, such as the number of hidden units and amount of layers, was chosen with Bayesian optimization. An addition of a parallel input of optical flow created from the input images was found to improve the performance of the convolutional neural network. The complete network achieved an average prediction accuracy of 87% for the next frame predictions and 67% after 20 frames. A comparison where the predictions were set to the last element in the input achieved an accuracy of 80% for one frame ahead and 50% after 20 frames. The study is part of Martin Torstensson’s masters’ thesis that was conducted as a part of the research projects DRAMA– Driver and passenger activity mapping (funded by FFI) and AIR– Action Intention Recognition (funded by KK-stiftelsen):

  • Torstensson, M., (in press) Prediction of Driver Actions With Long Short-Term Memory Recurrent Neural Networks. Master Thesis. Chalmers University of Technology, 2018.

Predicting pedestrian behavior. Behavior of pedestrians who are moving or standing still sufficiently close to the street could be one of the most significant indicators about pedestrian’s instant future actions. Being able to recognize the activity of a pedestrian, can reveal significant information about pedestrian’s crossing intentions. Thus, the scope of this study is to investigate ways and methods in order to understand pedestrian´s activity and in particular their motion and head orientation to the traffic. Furthermore, different featuresand methods were examined, used and assessed according to their contribution on distinguishing between different actions. Those were Histogram of Oriented Gradients (HOG), Local Binary Patterns (LBP), Bag of Words and CNNs. All the aforementioned features (HOG, LBP…etc) were extracted by processing still images of pedestrians. In this project, still images extracted from video frames depicting pedestrians walking next to the road or crossing the road are used. The study focuses in three parts, one is to derive the pedestrians action regarding if they are walking or not. The second is to identify the pedestrian´s head orientation in terms of if he/she is looking at the vehicle or not. The final task is to combine these two measures in a classifier that is trained to predict the pedestrian´s crossing intention and action. In addition to the pedestrian’s behavior for estimating the crossing intention, additional features about the local environment were added as input signals for the classifier, for instance, information about the presence of zebra markings in the street, the location of the scene, the weather conditions etc.  Moreover, several Machine Learning techniques were used after extracting the features (HOG, LBP etc…)   both for understanding the behavior of the pedestrian and for predicting the final action. Those were Support Vector Machines, k-nearest neighbor, Decision Trees. The data used in this thesis come from the Joint Attention for Autonomous Driving (JAAD) dataset. This study is done as a part of Dimitris Varytimidis (dimvar16@student.hh.se) masters’ thesis within the research project AIR– Action Intention Recognition (funded by KK-stiftelsen):

  • Varytimidis, D., (in press). Detection and intention prediction of pedestrians in zebra crossing. Master thesis. Halmstad University, 2018.

PRoPART (www.propart-project.eu) is a H2020 project (December 2017-November 2019), funded by the European Global Navigation SatelliteSystem Agency (GSA), focusing on positioning of automated vehicles and advanced driver assistance systems. The main purpose of the project is to develop and enhance an RTK (Real Time Kinematic) software solution by both exploiting the distinguished features of Galileo signals as well as combining it with other positioning and sensor technologies. RTK gives the possibility of cm-level accuracy using correction data from reference stations. The PRoPART partners are RISE, AstaZero, Scania, Waysure, Fraunhofer IIS, Ceit-IK4, Baselabs and Commsignia. Contact person is Stefan Nord (stefan.nord@ri.se).

Yeti förenklar snöröjningen

Idag ställs det höga krav på snöröjning på flygplatser. Start- och landningsbanor måste vara helt snöfria för att flygtrafiken ska kunna flyta på. Snöröjningsansvariga måste därför vara standby hela tiden och det är inte helt ovanligt att det uppstår förseningar när banan inte kan förberedas i tid för planerade flygningar. Varje minut ett plan är parkerat är dyrbart. Lösningar som kan förbättra tillgängligheten och samtidigt öka säkerheten, minska personalkostnader och skona miljön har därmed en stor potential.

Yeti Snow Technology som ägs av Semcon och Øveraasen har utvecklat två självkörande snöröjningsfordon till den norska flygplatsoperatören Avinor. Lösningen syftar till att öka effektiviteten och minska förseningar vid flygplatser orsakade av snö. En demonstration av lösningen ägde rum i mars 2018 på Fagernes flygplats Leirin i Norge där två snöplogar rensade snö från landningsbanan.

För att lära oss mer om den här lösningen och tanken bakom den samtalade vi med John Emil Halden och Magnus Carlsson från Semcon. Här nedan följer en sammanfattning vår diskussion.

  • Yeti har delat upp den tekniska utvecklingen av självkörande funktioner för flygplatser i fyra steg: 1) planering och träning, 2) loggning och kontroll, 3) förarstöd och 4) full autonomi. Dessa steg visar att vägen till helt autonom snöröjning är lång. Det viktiga att notera här är att stor nytta kan uppnås innan dess. En annan fördel med den här uppdelningen är att man delar upp investeringen som flygplatserna behöver göra.
  • I projektet som precis avslutats var inte målet att bygga autonoma plogbilar utan att utveckla ett system som använder sig av sådana fordon för att automatiserat lösa snöröjning på en flygplats.
  • I projektet har Yeti utformat ett kontrollsystem (Yeti Control System) som till att börja med skapar digitala mönster för automatiserad snöröjning på flygplatser (s.k. Digital Planning of Snow Removal Missions). Digitala mönster har många fördelar. De kan användas för att simulera snöröjningsuppdrag (missions) i utbildnings- och träningssyften; varje år har exempelvis några av de större europeiska flygplatser över 600 nyanställda inom just snöröjning och genom att simulera snöröjningsuppdrag kan utbildningen förenklas och snabbas på. Vidare kan digitala mönster användas för dokumentation av underhåll på landningsbanor, planering och genomförande av snöröjningsuppdrag, övervakning och loggning av det som händer under ett snöröjningsuppdrag, att förse mänskliga förare med stöd och instruktioner om hur de kan köra i en viss situation, att förbättra själva kontrollsystemet eller att autonomt styra plogen på ett snöröjningsfordon.
  • Kontrollsystemet kan sedan ladda ner dessa digitala mönster och kontrollera fordon som är på ett snöröjningsuppdrag. I dagsläget navigerar dessa med hjälp av RTK-GPS och kommunicerar med hjälp av 4G-cellulära nätverk.
  • Ett snöröjningsuppdrag kan involvera upp till 8 olika fordon med olika automationsgrad som gemensamt utför uppgiften. Systemet tillåter att dessa fordon styrs centralt. En väsentlig fördel är dock att styrningen kan utföras på distans, dvs. systemoperatören behöver inte befinna sig på samma flygplats.
  • Snöröjningsfordonen som demonstrerades i mars är två Mercedes-dragbilar med plog utrustade med aktuatorer för styrning, broms och gas, 2 st GPS, ett 4G-modem, och en realtids kontrollenhet. Var och en av fordonen är ungefär 20 meter långt och 5,5 meter brett och har kapacitet att röja en area på 357 500 kvadratmeter i timmen. Under demonstrationen följde de en förprogrammerad rutt. Även om detta kan låta enkelt så är det en riktig utmaning, givet de förutsättningar som gäller vid snöröjning på en flygplats och noggrannheten som krävs för det.
  • En utmaning, speciellt om man pratar om full autonomi (steg 4 i Yetis uppdelning), är att systemet ska fungera även i de värsta tänkbara väderförhållanden för autonoma fordon: kraftig nederbörd och dålig sikt. Idag är det väldigt få som utvecklar sensorer som fungerar och klarar av att detektera objekt under sådana förhållanden. I nästa delprojekt kommer snöröjningsfordonen att utrustas med fler sensorer.
  • En annan utmaning i projektet har varit att ingen fordonstillverkare deltagit. Planen är att kunna involvera en fordonstillverkare i nästa delprojekt.
  • Ytterligare en utmaning är att kunna fånga upp alla mänskliga beslut och uppgifter som operatörerna utför under ett snöröjningsuppdrag och att få det ”översatt” till ett automatiserat system.
  • Idag finns det inga likvärdiga system. Mycket av materialet som används vid snöröjningsuppdrag är i text- och bildformat, och de flesta beslut tas manuellt. Generellt sett är det dåligt med digitalt stöd.
  • De som arbetar med snöröjning och samordning av dessa fordon idag är ”positivt skeptiska” till systemet som Yeti tagit fram. De är inte oroliga att sådana här lösningar ska ta över deras jobb, men de är tveksamma till hur systemet ska kunna klara av komplexiteten som finns vid ett snöröjningsuppdrag.
  • Yeti har planer att ha den utvecklade lösningen för test hos kund under kommande vinter, och planen är att kunna kommersialisera lösningen i början av nästa år. I detta kommer att ingå navigation och kommunikation, alltså inte kontroll av fordonen. Beroende på utgången kan det vara möjligt att implementera lösningen på alla Avinor 45-flygplatser.
  • Kommersialiseringen kommer att handla om licensering av systemet och då kommer Yeti att förse kunder med det stöd de behöver för att sätta upp och underhålla systemet under hela dess livscykel.
  • Yeti har nyligen haft en demonstration av systemet där man bjöd in potentiella kunder från flygplatser runt om i Europa – det var runt 100 deltagare och att tolka av responsen så finns det ett stort behov och intresse.

Vi tackar John Emil och Magnus för en utförlig intervju, och ser fram emot nya demonstrationer.

TRB 2018

TRB – Transport Research Board – genomför sin årliga konferens i Washington DC andra veckan i januari. I år var det 97 tillfället som konferensen arrangerades. Under 5 dagar så genomfördes ungefär 800 sessioner och workshops som tillsammans innefattade cirka 5000 presentationer. För forskare och industriföreträdare som har ett intresse i transport, mobilitet och infrastruktur så är TRB en viktig kommunikationskanal för resultat samt arena för att mötas, lära och dela erfarenheter.

Själv presenterade jag en positioneringsartikel skriven av mig själv, Mikael Edvardsson (Volvo Cars), Martin Romell (Volvo Cars), Carl Johan Aldén (Semcon), Niklas Sundin (Consat) och Johan Isacson (Combitech) där vi presenterade Born to Drive som koncept med en tillhörande analys vilka styrkor, svagheter, hot och möjligheter som lösningen kan skapa för fordonslogistik. Presentationen gick bra och vid postern som vi hade samlades ett trettiotal intresserade åhörare för vidare diskussion.

Förutom den egna insatsen så bevistade jag ett flertal sessioner och möten. Två av de intressantaste tycker jag var ”Competing Visions of Transportation’s Future” och ”Toward Zero Emission 2050: The Role of Transportation Technology”. Båda sessionerna riktade in sig mot hur automatisering, elektrifiering och delad mobilitet kommer att påverka transportsystemen och när de första effekterna kan förväntas.

Bland annat så presenterade Joan Walker, University of California, en studie där de låtit familjer simulera ägandet av en självkörande bil genom att erhålla en chaufför 24 timmar om dygnet under ett antal veckor. Det visar sig att dessa familjer ökar sitt användande av fordonet med 83%, bland annat genom att de låter chauffören köra hem fordonet när de arbetar för att undvika dyra parkeringsutgifter.

Lew Fulton, Co-Director STEPS UC Davis, presenterade forskning som påvisar att effekter vad gäller miljövinster av delad mobilitet genom automatisering och delad mobilitet i hög grad kan förväntas först efter 2040. Vi vet idag för lite om hur människor kommer att ta emot den nya tekniken och behöver utveckla realistiska scenarier för hur de positiva effekter som förväntas av självkörande teknik kan skapas. En slutsats som drogs var att för att positiva effekter ska uppstå behöver automatisering, elektrifiering och delad mobilitet sammanstråla.

Bruce Schaller, Schaller Consulting, expert inom taxi och delade mobilitetstjänster, visade emellertid i en studie att de beteendeförändringar som behövs för att delad mobilitet ska bli till inte är en enkel process. Av alla de uber-resor som sker på Manhattan idag är endast 5% delade resor visar hans mätningar. Han menar att det är naivt att tro att delad mobilitet bara kommer att uppstå, incitament behöver skapas samt man behöver förstå hur människor förhåller sig till delad mobilitet. Flera av presentatörerna pekade på att det nu är mycket fokus på teknisk utveckling, men forskning behöver parallellt ske kring incitament för människor att ta till sig tekniken, samt studier av scenarier och vad som händer när autonoma fordon och icke-autonoma fordon samspelar i trafiken.

Rön från svenska forskningsprojekt: Del II

Förra gången rapporterade vi om några föredrag från resultatkonferensen i FFI-projekt AIMMIT och HATric. Här kommer fortsättningen.

Jan Andersson från VTI presenterade å Igancio Solis vägnar en studie som undersökt hur Pilot Assist (automationsnivå 2) påverkar förarbeteende och om det möjliggör bättre engagemang i icke-körrelaterade aktiviteter (ett visuellt spel på en pekplatta) jämfört med manuell körning. Studien utfördes i verklig trafik och involverade 21 förare som delades i två kategorier: de som hade tidigare erfarenhet av Pilot Assist och oerfarna. En generell slutsats är att alla förare tittade mindre framåt och mer mot instrumentpanelen när Pilot Assist var aktiverad (det är på instrumentpanelen som det visas om Pilot Assist är aktiverad eller ej). Däremot var de flesta sämre på att spela när Pilot Assist var aktiverad – något som inte går hand i hand med andra studier och allmänna förväntningar att automationen ska möjliggöra för förare att ägna sig åt andra aktiviteter. En annan slutsats är att erfarna förare använde Pilot Assist längre tid än de oerfarna. Likaså ägnade de sig mer åt spelet samt gjorde fler omkörningar.

Mikael Lung Aust från Volvo Cars pratade om kontrollöverlämning mellan föraren och bilen och vice versa, och om förarna vinner något på att ge kontrollen till bilen. Svaret är ja, givet att förarna litar på bilen tillräckligt mycket och upplever att de inte behöver övervaka trafiken runtomkring. När förarna uppnått denna nivå av tillit är de benägna att helt ägna sig åt andra (och mer intressanta) aktiviteter. Men då är de inte längre förare utan snarare kontorsarbetare eller någon som slappnar av hemma. Designers kan därmed inte förvänta sig topp-prestanda omedelbart efter att bilen ber ”förarna” att återta kontrollen. På det viset är det mer lämpligt att prata om en persons rutiner inför bilkörning (t.ex. hur man ställer ifrån sig läsplatta, ställer stolen, etc.) snarare än förarreaktion. En konsekvens är också att typen av återkoppling från bilen gör att dess design blir oväsentlig och obemärkt.

Lars-Ola Bilgård från Chalmers presenterade preliminära resultat från en studie som utforskat hur bilens körsätt påverkar tillit hos förare. Studien har genomförts på testanläggningen AstaZero och involverat 18 förare. Varje förare fick uppleva två körsätt: ekonomiskt och sportigt. Bilen färdades hela tiden i automatiserat läge och föraren fick ingen återkoppling via grafiska gränssnitt. Initiala resultat tyder på att ekonomiskt körsätt föredras av många i säkerhetskritiska situationer eftersom det på ett tydligare sätt indikerade bilens intentioner. Sportigt körsätt är dock att föredra i andra situationer eftersom det upplevdes mer effektivt.

Helena Strömberg från Chalmers pratade om hur både förarens och fordonets roll förändras med ökad automation och att de behöver skapa ett nytt förhållande till varandra. Detta kräver metoder som adresserar det förhållandet tidigt i designprocessen. En sådan metod skulle kunna vara att välja en metafor som en vägledande princip för samspelet. Detta har utforskats i en serie av studier och resultaten tyder på att denna princip har potential men att valet av en metafor är svårt och att det påverkas av olika faktorer.

Christoffer Kopp från Volvo Cars påpekade vikten av att det ska vara klart för föraren i ett automatiserat fordon vem som är ansvarig för körningen. Designers behöver därför ha som utgångspunkt att skapa ”mode awareness” snarare än att eliminera ”mode confusion”, vilket är något som många fokuserar på idag. Han pratade också om att tillit och hur mycket som en förare engagerar sig att övervaka trafiken när han/hon färdas i ett högt automatiserat fordon förändras över tid. En studie som utförts på testanläggningen AstaZero tyder dock på att tillit kan uppnås snabbare än vad man tror.

Jan Nilsson från Semcon, min kollega Jonas Andersson och jag (Azra Habibovic) presenterade en studie som utforskat upplevelsen av kommandobaseradkörning i högt automatiserade fordon, som möjliggör för föraren att påverka bilens taktiska beslut som t.ex. tala om för fordonet att köra om framförvarande fordon när detta är möjligt. Studien genomfördes i en körsimulator och involverade 16 förare. Varje förare fick testa två olika multimodala gränssnitt som användes för att påverka bilens taktiska beslut. Resultaten tyder på att kommandobeserad körning är önskvärd, speciellt på motorväg och landsväg. Det ger förarna en känsla av att vara i kontroll. Vidare visar resultaten att gränssnittet som baserades på gester och visuell återkoppling upplevdes bäst av förarna.

Rön från svenska forskningsprojekt

För ca 10 dagar sedan hölls en resultatkonferens i forskningsprojekten AIMMIT och HATric. Dessa projekt har involverat flera parter, bland andra Volvo Cars, VTI, Chalmers, Semcon och RISE Viktoria och delfinansierades av FFI. Konferensen bjöd på flera presentationer från studier som gjorts inom dessa projekt. Den hölls på Volvo Cars i Göteborg och drog till sig ca 70 deltagare.

Här är en kort sammanfattning av tre presentationer, fler kommer i nästa nyhetsbrev.

Niklas Strand och Christina Stave från VTI presenterade en studie som utforskat förarnas upplevelser och erfarenheter med Pilot Assist i Volvobilar. Studien är baserad på semi-strukturerade djupintervjuer med förare. Intervjuerna gjordes vid fyra tillfällen: innan förarna fick bilen levererad för att ta reda på deras förväntningar, strax efter att föraren hade hämtat sin nya bil, efter en vecka samt efter ca 3 månader.  Studiens resultat tyder på att förarnas mentala modeller av hur bilen fungerar hade utvecklats med tiden. Däremot hade inte deras förståelse av själva Pilot Assist utvecklats så mycket. Förkunskaper och informationen som köparna får hos återförsäljaren spelar stor roll för hur de använder och upplever systemet.

Pontus Wallgren från Chalmers pratade också om en studie som är baserad på semi-strukturerade intervjuer med bilförare (13 män, 1 kvinna). Studien visar att många hade svårt att föreställa sig vad en automatiserad bil skulle kunna vara och hur den skulle kunna användas. Det fanns dock tydliga skillnader beroende på tidigare erfarenheter. Väldigt få pratade om vad de skulle kunna göra i bilen medan den framförs av automationen. Likaså hade de inga djupa tankar om gränssnittdesign. När deltagarna blev tillfrågade var automatiserade bilar skulle kunna användas konstaterade många av dem att det är framförallt motorväg och landsväg. De hade svårt att föreställa sig hur en automatiserad bil skulle kunna fungera i Tingstadstunneln. Bland fördelarna som lyftes fram var att det var roligt/spännande, säkerhet och miljö. Bland utmaningarna nämndes tekniken, systemförmågan, ansvarsfrågor, mix av olika bilar, ”big brother” och kostnad.

MariAnne Karlsson från Chalmers pratade om utmaningar med att utveckla konceptuella ramverk för design av interaktion i automatiserade fordon. Baserat på bland annat intervjuer med representanter från industrin är en slutsats att det finns två tydliga sidor – säkerhet och upplevelse. I framtiden behöver dessa integreras på ett bättre sätt men det finns ingen enkel väg framåt. En annan observation från studien är att i-et i HMI har olika innebörd inom en och samma grupp. Betyder det interface eller interaktion?