יהושע נולד, גדל והתחנך בירושלים. מצד אביו, יעקב יהושע בן הרב חנניה גבריאל, הוא דור שלישי למשפחה ספרדית יוצאת הקהילה היהודית בסלוניקי שביוון. אימו, מלכה לבית רוזיליו, נולדה וגדלה במוגדור שבמרוקו, ובשנת 1932 עלתה לארץ ישראל עם אביה ואחותה. אבי אימו, אברהם רוזיליו, היה מנכבדי העדה המערבית בירושלים ונכדו של הרב משה רוזיליו, מגדולי ראשי הישיבות במרקש ומחבר הספר "קול מבשר" על הש"ס. לימים תיאר יהושע את חילוקי הדעות בין הוריו על חינוכו. בעיני אימו "הקהילה הספרדית הישנה של אבי לא הייתה זרה פחות מהיישוב האשכנזי הציוני אשר היה כאן רוב, ובוודאי לא הרגישה כלפי העדה הספרדית מחויבות רגשית מיוחדת. שפתה הייתה צרפתית, ולאדינו לא ידעה." שאיפתה הייתה להתחבר אל "לבה של הארץ שהיה העולם הציוני אשכנזי ולא אל משהו שראתה אותו כשולי הרבה יותר." לעומתה, היה אביו קשור יותר למורשת הספרדית-ירושלמית. בסופו של דבר התחנך יהושע בחינוך החילוני-ציוני בזיקה סוציאליסטית. הוא למד בגימנסיה העברית רחביה והיה חניך בשבט מצדה ב תנועת הצופים. לאחר מכן שירת כלוחם בצה"ל בחטיבת הצנחנים, והשתתף כלוחם בפעולות התגמול ובמבצע קדש. למד באוניברסיטה העברית בירושלים בחוגים ספרות ופילוסופיה. בשנות ה-60 ערך את הביטאון "היה נכון" של תנועת הצופים. בשנת 1995 קיבל את פרס ישראל בספרות, בשנת 2016 קיבל את פרס א.מ.ת לספרות ביחד עם רונית מטלון. בשנת 2017 קיבל את פרס דן דוד.
בשנים 1969–2012 התגורר בחיפה וב-2012 עבר להתגורר בגבעתיים. היה נשוי לד"ר רבקה (איקה) יהושע, פסיכואנליטיקאית במקצועה, עד לפטירתה בספטמבר 2016. לזוג שלושה ילדים: סיון יהושע, גידי יהושע ונחום יהושע ושבעה נכדים.
ארכיונו הציבורי והאישי מופקד במחלקת הארכיונים של הספרייה הלאומית בירושלים.
יצירתו הספרותית
יצירתו של יהושע זוכה להכרה רחבה, בישראל ובעולם. על מגוון יצירותיו זכה בפרסים ספרותיים רבים, בכללם פרס ביאליק, פרס ברנר, פרס ישראל לספרות ופרס מדיסיס לסופר זר. עיתון הניו יורק טיימס תיאר אותו כ-"מין פוקנר ישראלי", בשל יכולתו המיוחדת לבטא ולהעלות על הכתב את "הלך הרוח" הישראלי העכשווי.
יהושע היה פובליציסט ומסאי מקורי, חד ורב השפעה על השיח הציבורי הישראלי והיהודי, ועסק רבות בסוגיות של יהדות, ציונות, והקשר עם הארץ. הוא פירסם גם שורה של ספרים וקובצי מסות בהם "בזכות הנורמליות" "הקיר וההר" "כוחה הנורא של אשמה קטנה", "אחיזת מולדת". כולם ספרי מסות שעסקו בשאלת היהדות, ציונות, מקור האנטישמיות ועוד. יהושע מתח ביקורת על מדיניות ישראל ביהודה, שומרון ועזה מאז מלחמת ששת הימים ונמנה עם החותמים על יוזמת ז'נבה. היה חבר מפלגת העבודה בשנות השבעים, ועזב אותה עם פרישת אריה אליאב ממנה; בקמפיין הבחירות לכנסת התשיעית תמך במפלגת של"י. אחרי המהפך הפוליטי חזר לשורות 'העבודה' במסגרת חוג 77, היה חבר במרכז המפלגה ושותף בכתיבת מצעה החדש.
ב-21 בפברואר 1988, בזמן האינתיפאדה הראשונה, פרסם ביחד עם יהודה עמיחי, עמוס עוז ועמוס איילון, מכתב בעיתון הניו יורק טיימס, בו הם הפצירו ביהודי ארצות הברית "שיביעו את דעתם בקול" לגבי מדיניות ישראל בשטחים. בריאיון לשבועון ניוזוויק ב-17 באוקטובר 1988, אמר כי הוא מסוגל להבין כיצד יכלו הגרמנים במלחמת העולם השנייה לומר שלא ידעו על השואה, שהרי גם ישראלים רבים מסרבים לקרוא עיתונים או לצפות בטלוויזיה, וכל כך קל להינתק מדברים שקורים במרחק של כמה קילומטרים מביתם. עם זאת, הוא הכחיש, בהמשך, כי השווה את המצב בשטחים למצב בגרמניה הנאצית.
ב-1993 ביקר יהושע בתקוע, ולאחר הביקור קרא ל"הבטחת זכויותיהם, ביטחונם ושליחותם הרוחנית של המתנחלים כמיעוט במדינה הפלסטינית שתקום", בטענה כי הכרה זו חשובה להמשך תהליך השלום.
לקראת בחירות 2001, פרסמה קבוצת פעילי שלום, בהם יהושע, מודעה בולטת בעיתון "הארץ", בה הם שללו את שיבת הפליטים הפלסטינים לתחומי מדינת ישראל, "כי פירוש הדבר יהיה חיסולה של מדינת ישראל... שיבה גורפת של פליטים פלסטינים לישראל סותרת את עקרון הזכות להגדרה עצמית של העם היהודי".
ב-2002 אמר על הסכסוך הישראלי-פלסטיני: "הפלסטינים נמצאים כיום במצב טירופי, שמזכיר את זה בו נמצא העם הגרמני בתקופת הנאצים. הפלסטינים הם לא הראשונים שהעם היהודי גרם להם לטירוף הדעת; זה לא העם הראשון שהכנסנו לטירופים, ראינו כבר מה קרה עם הגרמנים". בעקבות הביקורת שעוררו דבריו, בין השאר מצד הנהלת יד ושם, הסביר יהושע את כוונתו: "לא עשיתי השוואה בין יחסי ישראל והפלסטינים למעשיהם של הנאצים, אבל אני שואל את עצמי שאלה שאנחנו חייבים לשאול: מה יש באינטראקציה בינינו לבין עמים אחרים, היוצר כזאת שנאה אירציונלית? מה הביא את הגרמנים ומה מביא את הפלסטינים לשנאה כזאת כלפינו? אני מסתכל בחרדה באיזו שנאה התאבדותית מתייחסים אלינו הפלסטינים. גם הגרמנים התייחסו אלינו באותו סוג של שנאה. זה דבר שצריך לברר אותו, מה קורה בינינו לבין עמים אחרים שבתוכם אנחנו חיים".
יהושע תמך בתוכנית ההתנתקות והתמודד עם טענות מתנגדי התוכנית. לגבי החששות הבטחוניים אמר: "אם יירו טילי קסאם על אשקלון אנחנו נפסיק את החשמל בעזה. נפסיק את התקשורת בעזה. נמנע מעזה דלק. ... הם בעצמם יחסלו את הטרור." לגבי הקושי של המתנחלים כתב: "הם הלכו לשם מרצונם. איש לא הכריח אותם להגיע למעמקי עזה ולפאתי שכם. הם לא היו אנשים חסרי בית לפני שהלכו לשם, והם לא יהיו חסרי בית לאחר שייצאו משם. מיליונים של אנשים עוקרים כל בוקר בעולם מבתיהם ועוברים לבתים אחרים. זהו תהליך טבעי ושכיח." לאחר ביצוע ההתנתקות, היה בין תומכי עצומה נגד הזנחת המפונים מגוש קטיף.
לקראת סוף מלחמת לבנון השנייה, השתתף במסיבת עיתונאים ביחד עם דויד גרוסמן ועמוס עוז, בה הוא תיאר את עצמו כ"סופר מגויס", בעל מחויבות ואחריות למתרחש. את חשיפת דעותיו בעניינים חברתיים ומדיניים החל בספר המסות "בזכות הנורמליות", שעורר הדים בישראל ובעולם, ובמאמרים וספרים נוספים שפרסם מאז.
גירושים מאוחרים (ספרי סימן קריאה / הוצאת הקיבוץ המאוחד, 1982) / קנטטת הגירושים (הספריה החדשה, 1991) - נוסח חדש של "גירושים מאוחרים" / גירושים מאוחרים: מהדורת 2010 בתוספת פרק עשירי (הספרי החדשה, 2010)
ניצה בן-דב, "על חסד ספרדי של א.ב. יהושע" בתוך: חיים כתובים: על אוטוביוגרפיות ספרותיות ישראליותהוצאת שוקן, 2011, עמ' 212-183
גלעד מורג, החמלה והזעם: על הסיפורת של א"ב יהושע, הוצאת דביר, 2014
נורית גוברין. "א.ב. יהושע והוריו: 'סיום מלא מתיקות ואהבה'". בתוך: 'קריאת הדורות - ספרות עברית במעגליה', כרך ה', הוצאת גוונים ואוניברסיטת תל אביב, תשע"ה/2015
זיוה שמיר, סיפור לא פשוט: עיונים ביצירותיהם של א"ב יהושע, עמוס עוז וחיים באר, הוצאת ספרא והוצאת הקיבוץ המאוחד, 2015
ניצה בן-דב, "העולם פתוח גם לחרטות: על ניצבת" עמ' 81-76, וגם "בין הים שמעלינו של אמנון רובינשטיין לבין גאות הים של א.ב. יהושע", עמ' 95-89 בתוך: אל מקום שהלב מושך, הוצאת שוקן, 2022